1/ 啟動 Enchanted ✨ 每個人都應該擁有一個真正個人化的 AI。 不是由大型實驗室控制的。 也不是那種囤積你數據的。 使用 Enchanted。

在過去兩個月中，我沒有發推文，因為我花時間學習和實驗各種強化學習技術。期待很快分享一些正在進行的工作： 1. GRPO 訓練的計算最佳配方 2. 增強 LLM 互動隱私的強化學習工具 這些實驗的結果令人鼓舞 👀

1/ 今天我們宣布 Pleiades，一系列的表觀遺傳基礎模型（90M→7B 參數），訓練於 1.9T 的人類甲基化和基因組數據。Pleiades 精確地建模表觀遺傳學，用於基因組軌跡預測、生成和從 cfDNA 檢測神經退行性疾病，超越了之前的純 DNA 基準。

LLM 記憶體/RAG 在短期到中期的作用是什麼，因為長期上下文視窗可能非常大？ 通過與 DeepMind 團隊的某人討論 LLM 上下文窗口獲得了一些見解。在 Gemma 上工作時，他們發現他們可以延長上下文長度，但會遇到質量問題 - 開頭和結尾的令牌可以很好地檢索，但中間的令牌會丟失在注意力機制中。他們的看法很有趣：他們最初認為更長的上下文可以解決所有問題，但更深入的分析表明，在固定參數計數的情況下，品質並不是免費的。儘管進一步推動了上下文長度，但由於這些注意力品質挑戰，他們仍然認為RAG方法在不久的將來（6-12個月）是必要的。目前，僅通過延長上下文並不能完全解決檢索問題。此外，今天為高品質、長上下文模型填充整個上下文視窗每次調用的費用為 ~1 USD。