1/ 启动 Enchanted ✨ 每个人都值得拥有一个真正个性化的 AI。 不是一个被大实验室控制的。 不是一个囤积你数据的。 使用 Enchanted。

在过去的两个月里，我没有发很多推文，因为我花时间学习和实验各种强化学习技术。很高兴很快能分享一些正在进行的工作： 1. GRPO训练的计算最优配方 2. 增强LLM交互隐私的强化学习工具 这些实验的结果很有希望👀

1/ 今天我们宣布 Pleiades，一个系列的表观遗传基础模型（90M→7B 参数），在 1.9T 人类甲基化和基因组数据的基础上进行训练。Pleiades 准确地建模表观遗传学，用于基因组轨迹预测、生成和从 cfDNA 中检测神经退行性疾病，超越了之前的纯 DNA 基线。

在长期上下文窗口可能非常大的情况下，LLM内存/RAG在短期到中期的角色是什么？ 从与DeepMind团队的某人讨论LLM上下文窗口中获得了一些见解。在研究Gemma时，他们发现可以延长上下文长度，但会遇到质量问题——开头和结尾的tokens可以很好地检索到，但中间的tokens在注意力机制中会丢失。他们的有趣观点是：他们最初认为更长的上下文可以解决所有问题，但更深入的分析表明，在参数数量固定的情况下，质量并不是免费的。尽管进一步延长了上下文长度，他们仍然认为由于这些注意力质量挑战，RAG方法在未来6-12个月内是必要的。目前，仅通过延长上下文并不能完全解决检索问题。此外，今天为高质量、长上下文模型填充整个上下文窗口的成本约为每次调用1美元。