1/ Запуск «Зачарованих» ✨ Кожна людина заслуговує на по-справжньому персональний штучний інтелект. Не той, який контролюється великою лабораторією. Не той, що приховує ваші дані. Використовуйте Зачарований.

За останні два місяці я не написав багато твітів, оскільки провів час, вивчаючи та експериментуючи з різними техніками RL. З радістю скоро поділимося деякими WIP: 1. Розрахунково-оптимальний рецепт тренування GRPO 2. Інструмент на основі RL для підвищення конфіденційності під час взаємодії з LLM Експерименти були багатообіцяючими 👀

1. Сьогодні ми оголошуємо про Pleiades, серію моделей епігенетичних основ (90M→7B параметрів), навчених на 1,9T токенах людського метилювання та геномних даних. Pleiades точно моделює епігенетику для прогнозування геномних треків, генерації та виявлення нейродегенеративних захворювань за допомогою cfDNA, перевершуючи попередні базові показники чистої ДНК.

Яка роль LLM memory/RAG у короткостроковій та середньостроковій перспективі, враховуючи довгострокові контекстні вікна, можуть бути надзвичайно великими? Отримав деякі інсайти, обговорюючи контекстні вікна LLM з кимось із команди DeepMind. Працюючи над Gemma, вони виявили, що можуть розтягувати довжину контексту, але стикаються з проблемами якості - токени на початку і в кінці добре витягуються, але середні губляться в механізмі уваги. Їхня цікава думка: спочатку вони думали, що довший контекст просто вирішить все, але глибший аналіз показав, що з фіксованою кількістю параметрів якість не дається безкоштовно. Незважаючи на подальше збільшення тривалості контексту, вони все ще вважають підходи RAG необхідними на найближче майбутнє (6-12 місяців) через ці проблеми з якістю уваги. На даний момент проблема пошуку не повністю вирішена лише за рахунок збільшення термінів використання. Крім того, заповнення всього контекстного вікна для високоякісних моделей з довгим контекстом сьогодні становить ~$1 за дзвінок.