1/ Spuštění Enchanted ✨ Každý člověk si zaslouží skutečně osobní umělou inteligenci. Ani takový, který by ovládala velká laboratoř. Ne takový, který hromadí vaše data. Použijte Enchanted.

V posledních dvou měsících jsem toho moc netweetoval, protože jsem strávil čas učením se a experimentováním s různými technikami RL. Těším se, že se brzy podělím o některé WIP: 1. Výpočtově optimální recept na školení GRPO 2. Nástroj využívající RL pro zvýšení soukromí v interakcích s LLM Experimenty byly slibné 👀

Dnes oznamujeme Plejády, sérii modelů epigenetických základů (90M→7B parametrů) trénovaných na 1,9T tokenech lidské methylace a genomických dat. Plejády přesně modelují epigenetiku pro predikci genomických stop, generaci a detekci neurodegenerativních onemocnění z cfDNA, čímž překonávají předchozí čisté DNA základní linie.

Jaká je role LLM paměti/RAG v krátkodobém až střednědobém horizontu vzhledem k tomu, že v dlouhodobém horizontu mohou být okna extrémně velká? Získal jsem nějaké postřehy z diskuse o kontextových oknech LLM s někým z týmu DeepMind. Při práci na Gemmě zjistili, že mohou natáhnout délku kontextu, ale narazit na problémy s kvalitou - tokeny na začátku a na konci se načítají dobře, ale prostřední se ztrácejí v mechanismu pozornosti. Jejich zajímavý pohled: zpočátku si mysleli, že delší kontext prostě vyřeší vše, ale hlubší analýza ukázala, že s pevným počtem parametrů není kvalita zadarmo. Navzdory tomu, že posouvají kontextové délky, stále vidí přístupy RAG jako nezbytné pro blízkou budoucnost (6-12 měsíců) kvůli těmto výzvám v oblasti kvality pozornosti. Prozatím není problém s načítáním zcela vyřešen pouhým prodlužováním kontextů. Kromě toho, vyplnění celého kontextového okna pro vysoce kvalitní modely s dlouhým kontextem je dnes ~1 $ za hovor.