1/ Lancering van Enchanted ✨ Elke mens verdient een echt persoonlijke AI. Niet eentje die wordt gecontroleerd door een groot laboratorium. Niet eentje die jouw gegevens opslaat. Gebruik Enchanted.

Ik heb de afgelopen twee maanden niet veel getweet omdat ik tijd heb besteed aan het leren en experimenteren met verschillende RL-technieken. Ik ben enthousiast om binnenkort wat WIP te delen: 1. Compute-optimaal recept voor GRPO-training 2. RL-gestuurd hulpmiddel om de privacy in LLM-interacties te verbeteren De experimenten zijn veelbelovend geweest 👀

1/ Vandaag kondigen we Pleiades aan, een serie epigenetische fundamentmodellen (90M→7B parameters) getraind op 1,9T tokens van menselijke methylatie- en genomische gegevens. Pleiades modelleert epigenetica nauwkeurig voor genomische trackvoorspelling, generatie en detectie van neurodegeneratieve ziekten uit cfDNA, en presteert beter dan eerdere pure DNA-baselines.

Wat is de rol van LLM-geheugen/RAG op korte tot middellange termijn, gezien de context op de lange termijn dat vensters extreem groot kunnen zijn? Ik heb wat inzichten gekregen door LLM-contextvensters te bespreken met iemand van het DeepMind-team. Toen ze aan Gemma werkten, ontdekten ze dat ze de contextlengte konden rekken, maar kwaliteitsproblemen konden tegenkomen - tokens aan het begin en einde worden goed opgehaald, maar middelste gaan verloren in het aandachtsmechanisme. Hun interessante kijk: ze dachten aanvankelijk dat een langere context alles zou oplossen, maar diepere analyse toonde aan dat met een vast aantal parameters kwaliteit niet gratis is. Ondanks het feit dat de context verder wordt uitgebreid, zien ze RAG-benaderingen nog steeds als noodzakelijk voor de nabije toekomst (6-12 maanden) vanwege deze uitdagingen op het gebied van aandachtskwaliteit. Voorlopig is het ophaalprobleem niet volledig opgelost door alleen contexten langer te maken. Bovendien is het invullen van het volledige contextvenster voor modellen van hoge kwaliteit met een lange context vandaag ~ $ 1 per gesprek.