1/ Lansering av Enchanted ✨ Hvert menneske fortjener en virkelig personlig AI. Ikke en som er kontrollert av et stort laboratorium. Ikke en som hamstrer dataene dine. Bruk Enchanted.

Har ikke tvitret mye de siste to månedene da jeg brukte tid på å lære og eksperimentere med ulike RL-teknikker. Gleder meg til å dele litt WIP snart: 1. Beregn-optimal oppskrift for GRPO-trening 2. RL-drevet verktøy for å forbedre personvernet i LLM-interaksjoner Eksperimentene har vært lovende 👀

1/ I dag kunngjør vi Pleiades, en serie epigenetiske fundamentmodeller (90M→7B-paramer) trent på 1,9T-tokens av human metylering og genomiske data. Pleiades modellerer nøyaktig epigenetikk for genomisk sporprediksjon, generering og nevrodegenerativ sykdomsdeteksjon fra cfDNA, og overgår tidligere rene DNA-baselines.

Hva er rollen til LLM-minne / RAG på kort til mellomlang sikt gitt i den langsiktige konteksten vinduer kan være ekstremt store? Fikk litt innsikt fra å diskutere LLM-kontekstvinduer med noen i DeepMind-teamet. Da de jobbet med Gemma, fant de ut at de kunne strekke kontekstlengden, men treffe kvalitetsproblemer - tokens i begynnelsen og slutten blir hentet godt, men de midterste går tapt i oppmerksomhetsmekanismen. Deres interessante oppfatning: de trodde i utgangspunktet at lengre kontekst bare ville løse alt, men dypere analyser viste at med fast antall parametere kommer ikke kvalitet gratis. Til tross for at konteksten skyves lenger, ser de fortsatt på RAG-tilnærminger som nødvendige i nær fremtid (6-12 måneder) på grunn av disse utfordringene med oppmerksomhetskvalitet. Foreløpig er ikke gjenfinningsproblemet helt løst bare ved å gjøre kontekstene lengre. Dessuten er det ~$1 per samtale å fylle ut hele kontekstvinduet for høykvalitetsmodeller med lang kontekst i dag.