Yksisoluisten perustusmallien avaaminen 96 % vähemmän parametreilla Yksisoluiset suuret kielimallit (scLLM:t) ovat oppineet merkittävää biologista tietoa miljoonilta soluilta. Mutta heillä on kriittinen heikkous: jos heidät otetaan pois koulutuskontekstistaan—uusi tauti, näkymätön laji, määrittelemätön solupopulaatio—heidän ennusteensa muuttuvat epäluotettaviksi. Vakioratkaisu on hienosäätö. Mutta hienosäätö korvaa alkuperäiset mallin parametrit, mikä aiheuttaa "katastrofaalista unohtamista" ennalta opitusta biologisesta tiedosta. Ja se on laskennallisesti kallista, vaatii merkittäviä GPU-resursseja, joita monilla tutkijoilla ei yksinkertaisesti ole. Fei He ja hänen kanssakirjoittajansa ehdottavat scPEFT:tä – parametritehokasta hienosäätökehystä, joka jäädyttää alkuperäisen scLLM-selkärangan ja kouluttaa vain pieniä, matalan ulottuvuuden adaptereita. Neljä sovitintyyppiä (Token adapter, Prefix adapter, LoRA, Encoder adapter) sijoittuu malliarkkitehtuurin eri osiin, oppien tehtäväkohtaisia säätöjä koskematta esikoulutettuihin painoihin. Tehokkuuden parannukset ovat silmiinpistäviä: scPEFT vähentää koulutettavia parametreja yli 96 % ja vähentää GPU:n muistin käyttöä yli puoleen. Mutta tässä on tärkeintä – se toimii itse asiassa paremmin kuin täysi hienosäätö. Tautikohtaisissa tietoaineistoissa (NSCLC, MS, COVID-19) scPEFT parantaa 39,7–81,7 % tarkkuutta natiivimalleihin verrattuna ja 4,3–15 % parannuksia hienosäädetyihin versioihin verrattuna, juuri siksi, että se säilyttää eikä ylikirjoita esikoulutettua tietoa. Viitekehys mahdollistaa myös lajien välisen siirron ihmiskoulutetuista malleista: 14 % parannus hiiren neuroneissa, 39 % makakin sukusoluissa ja 144 % C. elegansissa – kaikki ortologisilla geenikartoituksilla. Tarkkaavaisuusanalyysi tunnistaa COVID-aiheiset geenit tietyissä T-solutiloissa ja paljastaa biologisesti merkityksellisiä alapopulaatioita, joita hienosäädetyt mallit eivät näe. Laajempi merkitys: kun perustusmallit lisääntyvät biologiassa, tarvitsemme tehokkaita tapoja mukauttaa niitä tuhoamatta oppimaansa. scPEFT osoittaa, että joskus vähemmän päivittäminen tarkoittaa enemmän oppimista. Artikkeli:

Neurotieteestä inspiroituneet arkkitehtuurit aidosti adaptiivisen tekoälyn rakentamiseen Nykyaikaiset tekoälyjärjestelmät ovat tehokkaita mutta hauraita. Kouluta malli, ota se käyttöön ja katso suorituskyvyn heikkenemistä maailman muuttuessa. Uudelleenkouluttaminen uusien tietojen pohjalta, ja malli unohtaa, mitä se tiesi. Tämä sykli tuottaa järjestelmiä, jotka menestyvät staattisissa vertailuarvoissa, mutta kamppailevat jatkuvan sopeutumisen kanssa—asia, jonka biologinen älykkyys hoitaa vaivattomasti. Hiiri voi muutamalla kerralla oppia löytämään vettä uudesta labyrintistä noin kymmenessä yrityksessä, mikä on 1 000 kertaa nopeampi kuin perinteiset laboratoriotehtävät. Silti kehittyneimmät neuroverkkomme kärsivät katastrofaalisesta unohtamisesta, kun niitä pyydetään oppimaan peräkkäin. Aivot tarjoavat erilaisen arkkitehtuurin. Se ei toimi yhtenä sotkuisena verkostona, vaan älykkäästi yhdistettyinä erikoistuneina moduuleina—visuaalisen aivokuoren käsittelyreunoina, motorisen aivokuoren laskenta voimatilassa, prefrontaalialueina, jotka seuraavat tehtävärakenteellista muistia. Jokainen moduuli rakentaa sisäisiä malleja, joita päivitetään ennustevirheiden avulla, kun odotetut lopputulokset poikkeavat todellisuudesta. Nämä allekirjoitetut opetussignaalit on nyt löydetty aisti-, motoris- ja palkitsemispiireissä. Mackenzie Weygandt Mathis yhdistää nämä oivallukset ehdotukseksi adaptiiviseksi agenttiseksi tekoälyksi. Sen sijaan, että tavoiteltaisiin yhä suurempia monoliittisia perustusmalleja, hän puolustaa alakohtaisia kooderijärjestelmiä, joiden ulostulot optimoidaan yhdessä jaetussa latenttitilassa. Jokainen kooderi on valvottu virheennustesignaaleilla – kestävät kooderit pysyvät "lukittuina", kun taas heikentynyttä suorituskykyä osoittavat koodaajat "avataan" jatkuvaa oppimista varten muistin toistolla tai synaptisella älykkyydellä, ilman että koko järjestelmä poistuu käytöstä. Laajempi periaate: rakentamalla tekoäly neurotieteen inspiroiman modulaarisuuden ja ennustevirhepohjaisen päivityksen ympärille monoliittisen mittakaavan sijaan, on mahdollista siirtyä staattisten mallien ulkopuolelle kohti aidosti adaptiivista älykkyyttä—järjestelmiä, jotka jatkuvasti hiovat mallejaan maailmasta vuorovaikutuksen kautta. Artikkeli:

Oppivatko ihmiset kuin muuntajat? Kysymys kuulostaa lähes filosofiselta, mutta Pesnot Lerousseau ja Summerfield tekivät siitä perusteellisen kokeilun. He kouluttivat sekä ihmisiä (n = 530) että pieniä muuntajaverkkoja samaan sääntöoppimistehtävään, ja manipuloivat sitten yhtä muuttujaa: koulutusesimerkkien tilastollista jakaumaa – täysin monimuotoisesta (jokainen esimerkki ainutlaatuinen) erittäin redundanttiin (samat kohteet toistuvat yhä uudelleen). Tulos on vaikuttava. Sekä ihmiset että transformerit osoittavat lähes identtistä herkkyyttä tälle manipulaatiolle. Koulutetaan monipuolisella datalla, ja oppijat yleistävät sääntöjä uusiin tilanteisiin ("kontekstissa oppiminen"). Harjoittele päällekkäisillä tiedoilla, ja he muistavat tiettyjä esimerkkejä ("painotuksen sisäinen oppiminen"). Strategioiden välinen siirtymä tapahtuu samassa kriittisessä pisteessä (Zipf-eksponentti α ≈ 1) sekä biologisissa että keinotekoisissa järjestelmissä. Kumpikaan ei voi helposti tehdä molempia—kunnes annetaan heille yhdistelmäjakelu, joka yhdistää monimuotoisuutta ja redundanssia, jolloin sekä ihmiset että muuntajat muuttuvat "kaksoisoppijoiksi". Mutta tässä ne eroavat: ihmiset hyötyvät opetussuunnitelmista. Kun esitä erilaisia esimerkkejä varhain, ihmiset oppivat yleistettävän säännön menettämättä kykyään muistaa myöhemmin. Transformerit sen sijaan kärsivät katastrofaalisesta häiriöstä – mitä tahansa he oppivat toisena, se korvaa sen, mikä tuli ensin. Sekä tekoälyn että koulutuksen kannalta tämä tarkoittaa: koulutusdatan rakenteella on yhtä suuri merkitys kuin sen sisältö. Ja vaikka transformerit saattavat yllättävällä tavalla vastata ihmisen oppimista, niiltä puuttuu silti joustavuus, joka mahdollistaa hyvin suunnitellun opetussuunnitelman hyödyntämisen. Artikkeli: