Yksisoluisten perustusmallien avaaminen 96 % vähemmän parametreilla Yksisoluiset suuret kielimallit (scLLM:t) ovat oppineet merkittävää biologista tietoa miljoonilta soluilta. Mutta heillä on kriittinen heikkous: jos heidät otetaan pois koulutuskontekstistaan—uusi tauti, näkymätön laji, määrittelemätön solupopulaatio—heidän ennusteensa muuttuvat epäluotettaviksi. Vakioratkaisu on hienosäätö. Mutta hienosäätö korvaa alkuperäiset mallin parametrit, mikä aiheuttaa "katastrofaalista unohtamista" ennalta opitusta biologisesta tiedosta. Ja se on laskennallisesti kallista, vaatii merkittäviä GPU-resursseja, joita monilla tutkijoilla ei yksinkertaisesti ole. Fei He ja hänen kanssakirjoittajansa ehdottavat scPEFT:tä – parametritehokasta hienosäätökehystä, joka jäädyttää alkuperäisen scLLM-selkärangan ja kouluttaa vain pieniä, matalan ulottuvuuden adaptereita. Neljä sovitintyyppiä (Token adapter, Prefix adapter, LoRA, Encoder adapter) sijoittuu malliarkkitehtuurin eri osiin, oppien tehtäväkohtaisia säätöjä koskematta esikoulutettuihin painoihin. Tehokkuuden parannukset ovat silmiinpistäviä: scPEFT vähentää koulutettavia parametreja yli 96 % ja vähentää GPU:n muistin käyttöä yli puoleen. Mutta tässä on tärkeintä – se toimii itse asiassa paremmin kuin täysi hienosäätö. Tautikohtaisissa tietoaineistoissa (NSCLC, MS, COVID-19) scPEFT parantaa 39,7–81,7 % tarkkuutta natiivimalleihin verrattuna ja 4,3–15 % parannuksia hienosäädetyihin versioihin verrattuna, juuri siksi, että se säilyttää eikä ylikirjoita esikoulutettua tietoa. Viitekehys mahdollistaa myös lajien välisen siirron ihmiskoulutetuista malleista: 14 % parannus hiiren neuroneissa, 39 % makakin sukusoluissa ja 144 % C. elegansissa – kaikki ortologisilla geenikartoituksilla. Tarkkaavaisuusanalyysi tunnistaa COVID-aiheiset geenit tietyissä T-solutiloissa ja paljastaa biologisesti merkityksellisiä alapopulaatioita, joita hienosäädetyt mallit eivät näe. Laajempi merkitys: kun perustusmallit lisääntyvät biologiassa, tarvitsemme tehokkaita tapoja mukauttaa niitä tuhoamatta oppimaansa. scPEFT osoittaa, että joskus vähemmän päivittäminen tarkoittaa enemmän oppimista. Artikkeli: