Universaali painoaliavaruushypoteesi Havaintomme tarjoavat uusia näkemyksiä tiedon sisäisestä järjestäytymisestä syvissä verkostoissa ja herättävät tärkeitä kysymyksiä mahdollisuudesta löytää nämä universaalit alitilat ilman laajoja data- ja laskentaresursseja. ... Suorittamalla kerrosittain spektrihajotelmia ja säilyttämällä vain johtavat pääsuunnat, voidaan saada tarkka approksimaatio näistä universaaleista aliavaruuksista. Empiirisesti tämä käyttäytyminen ilmenee laajasti: täysin hienosäädetyissä malleissa ja LoRA-pohjaisissa adaptereissa, alusta alkaen koulutetuissa malleissa, sekä generatiivisissa että diskriminatiivisissa ympäristöissä sekä multimodaalisissa konfiguraatioissa. Lisäksi approksimoidut alitilat yleistyvät jakauman ulkopuolisiin tehtäviin, joissa mallien projisoiminen ja vain pienen kertoimien oppiminen riittää vahvan suorituskyvyn palauttamiseksi. Tämä mahdollistaa sopeutumisen uusiin tehtäviin ilman uudelleenkoulutusta tai täysien painojen tallentamista, ja tukee vahvaa monitehtäväoppimista, skaalautuvaa hienosäätöä sekä periaatteellista mallien yhdistämistä yhtenäiseen kehykseen. Käytännön vaikutukset ovat merkittävät. Käyttämällä uudelleen yhteistä kerroskohtaista pääsuuntaa ja oppimalla vain kevyet kertoimet per tehtävä, suuria malleja voidaan laajentaa ja palvella huomattavasti pienemmällä laskenta-, muisti- ja insinöörikuormalla. ... Voimme tehokkaasti kierrättää ja korvata saatavilla olevat valmiiksi koulutetut mallit universaalilla alitilamallilla, jossa jokainen yksilö esitetään harvalla kertoimijoukolla. Tässä osiossa näytämme joukon kokeita, joissa hyödynnämme universaaleja aliavaruuksia oppiaksemme uusia tehtäviä jäädyttämällä komponentit ja yksinkertaisesti oppimalla kertoimet gradienttilaskeutumisen avulla. Koska opimme vain kertoimia, se vähentää merkittävästi uusien mallien kouluttamiseen tarvittavien parametrien määrää. Lisäksi, koska nämä kertoimet ovat yksinkertaisesti lineaarisia skaalausarvoja, optimointi on sujuvampaa ja nopeampaa.