Hiljainen ominaisuuksien oppiminen Transformersissa Tämä on yksi kiehtovimmista artikkeleista, joita olen lukenut tällä viikolla. Selitän: Se väittää, että häviökäyrät voivat johtaa harhaan siitä, mitä malli oppii. Oletusmenetelmä neuroverkkokoulutuksen seurannassa perustuu häviöön ensisijaisena edistymismittarina. Jos tappio on tasainen, mitään ei tapahdu. Jos menetys vähenee, tapahtuu oppimista. Mutta tämä oletus pätee algoritmisiin tehtäviin. Tämä uusi tutkimus koulutti Transformersin kymmeneen perustavanlaatuiseen algoritmiseen tehtävään ja löysi "hiljaisia piirteitä": sisäisiä esityksiä, jotka kehittyvät, kun häviö näyttää pysähtyneeltä. He havaitsivat, että mallit oppivat välivaiheita laskennallisia vaiheita kauan ennen kuin nämä vaiheet parantavat tulostehokkuutta. Lisäksi kantaa bittejä, jonojäsenyys BFS:ssä, osittaiset tulot kertolaskussa. Nämä piirteet ilmenevät pitkillä tasanteilla ja yhdistyvät sitten yhtäkkiä ratkaistakseen tehtävän. Tutkijat tutkivat sisäisiä esityksiä binääriaritmetiikassa (yhteenlasku, kertolasku), graafialgoritmeissa (BFS, lyhin polku, topologinen lajittelu, MST) ja sekvenssioptimoinnin (maksimialitaulukko, toiminnan valinta). Kuusi tehtävää osoitti selkeitä kaksivaiheisia siirtymiä: pitkittynyt pysähtyneisyys, jota seurasi äkilliset suorituskyvyn nousut. Ablaatiokokeet vahvistivat kausaalisuuden. Kantamisominaisuuksien poistaminen 64-bittisestä lisämallista aiheutti 75,1 %:n tarkkuuden laskun. Ablating Queue -jäsenyys BFS:ssä laski tarkkuutta 43,6 %. Algoritmiset tehtävät vaativat useita aliohjelmia, jotka toimivat yhdessä. Yksittäiset oikeat komponentit eivät vähennä häviötä ennen kuin kaikki osat ovat kohdallaan. Mallit keräävät latenttikykyjä tasaisten häviökäyrien alle. Vaikuttaa siltä, että ristientropian menetys on epätäydellinen diagnoosi. Merkittävä sisäinen oppiminen voi tapahtua, kun mittarit näyttävät pysähtyneiltä. Tämä motivoi monipuolisempia seurantatyökaluja häviökäyrien ulkopuolella. 🔖 (kirjanmerkkeihin) Paperi: