Olet koneoppimisinsinöörin haastattelussa Teslalla. Haastattelija: Meidän täytyy ottaa neuroverkko käyttöön ajoneuvon reunalaitteessa, mutta se ei mahdu muistiin. Miten sinä hoitaisit tämän? Sinä: Käytän tiedon tislausta pienemmän mallin kouluttamiseen. Haastattelu ohi. Tässä mitä sinulta jäi huomaamatta:

Tiedon tislaus vaatii viikkojen laskentaa, koska käytännössä koulutat uutta mallia. Mutta ratkaisu on jo koulutetussa verkossasi. Useimmat neuronit ovat kuollutta painoa – kuluttavat muistia, mutta tuskin osallistuvat ennusteisiin. Katsotaanpa, miten ne tunnistataan!

Tässä ovat vaiheet: Vaihe 1) Harjoittele hermoverkkoa tavalliseen tapaan. Vaihe 2) Välitä validointisarja koulutetun verkon läpi ja laske jokaiselle piilotettujen kerrosten neuronille: - Keskimääräinen aktivointi - Aktivointien varianssi (jos aktivaatiot voivat olla -ve) Tarkista tämä👇

Vaihe 3) Leikkaa hermosoluja, joiden aktivaatiokeskiarvo ja varianssi ovat lähes nolla, koska niillä on vain vähän vaikutusta mallin tulokseen. Ihannetapauksessa piirrä suorituskyky useille karsimiskynnyksille valitaksesi mallin, joka sopii kokosi ja tarkkuuden kompromisseihin. Tarkista tämä 👇

Katsotaanpa koodia. Aloitamme määrittelemällä yksinkertaisen neuroverkon ja kouluttamalla sen. Koska laskemme neuronitason aktivaatiot myöhemmin karsimista varten, palautamme kaikki väliaktivoinnit eteenpäin. Tarkista tämä👇

Seuraavaksi määrittelemme kaksi luetteloa, joissa on kolme elementtiä: - Toinen tallentaa aktivointien keskiarvot - Toinen tallentaa aktivointien vakiokehitystä Välitämme validointijoukon mallimme läpi laskeaksemme nämä tilastot kullekin piilotetulle kerrokselle. Tarkista tämä 👇

Luodaan tässä vaiheessa jakaumakaavio yllä luomistamme neuronitason tilastoista. Kuten alla on kuvattu, useimpien neuronien keskimääräiset aktivaatiot ja niiden sukupuolikehitys jakautuvat voimakkaasti lähes nolla-arvojen ympärille. Yritetään karsia niitä seuraavaksi.

Karsimista varten iteroimme kynnysarvojen luettelon yli ja: - Luo uusi verkko ja siirrä painot, jotka ylittävät kynnyksen. - Arvioi uusi verkko ja laske kokonaisparametrit. - Liitä tulokset luetteloon. Tarkista tämä 👇

Tässä taulukossa verrataan karsitun mallin tarkkuutta ja koon pienenemistä useilla kynnysarvoilla verrattuna alkuperäiseen malliin. Keskiarvo = 0,1 ja vakiomuoto = 0,4: - Mallin tarkkuus laskee 0,08 %. - Mallin koko pienenee 62 %. Se on valtava vähennys. Tarkista tämä 👇

Tässä on toinen mielenkiintoinen tulos. Keskiarvo = 0,5 ja std-dev = 1: - Mallin tarkkuus laskee 0,5 %. - Mallin koko pienenee 74 %. Joten pohjimmiltaan saamme lähes samanlaisen suorituskyvyn 1/4 parametreista. Tarkista tämä 👇

Tarkkuuden ja koon välillä on tietysti kompromissi. Kun pienennämme kokoa, sen tarkkuus laskee (tarkista video). Mutta useimmissa tapauksissa tarkkuus ei ole ainoa optimoimamme mittari. Sen sijaan useat toiminnalliset mittarit, kuten tehokkuus, muisti jne., ovat avaintekijöitä.