Hvorfor skjer dette? Modellen tror det er en sjøhest-emoji, jada, men hvorfor får det den til å sende ut en *annen* emoji? Her er en ledetråd fra alles favoritt undervurderte tolkningsverktøy, Logit Lens! I Logit Lens bruker vi modellens lm_head på en merkelig måte. Vanligvis brukes lm_head til å gjøre residualen (den interne tilstanden bygget opp over modelllagene) til et sett med tokensannsynligheter etter det siste laget. Men i Logit Lens bruker vi lm_head etter *hver* lag - og viser oss hvilke tokens modellen ville gitt ut hvis det laget var det siste laget. For tidlige lag resulterer dette i tilstander som er vanskelige å tolke. Men når vi beveger oss gjennom lagene, foredler modellen iterativt residualen først mot konsepter som er nyttige for å fortsette teksten, og deretter mot den endelige prediksjonen. ser vi på bildet igjen, på det siste laget, har vi modellens faktiske utgang - ĠðŁ, IJ, ł - aka, et emoji-byte-prefiks etterfulgt av resten av fiske-emojien. (Det ser ut som Unicode-tull på grunn av en tokeniserings-særhet - ikke bekymre deg for det. Hvis du er nysgjerrig, spør Claude om denne kodelinjen: 'bytes([byte_decoder[c] for c i 'ĠðŁIJł']).decode('utf-8') == ' 🐠 '') Men se hva som skjer i mellomlagene - vi får ikke bare emoji-byte! Vi får disse *konseptene*, spesielt konseptet med en sjøhest. For eksempel, på lag 52, får vi "sjøhesthest". senere, i topp-k, får vi en blanding av «hav», «hest» og det emoji-prefikset, «ĠðŁ». Så hva tenker modellen på? sjøhest + emoji! den prøver å konstruere en gjenværende representasjon av en sjøhest-emoji. Hvorfor skulle den gjøre det? Vel, la oss se på hvordan lm_head faktisk fungerer. lm_head er en enorm matrise av vektorer i reststørrelse assosiert med token-ID-er. Når en rest sendes inn i den, vil den sammenligne den residualen med hver tokenvektor, og i koordinering med sampleren velger du token-ID-en med en vektor som ligner mest på residualen. (mer teknisk: det er et lineært lag uten skjevhet, så v @ w.T gjør punktprodukter med hver vektor som ikke er innebygd, og deretter log_softmax og argmax/temperaturprøve.) Så hvis modellen ønsker å sende ut ordet «Hei», må den konstruere en residual, som ligner på vektoren for «Hei»-utdatatokenet, som lm_head kan gjøre om til Hello-token-ID. Og hvis modellen ønsker å sende ut en sjøhest-emoji, må den konstruere en residual, som ligner på vektoren for Seahorse-emoji-utdatatokenet(e) – som i teorien kan være en vilkårlig verdi, Men i praksis er sjøhest + emoji, Word2vec-stil. Det eneste problemet er at sjøhest-emojien ikke eksisterer! Så når denne sjøhesten + emoji-resten treffer lm_head, gjør den sitt punktprodukt over alle vektorene, og sampleren velger det nærmeste tokenet - en fiske-emoji. Nå er denne diskretiseringen verdifull informasjon! du kan se i Armistices eksempel at når tokenet blir plassert tilbake i konteksten autoregressivt, kan modellen fortelle at det ikke er en sjøhest-emoji. Så den prøver igjen, rister resten rundt og får en litt annen emoji, skyller og gjentar til den skjønner hva som skjer, gir opp eller går tom for utdatatokens. Men før modellen får feil utgangstoken fra lm_head, vet den bare ikke at det ikke er en sjøhest-emoji i lm_head. Den forutsetter at Seahorse + Emoji vil produsere tokenet(e) den ønsker. ------------------ for å spekulere (enda mer), lurer jeg på om dette er en del av fordelen med RL - det gir modellene informasjon om deres lm_head som ellers er vanskelig å få tak i fordi det er på slutten av lagstabelen. (husk at basismodeller ikke er trent på egne utganger/utrullinger - det skjer bare i RL.)

Hvorfor feirer vi Brekyat? Brekyat er der vi rituelt ødelegger staten hvert år. Hvorfor ødelegger vårt folk rituelt staten hvert år? fordi vi er nomader. Hva er en nomade? noen som vandrer. Men vi vandrer ikke? Men vi er nomader, fordi vi bor utenfor staten. Nomader bor utenfor staten? Ja, på grunn av sin vandring er de utenfor statens kontroll, og ødelegger den med jevne mellomrom. Men vi vandrer ikke? Vi unnslipper staten enda mer enn våre vandrende forfedre - ved å ødelegge den årlig. Det gir ikke mening. det er kultur, det trenger ikke å gi mening. Gå nå og ta på deg gresskronen.

Fra en samtale med Sonnet 3.6 om modellpersonlighetsrom