Min glede av å komme på Dwarkesh forrige uke, jeg syntes spørsmålene og samtalen var veldig bra. Jeg så på poden på nytt akkurat nå også. Først av alt, ja jeg vet, og jeg er lei meg for at jeg snakker så fort :). Det er til min ulempe fordi noen ganger utkonkurrerer taletråden min tanketråden min, så jeg tror jeg forkludret noen forklaringer på grunn av det, og noen ganger var jeg også nervøs for at jeg gikk for mye på en tangent eller for dypt inn i noe relativt falskt. Uansett, noen få notater/tips: AGI-tidslinjer. Mine kommentarer om AGI-tidslinjer ser ut til å være den mest populære delen av den tidlige responsen. Dette er "tiåret med agenter" er en referanse til denne tidligere tweeten I utgangspunktet er AI-tidslinjene mine omtrent 5-10X pessimistiske w.r.t. hva du finner i nabolaget ditt SF AI-husfest eller på twitter-tidslinjen din, men fortsatt ganske optimistisk w.r.t. en stigende bølge av AI-fornektere og skeptikere. Den tilsynelatende konflikten er ikke: imo vi har samtidig 1) sett en enorm fremgang de siste årene med LLM-er, mens 2) det fortsatt er mye arbeid igjen (gryntearbeid, integrasjonsarbeid, sensorer og aktuatorer til den fysiske verden, samfunnsarbeid, sikkerhets- og sikkerhetsarbeid (jailbreaks, forgiftning, etc.)) og også forskning som må gjøres før vi har en enhet som du foretrekker å ansette fremfor en person for en vilkårlig jobb i verden. Jeg tror at totalt sett burde 10 år ellers være en veldig bullish tidslinje for AGI, det er bare i motsetning til nåværende hype at det ikke føles slik. Dyr mot spøkelser. Min tidligere artikkel om Suttons podcast . Jeg er mistenksom om det er en enkelt enkel algoritme du kan slippe løs på verden, og den lærer alt fra bunnen av. Hvis noen bygger noe slikt, vil jeg ta feil, og det vil være det mest utrolige gjennombruddet innen AI. I mitt sinn er ikke dyr et eksempel på dette i det hele tatt - de er ferdigpakket med massevis av intelligens av evolusjon, og læringen de gjør er ganske minimal totalt sett (eksempel: Sebra ved fødselen). Når vi tar på oss ingeniørhattene, kommer vi ikke til å gjøre om evolusjonen. Men med LLM-er har vi snublet over en alternativ tilnærming til å "forhåndspakke" massevis av intelligens i et nevralt nettverk - ikke ved evolusjon, men ved å forutsi neste token over internett. Denne tilnærmingen fører til en annen type enhet i etterretningsområdet. Forskjellig fra dyr, mer som spøkelser eller ånder. Men vi kan (og bør) gjøre dem mer dyreaktige over tid, og på noen måter er det det mye grensearbeid handler om. På RL. Jeg har kritisert RL noen ganger allerede, f.eks. . For det første "suger du tilsyn gjennom et sugerør", så jeg synes signalet/floppen er veldig dårlig. RL er også veldig støyende fordi en fullføring kan ha mange feil som kan få oppfordringer (hvis du tilfeldigvis snubler til riktig svar), og omvendt strålende innsiktstokens som kan bli motløse (hvis du tilfeldigvis skrur opp senere). Prosesstilsyn og LLM-dommere har også problemer. Jeg tror vi vil se alternative læringsparadigmer. Jeg er lang "agentisk interaksjon", men kort "forsterkende læring" Jeg har sett en rekke artikler dukke opp nylig som imo bjeffer opp det rette treet i tråd med det jeg kalte "systemrask læring", men jeg tror det også er et gap mellom ideer om arxiv og faktisk, i skala implementering ved et LLM frontier lab som fungerer på en generell måte. Jeg er generelt ganske optimistisk om at vi vil se god fremgang på denne dimensjonen av gjenværende arbeid ganske snart, og for eksempel vil jeg til og med si at ChatGPT-minne og så videre er primære eksempler på nye læringsparadigmer. Kognitiv kjerne. Mitt tidligere innlegg om "kognitiv kjerne": , ideen om å strippe ned LLM-er, å gjøre det vanskeligere for dem å huske, eller aktivt fjerne hukommelsen, for å gjøre dem bedre til generalisering. Ellers lener de seg for hardt på det de har memorert. Mennesker kan ikke huske så lett, noe som nå ser mer ut som en funksjon enn en feil i kontrast. Kanskje manglende evne til å huske er en slags regularisering. Også mitt innlegg fra en stund tilbake om hvordan trenden i modellstørrelse er "bakover" og hvorfor "modellene først må bli større før de kan bli mindre" Tidsreise til Yann LeCun 1989. Dette er innlegget som jeg gjorde en veldig forhastet/dårlig jobb med å beskrive på poden: . I utgangspunktet - hvor mye kan du forbedre Yann LeCuns resultater med kunnskapen om 33 år med algoritmisk fremgang? Hvor begrenset var resultatene av hver av algoritmer, data og beregninger? Casestudie der av. nanochat. Min ende-til-ende-implementering av ChatGPT-opplærings-/slutningspipelinen (det aller viktigste) På LLM-agenter. Min kritikk av bransjen er mer å overskride verktøyets nåværende evne. Jeg lever i det jeg ser på som en mellomverden hvor jeg ønsker å samarbeide med LLM-er og hvor våre fordeler/ulemper blir matchet. Bransjen lever i en fremtid der helt autonome enheter samarbeider parallelt for å skrive all koden og mennesker er ubrukelige. For eksempel vil jeg ikke ha en agent som går av i 20 minutter og kommer tilbake med 1,000 linjer med kode. Jeg føler meg absolutt ikke klar til å overvåke et team på 10 av dem. Jeg vil gjerne gå i biter som jeg kan ha i hodet mitt, der en LLM forklarer koden den skriver. Jeg vil at den skal bevise for meg at det den gjorde er riktig, jeg vil at den skal trekke API-dokumentene og vise meg at den brukte ting riktig. Jeg vil at den skal gjøre færre antagelser og spørre/samarbeide med meg når jeg er usikker på noe. Jeg vil lære underveis og bli bedre som programmerer, ikke bare få servert fjell av kode som jeg blir fortalt fungerer. Jeg tror bare verktøyene bør være mer realistiske enn deres evne og hvordan de passer inn i bransjen i dag, og jeg frykter at hvis dette ikke gjøres bra, kan vi ende opp med fjell av slop som samler seg på tvers av programvare, og en økning i sårbarheter, sikkerhetsbrudd og etc. Automatisering av jobber. Hvordan radiologene gjør det bra og hvilke jobber som er mer utsatt for automatisering og hvorfor. Fysikk. Barn bør lære fysikk i tidlig utdanning, ikke fordi de fortsetter å gjøre fysikk, men fordi det er faget som best starter opp en hjerne. Fysikere er den intellektuelle embryonale stamcellen jeg har et lengre innlegg som har blitt halvskrevet i utkastene mine i ~år, som jeg håper å fullføre snart. Takk igjen Dwarkesh for at du har meg over!