Dagens Extropic-lansering reiser noen nye røde flagg. Jeg begynte å følge dette selskapet da de nektet å forklare input/output-spesifikasjonene for det de bygger, og lot oss vente på å få en avklaring.) Her er 3 røde flagg fra i dag: 1. Fra «Generativ AI er prøvetaking. Alle generative AI-algoritmer er i hovedsak prosedyrer for sampling fra sannsynlighetsfordelinger. Trening av en generativ AI-modell tilsvarer å utlede sannsynlighetsfordelingen som ligger til grunn for noen treningsdata, og kjøring av slutning tilsvarer generering av prøver fra den lærte distribusjonen. Fordi TSU-er prøver, kan de kjøre generative AI-algoritmer naturlig.» Dette er en svært misvisende påstand om algoritmene som driver de mest nyttige moderne AI-ene, på samme nivå av gaslighting som å kalle den menneskelige hjernen en termodynamisk datamaskin. IIUC, så vidt noen vet, samsvarer ikke størstedelen av AI-beregningsarbeidet med den typen input/output som du kan mate inn i Extropics brikke. Siden sier: «Den neste utfordringen er å finne ut hvordan man kan kombinere disse primitivene på en måte som gjør det mulig å skalere opp evner til noe som kan sammenlignes med dagens LLM-er. For å gjøre dette må vi bygge veldig store TSU-er, og finne opp nye algoritmer som kan forbruke en vilkårlig mengde probabilistiske dataressurser.» Trenger du virkelig å bygge store TSU-er for å undersøke om det er mulig for LLM-lignende applikasjoner å dra nytte av denne maskinvaren? Jeg ville ha trodd det ville være verdt å bruke et par $million på å undersøke det spørsmålet via en kombinasjon av teori og moderne sky-superdatamaskinvare, i stedet bruke over 30 millioner dollar på å bygge maskinvare som kan være en bro til ingensteds. Deres egen dokumentasjon for deres THRML (deres åpen kildekode-bibliotek) sier: "THRML gir GPU-akselererte verktøy for blokksampling på sparsomme, heterogene grafer, noe som gjør det til et naturlig sted å prototype i dag og eksperimentere med fremtidig Extropic-maskinvare." Du sier at du mangler en måte maskinvareprimitivene dine *i prinsippet* kan brukes på nyttige applikasjoner av noe slag, og du opprettet dette biblioteket for å hjelpe til med å gjøre den typen forskning ved å bruke dagens GPUer ... Hvorfor ville du ikke bare gi ut Python-biblioteket tidligere (THRML), gjøre flaskehalsforskningen du sa må gjøres tidligere, og engasjere fellesskapet for å hjelpe deg med å få svar på dette nøkkelspørsmålet nå? Hvorfor ventet du hele denne tiden med å først lansere denne ekstremt nisje-lille maskinvareprototypen for å komme frem og forklare denne make-or-break-flaskehalsen, og bare publisere søket ditt etter potensielle partnere som har en slags relevant "sannsynlighetsbasert arbeidsbelastning" nå, når kostnaden for ikke å gjøre det var 30 millioner dollar og 18 måneder? 2. Fra «Vi utviklet en modell av TSU-arkitekturen vår og brukte den til å estimere hvor mye energi det ville ta å kjøre støyreduksjonsprosessen vist i animasjonen ovenfor. Det vi fant er at DTM-er som kjører på TSU-er kan være omtrent 10 000 ganger mer energieffektive enn standard bildegenereringsalgoritmer på GPU-er." Jeg ser allerede folk på Twitter som hyper 10 000x-påstanden. Men for alle som har fulgt den tiår lange sagaen om kvantedataselskaper som hevder å oppnå "kvanteoverlegenhet" med lignende typer hype-tall, vet du hvor mye forsiktighet som må legges ned for å definere den typen referanse. I praksis har det en tendens til å være ekstremt vanskelig å peke på situasjoner der en klassisk databehandlingstilnærming *ikke* er mye raskere enn den påståtte "10 000 ganger raskere termodynamisk databehandling"-tilnærmingen. Extropic-teamet vet dette, men valgte å ikke utdype hva slags forhold som kunne reprodusere denne hype-referansen som de ønsket å se gå viralt. 3. Terminologien de bruker har blitt byttet til «probabilistisk datamaskin»: «Vi designet verdens første skalerbare probabilistiske datamaskin.» Frem til i dag brukte de «termodynamisk datamaskin» som begrep, og hevdet skriftlig at «hjernen er en termodynamisk datamaskin». Man kan la tvilen komme dem til gode for å snu terminologien sin. Det er bare det at de alltid snakket tull om at hjernen er en "termodynamisk datamaskin" (etter mitt syn er hjernen verken det eller en "kvantedatamaskin"; det er i stor grad en nevral nettalgoritme som kjører på en klassisk datamaskinarkitektur). Og denne plutselige terminologien er i samsvar med at de har snakket tull på den fronten. Nå til det positive: * Noe maskinvare ble faktisk bygget! * De forklarer hvordan dens input/output potensielt har en anvendelse i denoising, selv om de som nevnt er vage på detaljene i den antatte "10 000x termodynamiske overlegenheten" de oppnådde på denne fronten. Generelle: Dette er omtrent det jeg forventet da jeg først begynte å be om inngangsutgangen for 18 måneder siden. De hadde en legitimt kul idé for et stykke maskinvare, men hadde ikke en plan for å gjøre det nyttig, men hadde noen vage begynnelser på noe teoretisk forskning som hadde en sjanse til å gjøre det nyttig. De ser ut til å ha gjort respektable fremskritt med å få maskinvaren i produksjon (beløpet som $30M kjøper deg), og tilsynelatende mindre fremgang med å finne grunner til at denne spesielle maskinvaren, selv etter 10 generasjoner med etterfølgerforbedringer, kommer til å være til nytte for noen. Fremover, i stedet for å svare på spørsmål om enhetens input/output ved å "mogge" folk og si at det er en bedriftshemmelighet, og tvitre hypertro om din termodynamiske gud, vil jeg anbefale å være mer åpen om det tilsynelatende gigantiske liv-eller-død-spørsmålet som teknologisamfunnet faktisk kan være interessert i å hjelpe deg med å svare på: om noen kan skrive et Python-program i simulatoren din med sterkere bevis på at en slags nyttig "termodynamisk overlegenhet" med din maskinvarekonsept kan noen gang være en ting.

Jeg antar at noen andre også vil knipse til samme feilkarakterisering som deg, så jeg skal presisere: Dette er ikke et trinn 1 på veien til et nyttig trinn 10. Den pløyer aggressivt fremover på maskinvare uten en sammenhengende teoretisk historie, noe de innrømmer. Det er greit, det er bare uvanlig å være så godt finansiert. Det er mange forskningsprosjekter ved universiteter med knappe budsjetter som har en mer sammenhengende historie om hva som må bygges og hvorfor.

@NGDPAB 2. Jeg ser en halv side her, men poenget mitt er at å bevise at hastigheter i en liten skala bare ikke er verdt mye. Vi vet alle dette.

Re: Rødt flagg #2, den misvisende "10 000x"-hypen:

Som jeg sa, flaskehalsen for Extropics suksess er håpet om at noen vil komme ut av treverket med en nyttig anvendelse av sin longshot-idé. Det er bare utilrådelig å forhåndsbrenne $30M+ når den samme Hail Mary kunne ha blitt laget først.