Tokenisering er bare et spesielt tilfelle av "chunking" - å bygge data på lavt nivå til abstraksjoner på høyt nivå - som igjen er grunnleggende for intelligens. Vår nye arkitektur, som muliggjør hierarkisk *dynamisk chunking*, er ikke bare tokeniseringsfri, men skalerer rett og slett bedre.

Dette var et utrolig viktig prosjekt for meg - jeg har ønsket å løse det i årevis, men ante ikke hvordan. Alt dette var @sukjun_hwang og @fluorane er fantastisk arbeid! Jeg skrev om historien om utviklingen, og hva som kan komme videre. The H-Net: