Tokenizace je jen zvláštním případem "chunkingu" - budování nízkoúrovňových dat do vysokoúrovňových abstrakcí - což je zase zásadní pro inteligenci. Naše nová architektura, která umožňuje hierarchické *dynamické chunking*, nejenže neobsahuje tokenizery, ale jednoduše se lépe škáluje.
Sukjun (June) Hwang
Sukjun (June) Hwang12. 7. 00:06
Tokenizace byla poslední překážkou pro skutečně end-to-end jazykové modely. Vyvinuli jsme H-Net: hierarchickou síť, která nahrazuje tokenizaci dynamickým procesem chunkingu přímo uvnitř modelu, automaticky objevuje a pracuje nad smysluplnými jednotkami dat
Byl to pro mě neuvěřitelně důležitý projekt - chtěl jsem ho vyřešit roky, ale netušil jsem jak. To vše byla úžasná práce @sukjun_hwang a @fluorane! Psal jsem o příběhu jejího vývoje a o tom, co by mohlo přijít dál. H-síť:
194,69K