Myslím, že jedním z závěrů, které bychom měli z obrovského úspěchu LLM vyvodit, je, kolik lidského poznání a společnosti existuje na velmi nízké úrovni Kolmogorovovovy složitosti. Vstupujeme do éry, kdy minimální zastoupení lidského kulturního artefaktu... (1/12)

... bude obecně LLM prompt. A tyto zadání budou obecně o řády kompaktnější než samotné artefakty. Velký úspěch programovacích agentů například ukazuje, že zdrojový kód většiny softwarových artefaktů je řádů... (2/12)

... o velikosti nafouklejší než skutečně minimální algoritmická reprezentace potřebná k jednoznačné specifikaci tohoto softwarového artefaktu. Stejně tak u většiny lidského psaní, výzkumu a komunikace. Tím, že jsou tak efektivními dekompresory algoritmických informací, mají LLM... (3/12)

... prozrazoval děsivou míru naší vlastní upovídanosti. Část této rozvláčnosti nepochybně pramení z omezení našich formálních reprezentačních jazyků (například programovacích jazyků). Ale část z toho se zdá být také vrozená, pravděpodobně jako prostředek lidské opravy chyb. (4/12)

Když je zamýšlený dekompresor velmi ztrátový (jako lidská mysl), je rozumné přeceňovat reprezentaci spoustou synonym a syntaktickým cukrem. Když je zamýšlený dekompresor blíže dokonale bezztrátovému (jak se LLM rychle stávají), dává to méně smysl. (5/12)

Matematika a fyzika představují zajímavé testovací případy. Proces axiomatizace v matematice je formou algoritmické komprese: všechny pravdivé věty jsou vždy "obsaženy" v reprezentaci axiomů a pravidel inference, ale proces... (6/12)

... Dekomprese této reprezentace může být libovolně obtížná. Přesto jsou detaily toho, jak probíhají procesy dekomprese (dokazování vět) a komprese (reverzní matematika), v jistém smyslu skutečnými objekty matematického zájmu. Stejně tak fyzika. (7/12)

Někdo by, pokud by byl dostatečně naivní, mohl tvrdit, že fyzika je o hledání minimálních algoritmických kompresí fyzikálního vesmíru. Opět jsou detaily (de)komprese to, co je nakonec důležité. Stačí najít minimální zobrazení vesmíru... (8/12)

... by "nevyřešili fyziku", stejně jako objevení axiomů ZFC "vyřešené matematiky". [Pokud věříme, jako já, že vesmír lze nakonec modelovat výpočetními termíny, pak v jistém smyslu tato reprezentace již existuje: je to univerzální Turingův stroj.] (9/12)

LLM jsou pozoruhodně efektivní dekompresory algoritmických informací a jejich úspěch v dokazování vět a vývoji softwaru je toho důkazem. Jejich schopnosti v kompresi se v současnosti zdají být méně jasné. Přesto objevuje minimální reprezentace,... (10/12)

... ať už jde o vtipné aforismy nebo vtipné poznámky (v nichž jsou současné LLM jednotně hrozné), nebo zkomprimované axiomatické reprezentace, které charakterizují matematickou krásu (v nichž jsou současné LLM většinou netestované), tvoří jeden z charakteristických znaků hluboké lidské inteligence. (11/12)

Takže si myslím, že je stále jasnější, že efektivita a bezztrátnost, jak komprese, tak dekomprese, společně představují čtyři možné osy, podél kterých můžeme začít parametrizovat prostor možných (inteligentních) myslí. Ale co jsou ty ostatní? (12/12)