Penso che una delle conclusioni che dovremmo trarre dal tremendo successo dei LLM sia quanto sapere umano e società esistano a livelli molto bassi di complessità di Kolmogorov. Stiamo entrando in un'era in cui la rappresentazione minima di un artefatto culturale umano... (1/12)

...sarà, genericamente, un prompt LLM. E quei prompt saranno, genericamente, ordini di grandezza più compatti degli artefatti stessi. Il grande successo degli agenti di codifica, ad esempio, indica che il codice sorgente della maggior parte degli artefatti software è ordini di... (2/12)

...magnitude più gonfiato rispetto alla rappresentazione algoritmica veramente minimale necessaria per specificare in modo univoco quel artefatto software. Lo stesso vale per gran parte della scrittura umana, della ricerca, della comunicazione. Essendo così efficienti nel decomprimere informazioni algoritmiche, i LLM hanno... (3/12)

...ha tradito l'orribile estensione della nostra stessa verbosità. Parte di quella verbosità deriva senza dubbio dalle limitazioni dei nostri linguaggi di rappresentazione formale (come i linguaggi di programmazione). Ma parte di essa sembra anche essere intrinseca, probabilmente come mezzo di correzione degli errori umani. (4/12)

Quando il decompressore previsto è molto lossy (come una mente umana), specificare eccessivamente la rappresentazione con molti sinonimi e zucchero sintattico sembra prudente. Quando il decompressore previsto è più vicino a essere perfettamente lossless (come gli LLM stanno rapidamente diventando), ha meno senso. (5/12)

La matematica e la fisica rappresentano casi di test interessanti. Il processo di assiomatizzazione in matematica è una forma di compressione algoritmica: tutti i teoremi veri sono sempre "contenuti" nella rappresentazione degli assiomi e delle regole di inferenza, ma il processo di... (6/12)

...decomprimere questa rappresentazione può essere arbitrariamente difficile. Eppure i dettagli su come avvengono i processi di decompressione (dimostrazione di teoremi) e compressione (matematica inversa) sono, in un certo senso, i veri oggetti di interesse matematico. Allo stesso modo con la fisica. (7/12)

Si potrebbe, se si fosse sufficientemente ingenuo, affermare che la fisica riguarda la ricerca di compressioni algoritmiche minime dell'universo fisico. Eppure, i dettagli della (de)compressione sono ciò che conta in ultima analisi. Trovare semplicemente una rappresentazione minima dell'universo... (8/12)

...non risolverebbe la "fisica", così come la scoperta degli assiomi ZFC non ha "risolto la matematica". [Se si crede, come faccio io, che l'universo possa essere modellato in termini computazionali, allora in un certo senso questa rappresentazione esiste già: è una macchina di Turing universale.] (9/12)

I LLM sono straordinariamente efficaci nel decomprimere informazioni algoritmiche, e il loro successo nella dimostrazione di teoremi e nello sviluppo software ne è una testimonianza. Le loro capacità nella compressione sembrano attualmente meno chiare. Eppure, scoprire rappresentazioni minime,... (10/12)

...che si tratti di aforismi arguti o bon mots (in cui gli attuali LLM sono uniformemente pessimi), o delle rappresentazioni assiomatiche compresse che caratterizzano la bellezza matematica (in cui gli attuali LLM sono per lo più non testati), costituisce uno dei tratti distintivi della profonda intelligenza umana. (11/12)

Quindi penso che stia diventando sempre più chiaro che l'efficienza e l'assenza di perdite, sia nella compressione che nella decompressione, rappresentano insieme quattro potenziali assi lungo i quali possiamo iniziare a parametrizzare lo spazio delle possibili menti (intelligenti). Ma quali sono gli altri? (12/12)