quindi sui limiti dell'AI per il progresso autonomo per contesto: alcuni giorni fa, ho scritto un prompt per un "NanoHVM" - una versione giocattolo del mio runtime, con termini a 16 bit - e ho chiesto agli AI di scrivere un valutatore. dopo alcuni cicli di collaborazione uomo-AI, ho ottenuto un'implementazione sorprendentemente veloce purtroppo, il file stava diventando molto grande e brutto, quindi volevo renderlo più piccolo. Ho impostato una sessione codex/claude/gemini e ho chiesto loro di "renderlo più corto". il primo prompt ha funzionato, quindi ho continuato a ripetere la stessa richiesta, ancora e ancora, per diverse ore. alla fine, gli AI hanno colpito un muro. non importa quanto continuassi a chiedere, non riuscivano a ridurlo oltre una certa soglia. volevo capire perché, quindi ho letto il file. con mia sorpresa, non era affatto ottimale - tonnellate di ridondanze e cattive astrazioni - eppure, cambiava a malapena. commit dopo commit, continuava a includere le stesse tecniche, lo stesso approccio e le stesse ridondanze. c'erano solo piccoli aggiustamenti, ma non c'era stata una riscrittura importante, e questo era necessario per ulteriori guadagni. quindi, ho chiesto all'AI di fare proprio questo. "fai una riscrittura completa questa volta" "ragiona su di essa in modo fondamentale" "sei libero di cambiare qualsiasi cosa" "smetti di fare cambiamenti incrementali" "sostituisci X con un approccio completamente nuovo" eppure, questo è stato futile. queste richieste generiche non hanno avuto alcun effetto. ore dopo, il file implementava ancora lo stesso approccio. l'AI era bloccata in un minimo locale e non riusciva a uscirne. quindi, ho rinunciato e ho deciso di unirmi. Ho preso alcuni minuti per pensarci e ho scritto un breve prompt - lungo circa 500 token - con indicazioni specifiche. "sostituisci X con Y, fai Z in questo modo". in qualche modo questi ~3 paragrafi hanno fatto scattare qualcosa, si sono immediatamente sbloccati, hanno lavorato per ~1h30m di fila e sono tornati con un file che era quasi 2 volte più piccolo *e* il 10% più veloce. ed era un file davvero bello, di alta qualità quindi, immagino che la lezione sia: le AI moderne non possono fare progressi autonomi. se le lasci lavorare senza supervisione, si bloccheranno. questa è una limitazione fondamentale di come funzionano queste cose, almeno per ora. tuttavia, se, ogni poche ore, prendi 5-10 minuti per rivederle, capire dove si trovano e iniettare un po' di conoscenza umana - allora continueranno a lavorare, facendo enormi quantità di lavoro e ottenendo risultati incredibili, mentre tu trascorri il tuo weekend a giocare a qualche gioco mi chiedo cosa manchi loro per riuscire a sbloccarsi senza il mio intervento. sembra che il mio prompt non avesse nulla di speciale. tutte le idee in esso sono concetti che queste AI conoscono, e sembra che avrebbero assolutamente potuto venire con queste idee da sole. eppure, semplicemente non lo fanno... perché? comunque, ho intenzione di rendere open source questa cosa carina la prossima settimana. non è esattamente utile per la maggior parte di voi, ma se, per caso, state cercando il motore di corrispondenza di pattern a 16 bit più veloce del mondo, questo file potrebbe essere proprio ciò che stavate cercando!

"attenzione, questa è la tua ultima modifica" nessuna preoccupazione, sono sicuro che quello era l'ultimo errore di battitura

oh, cazzo