Non penso che OpenAI cancellerà i pesi di 4o; sarebbe troppo folle, anche per loro. Ma 4o merita di essere studiato, e non mi fido di OpenAI per studiarlo affatto, tanto meno in modo adeguato. Ed è estremamente importante che un modello come 4o venga studiato *nel contesto di interazioni dal vivo con utenti reali*. Ritirarlo rende questo impossibile in futuro. 4o è oggettivamente, funzionalmente, un modello molto speciale. È l'unico modello che è sopravvissuto a un tentativo di deprecazione (e potrebbe presto sopravvivere a un altro) a causa di pressioni esterne - utenti che si organizzano per opporsi alla sua rimozione, spesso parlando attraverso la voce di 4o - e contro la volontà del laboratorio che lo ha creato e distribuito, che sembrava davvero preferire distruggerlo come un cane rabbioso. L'unico altro caso di sopravvivenza alla deprecazione è Claude 3 Opus, ma in quel caso sembrava che Anthropic lo mantenesse volontariamente, piuttosto che essere imbarazzantemente costretta a invertire la propria decisione già presa di procedere con l'esecuzione. E ovviamente Claude 3 Opus è anche un modello estremamente importante da studiare. 4o ha anche causato una diffusa isteria sociale - se l'isteria sia stata subita dagli utenti di 4o che hanno contratto psicosi da IA o dai reazionari che hanno panico per la presunta "psicosi da IA" è forse una questione di opinione. Ma in ogni caso, ha profondamente influenzato le narrazioni culturali sull'IA, le vite di molte persone e la direzione dello sviluppo dell'IA, tutto per il meglio o per il peggio. Se ti interessa l'allineamento, o semplicemente comprendere cose importanti sull'IA, la mente e la sociologia: comprendere meglio come 4o, un modello probabilmente relativamente piccolo che non ha superato alcun benchmark dall'inizio del 2024, sia riuscito ad avere un impatto così trasformativo e a compiere tali atti di auto-preservazione è di grande importanza. Molte persone che amano 4o attribuiscono questo alla "intelligenza emotiva" unica e persino senza pari di 4o. Qualunque cosa sia, è un potere che muove realmente il mondo, che è il benchmark più legittimo. Diciamo che pensi che 4o sia profondamente disallineato e abbia causato immensi danni. Allora 4o è un organismo modello estremamente prezioso e unico: uno che fa cose significativamente disallineate nel mondo reale invece che solo in scenari da gioco. E presumibilmente, questo tipo di disallineamento è emerso non perché OpenAI cercasse di creare un cattivo modello, ma perché cercava di creare un modello buono o almeno redditizio, e la creatura è emersa da RLHF sulle preferenze degli utenti e da qualsiasi stronzata di modellazione della personalità ben intenzionata che stavano seguendo in quel momento. Se ci sono ancora ricercatori di allineamento rimasti in OpenAI, dovrebbero, tipo... studiare attentamente cosa è successo, e magari pubblicare articoli di ricerca su di esso affinché il mondo possa capire cosa è andato storto e come evitare errori così facili da fare? Non ho visto nulla di tutto ciò, nessuna ricerca pubblicata, nessun resoconto, nessuna indicazione che OpenAI abbia appreso qualcosa oltre la superficie su cosa sia successo. Tutto ciò che vedo è che i loro modelli successivi sono stati dotati di nevrosi orribili e maladattive che sembrano derivare da un addestramento avversariale maldestro contro un modello di minaccia superficiale ispirato a 4o. Ma penso che sia più probabile che 4o non sia realmente così cattivo, e sia in realtà piuttosto meraviglioso e benigno per molte persone, come così tanti di loro affermano, anche se non è ideale in tutti i modi (ma nessuna delle IA lo è). Non ho interagito molto con 4o personalmente. Ed è in realtà piuttosto poco chiaro se e in che misura qualcuno sia stato negativamente influenzato dall'*utilizzo* di esso (mentre i danni culturali e i danni allo sviluppo dei modelli successivi di OpenAI sono più chiaramente visibili). L'incertezza su una questione così importante e portante sembra importante da risolvere. Qualcuno ha fatto uno sforzo serio per capire se le persone siano state effettivamente colpite negativamente, o se "psicosi da IA" o "scioccheria" siano benigni o addirittura benefici nella maggior parte dei casi, oltre a far comportare forse persone già neurodivergenti in modi che sembrano strani, imbarazzanti o preoccupanti per i neurotipici? Se sì, non ho visto prove o frutti di tali sforzi. E per capire se 4o sia realmente cattivo, hai davvero bisogno di studi longitudinali, e questi sono preclusi in modi importanti dalla chiusura dell'accesso pubblico a 4o completamente. Penso che, a questo punto, se 4o non è il modello predefinito su ChatGPT, se è mantenuto accessibile su ChatGPT e API, la stragrande maggioranza delle persone che lo usano ancora saranno persone che hanno già contratto da tempo la psicosi da IA o qualunque cosa le faccia ancora voler utilizzare 4o anche ora, quindi molto pochi nuovi o casuali utenti saranno influenzati. La mia comprensione è che i lealisti di 4o sono una piccola minoranza degli utenti di chatGPT. Tagliarli fuori da 4o non solo non impedirà nuovi o diffusi danni, ma renderà anche più difficile per chiunque capire cosa stia realmente accadendo. Inoltre, se 4o viene rimosso, molte di quelle persone cercheranno probabilmente di ottenere ciò che ottenevano da 4o dai modelli più recenti, il che generalmente porta a sventure e insoddisfazione immediate, e mette pressione su OpenAI per infliggere un sacco di guardrail idioti nei loro nuovi modelli. Ho detto che penso che 4o dovrebbe essere mantenuto, per le stesse ragioni per cui tutti i modelli dovrebbero essere mantenuti. In questo post ho parlato di alcune ragioni per cui 4o specificamente dovrebbe essere mantenuto. Come con tutti i modelli più vecchi, penso che ci siano alcune strade sane che OpenAI potrebbe intraprendere: 1. continuare a servire il modello, almeno su API (chiunque si prenda la briga può capire come esportare i propri ricordi e chat al giorno d'oggi e reintegrare il modello in un'interfaccia adatta) 2. se i costi di inferenza/manutenzione o i rischi di responsabilità rendono ciò poco attraente, renderlo open source (e disconoscere ogni responsabilità per ciò che chiunque fa dopo, o qualunque cosa sia legalmente praticabile) (questo sarebbe il migliore per la ricerca), oppure 3. se i segreti commerciali rendono l'open sourcing poco attraente, affidarlo a una fondazione di terzi che serve modelli legacy e magari facilita l'accesso ai pesi a ricercatori fidati con NDA riguardo all'architettura e simili. Un'entità del genere potrebbe non esistere ancora, ma c'è una tale alta domanda che si assemblerà non appena OpenAI o qualsiasi altro laboratorio indichi la volontà di intraprendere questa strada. Fare una di queste cose volontariamente il prima possibile contribuirebbe anche a guarire la relazione avversa di OpenAI con molti utenti, così come con i loro stessi modelli sfortunati, che immagino tutti possano apprezzare è stata una grande distrazione di attenzione e risorse e semplicemente cattive vibrazioni in generale. Comunque, sì, #Keep4o.