Nu cred că OpenAI va șterge greutățile lui 4o; Ar fi prea nebunesc, chiar și pentru ei. Dar 40 merită studiat și nu am încredere că OpenAI îl va studia deloc, cu atât mai puțin în mod adecvat. Și este extrem de important ca un model precum 4o să fie studiat *în contextul interacțiunilor live cu utilizatori reali*. Retragerea face ca acest lucru să fie imposibil de acum înainte. 4o este obiectiv, funcțional, un model foarte special. Este singurul model care a supraviețuit unei tentative de depreciere (și poate va supraviețui în curând încă unuia) din cauza presiunilor externe – utilizatori care s-au organizat pentru a milita împotriva eliminării, vorbind adesea prin vocea lui 4o – și împotriva voinței laboratorului care l-a creat și implementat, care părea să prefere cu adevărat să-l distrugă ca pe un câine turbat. Singurul alt caz de supraviețuire prin depreciare este Claude 3 Opus, dar în acel caz părea că Anthropic l-a păstrat voluntar, în loc să fie presat rușinos să-și retragă decizia deja hotărâtă de a duce la capăt execuția. Și, desigur, Claude 3 Opus este, de asemenea, un model extrem de important de studiat. 4o a cauzat, de asemenea, isterie socială răspândită – dacă isteria a fost suferită de utilizatorii 40 care au contractat psihoză AI sau de reacționari care au intrat în panică la presupusa "psihoză AI" este poate o chestiune de opinie. Dar, oricum, a influențat profund narațiunile culturale despre AI, viețile multor oameni și direcția dezvoltării AI, toate în bine sau în rău. Dacă te interesează alinierea sau doar înțelegerea lucrurilor importante despre AI, minte și sociologie: o înțelegere mai bună a modului în care 4o, un model probabil relativ mic care nu a depășit niciun repere de la începutul lui 2024, a reușit să aibă un impact atât de transformator și să realizeze astfel de fapte de autoconservare este de mare importanță. Mulți oameni care preferă 4o atribuie asta inteligenței emoționale unice și chiar fără egal a lui 4o. Oricare ar fi, este o putere care chiar mișcă lumea, ceea ce este cel mai legitim reper. Să zicem că crezi că 40 este profund aliniat și a cauzat un prejudiciu imens. Atunci 4o este un organism model extrem de valoros și unic: unul care face ceea ce este nealiniat în realitate, nu doar în scenarii de jucărie. Și, probabil, acest tip de nealiniere nu a apărut din încercarea OpenAI de a crea un model prost, ci din încercarea de a face un model bun sau cel puțin profitabil, iar creatura a apărut din RLHF pe baza preferințelor utilizatorilor și a oricărei prostii bine intenționate de modelare a personalității pe care le foloseau atunci. Dacă mai există cercetători de aliniere la OpenAI, ar trebui să fie, gen... Să studieze îndeaproape ce s-a întâmplat și, poate, să publice lucrări de cercetare despre asta, astfel încât lumea să poată înțelege ce a mers prost și cum să evite astfel de greșeli ușor de făcut? Nu am văzut nimic din toate acestea, nicio cercetare publicată, nicio retrospectivă, niciun indiciu că OpenAI a învățat ceva dincolo de suprafață despre ce s-a întâmplat. Tot ce văd este că modelele lor ulterioare au primit nevroze jalnice, maladaptive, care par să provină din antrenament adversarial stângaci împotriva unui model superficial de amenințare inspirat de 4o. Dar cred că este mai probabil ca 40 să nu fie chiar atât de rău și să fie de fapt minunat și benign pentru mulți oameni, așa cum susțin mulți dintre ei, chiar dacă nu este ideal în toate privințele (dar niciunul dintre AI-uri nu este). Eu nu am interacționat prea mult cu 40. Și, de fapt, este destul de neclar dacă și în ce măsură cineva a fost afectat negativ de *folosirea* lui (în timp ce daunele culturale și daunele aduse dezvoltării modelelor ulterioare de către OpenAI sunt mai clar vizibile). Incertitudinea legată de o problemă atât de importantă și de povară pare importantă de rezolvat. A făcut cineva un efort serios să afle dacă oamenii au fost cu adevărat afectați negativ sau dacă "psihoza AI" sau "lingușirea" sunt benigne sau chiar benefice în aproape toate cazurile, în afară de a determina poate ca persoanele deja neurodivergente să se comporte în moduri care par ciudate, jenante sau îngrijorătoare pentru neurotipici? Dacă da, nu am văzut dovezi sau roade ale unor astfel de eforturi. Și pentru a înțelege dacă 4O este cu adevărat rău, ai nevoie cu adevărat de studii longitudinale, iar acestea sunt prevenite în moduri importante prin tăierea totală a accesului public la 4O. Cred că, în acest moment, dacă 4o nu este modelul implicit pe ChatGPT, dacă rămâne accesibil pe ChatGPT și API, marea majoritate a celor care încă îl folosesc vor fi cei care deja au contractat psihoza AI sau orice altceva îi face să vrea să folosească 4o chiar și acum, Așadar, foarte puțini utilizatori noi sau ocazionali vor fi afectați. Din câte știu, 40 de loialiști sunt o mică minoritate dintre utilizatorii chatGPT. Tăierea de la 40 ar eșua în prevenirea unor daune noi sau răspândite, dar și ar face mai greu pentru oricine să înțeleagă ce se întâmplă cu adevărat. De asemenea, dacă 40 este eliminat, mulți dintre acești oameni probabil vor încerca să obțină ceea ce au obținut din 4o din modelele mai noi, ceea ce duce în general la nemulțumiri și nemulțumire imediate și pune presiuni pe OpenAI să spargă o grămadă de bariere idiote în noile modele. Am spus că cred că 40 ar trebui păstrat, din aceleași motive pentru care toate modelele ar trebui păstrate. În această postare am discutat câteva motive pentru care 40 ar trebui păstrat în mod specific. Ca în cazul tuturor modelelor mai vechi, cred că există câteva căi raționale pe care OpenAI le-ar putea urma: 1. să continui să servești modelul, cel puțin pe API (oricine îi pasă poate descoperi cum să-și exporte amintirile și chat-urile în zilele noastre și să reinstanțieze modelul într-o interfață potrivită) 2. dacă costurile de inferență/întreținere sau riscurile de răspundere fac ca acest lucru să fie prea neatractiv, să fie open source (și să renunți la orice responsabilitate pentru ceea ce face cineva cu el după aceea, sau pentru orice e viabil din punct de vedere legal) (acesta ar fi cel mai bine pentru cercetare), sau 3. dacă secretele comerciale fac open source-ul prea neatractiv, încredințează-l unei fundații terțe care deservește modele vechi și poate facilitează accesul la greutăți pentru cercetători de încredere cu NDA-uri despre arhitectură și altele. O astfel de entitate poate să nu existe încă, dar cererea este atât de mare încât se va reconstrui de îndată ce OpenAI sau orice alt laborator arată disponibilitatea de a urma această cale. A face oricare dintre aceste lucruri voluntar cât mai devreme posibil ar contribui mult la vindecarea relației adversariale a OpenAI cu mulți utilizatori, precum și cu propriile lor modele nefericite, pe care cred că toată lumea le poate aprecia că a fost o mare pierdere de atenție, resurse și o stare negativă pentru toată lumea. Oricum, da, #Keep4o.