Nu l-am auzit încă discutat, dar AI practic a ucis hackathon-urile. aproape orice ai putea face la un hackathon în 2019 poate fi construit mai bine și mai rapid de AI în 2025

Acesta este un cod prost, nu?

probabil de 10 ori mai mulți oameni ar trebui să lucreze la optimizarea promptă sisteme (avem nevoie de un vLLM pentru promptopt), teorie, tehnici noi, benchmark-uri. întregul kit și caboodle

Iată câteva versiuni alfa gratuite: dacă facem RL prea mult timp după preantrenament, cu siguranță vom suprascrie parametrii și vom începe să uităm lucruri în lucrarea originală instructGPT, cel mai bun model al lor a amestecat RLHF cu gradiente de pre-antrenament pentru a evita exact această problemă de derivă a modelului Cu toate acestea, nimeni nu mai face asta. sigur, este o instanțiere particulară (amestecarea gradientului) a unei idei mai largi (evitarea uitării), dar pare o linie de gândire mult trecută cu vederea pe măsură ce facem din ce în ce mai mulți pași ai RL de exemplu, vezi lucrarea recentă ProRL. ei fac peste 1000 de pași de GRPO acum cu o rată de învățare netrivială și fără penalizare pentru abaterea de la modelul original. Circuitele construite în interiorul modelului în timpul pre-antrenamentului încep cu siguranță să se descompună. și dacă nu, o vor face după pași de 10k sau 100k RL Bănuiesc că această idee va reveni în cele din urmă; Probabil că fac deja asta la marile laboratoare

Caut exemple bune de generalizare a modelului de raționament de exemplu, un model stimulat prin RL să gândească o vreme și să rezolve probleme de matematică devine mai bun la scrierea creativă Este acest lucru comun?

Acest lucru pare foarte important: este total plauzibil ca un model să poată obține aur IMO fără *niciuna* învățare prin întărire, având în vedere un prompt perfect realizat pur și simplu nu știm și ne lipsesc instrumentele pentru a căuta eficient prin spațiul prompt. Mă bucur să văd că măcar cineva încearcă

Nu poți inventa chestiile astea

situație ipotetică - sunt o companie de inteligență artificială care a redus la zero costul transferului și stocării modelelor. Pot servi fiecărui utilizator propriul model fără cheltuieli generale Ce fac? direct SFT modele specifice utilizatorului pe datele lor? sau RLHF pe ratingurile de chat? altceva?

creierul uman rezervă 40% din procesarea sa exclusiv pentru vedere. LLM-urile moderne au evoluat cumva fără acest lucru în întregime

Acest tip pe care îl cunosc (se presupune) că a otrăvit corpusul global de date de antrenament AI cu încărcături de jailbreak adormite activate de declanșator care se propagă automat