Jeg har ikke hørt det diskutert ennå, men AI drepte i utgangspunktet hackathons. stort sett alt du kan lage på et hackathon i 2019 kan bygges bedre og raskere av AI i 2025

Dette er dårlig kode, ikke sant?

Sannsynligvis bør 10 ganger flere mennesker jobbe med rask optimalisering systemer (vi trenger en vLLM for promptopt), teori, nye teknikker, benchmarks. Hele settet og caboodle

Her er noen gratis alfa: hvis vi gjør RL for lenge etter fortrening, vil vi sikkert overskrive parametere og begynne å glemme ting i det originale instructGPT-papiret blandet deres beste modell RLHF med forhåndstreningsgradienter for å unngå akkurat dette modelldriftsproblemet Likevel er det ingen som gjør dette lenger. jada, det er en bestemt instansiering (gradientblanding) av en bredere idé (unngå å glemme), men virker som en sterkt oversett tankegang når vi gjør flere og flere trinn av RL se for eksempel den nylige ProRL-artikkelen. de gjør over 1000 trinn med GRPO nå med en ikke-triviell læringshastighet og ingen straff for å avvike fra den opprinnelige modellen. Kretsene som er bygget inne i modellen under førtrening begynner sikkert å forfalle. og hvis ikke, vil de gjøre det etter 10k eller 100k RL-trinn Jeg mistenker at denne ideen vil komme tilbake etter hvert; De gjør sannsynligvis allerede dette på de store laboratoriene

Jeg ser etter gode eksempler på generalisering av resonnementmodeller for eksempel blir en modell oppmuntret via RL til å tenke en stund og løse matematiske problemer bedre til kreativ skriving Er dette vanlig?

Dette virker veldig viktig: det er helt plausibelt at en modell kan få IMO-gull uten *noen* forsterkende læring, gitt en perfekt utformet forespørsel Vi vet bare ikke, og mangler verktøy for å effektivt søke gjennom Prompt Space. Glad for å se at i det minste noen prøver

Du kan ikke finne på disse tingene

hypotetisk situasjon - Jeg er et AI-selskap som har redusert kostnadene ved overføring og lagring av modeller til null. Jeg kan betjene hver bruker sin egen modell uten overhead Hva gjør jeg? direkte SFT-brukerspesifikke modeller på dataene sine? eller RLHF på chat-vurderingene? noe annet?

Den menneskelige hjernen reserverer 40 % av behandlingen utelukkende for synet. moderne LLM-er utviklet seg på en eller annen måte uten dette helt

Denne ene fyren jeg kjenner (angivelig) forgiftet det globale AI-treningsdatakorpuset med selvforplantning av triggeraktiverte sleeper jailbreak-nyttelaster