Ik heb het er nog niet over gehoord, maar AI heeft in wezen hackathons gedood. Vrijwel alles wat je in 2019 op een hackathon zou kunnen maken, kan in 2025 beter en sneller door AI worden gebouwd.

dit is slechte code, toch?

waarschijnlijk zouden 10x meer mensen moeten werken aan promptoptimalisatie systemen (we hebben een vLLM voor promptopt), theorie, nieuwe technieken, benchmarks. de hele boel

hier is wat gratis alpha: als we RL te lang doen na de pretraining, zullen we zeker parameters overschrijven en dingen beginnen te vergeten in het originele instructGPT-paper mengde hun beste model RLHF met pretraining-gradiënten om precies dit modelafdriftprobleem te vermijden toch doet niemand dit meer. zeker, het is een specifieke instantiatie (gradiëntmixing) van een breder idee (vergeten vermijden), maar het lijkt een sterk over het hoofd geziene denkrichting te zijn terwijl we steeds meer stappen van RL doen bijvoorbeeld zie het recente ProRL-paper. ze doen nu meer dan 1000 stappen van GRPO met een niet-triviale leersnelheid en geen straf voor het afwijken van het originele model. de circuits die binnen het model tijdens de pretraining zijn opgebouwd, beginnen zeker te vervagen. en als dat niet zo is, zullen ze dat doen na 10k of 100k RL-stappen ik vermoed dat dit idee uiteindelijk weer zal terugkomen; ze doen dit waarschijnlijk al in de grote laboratoria

ik ben op zoek naar goede voorbeelden van generalisatie van redeneermodellen bijvoorbeeld, een model dat via RL wordt gestimuleerd om even na te denken en wiskundeproblemen op te lossen, wordt beter in creatief schrijven is dit gebruikelijk?

dit lijkt echt belangrijk: het is volkomen plausibel dat een model IMO goud kan krijgen zonder *enige* reinforcement learning, gegeven een perfect geformuleerde prompt we weten het gewoon niet, en we missen de tools om efficiënt door de promptruimte te zoeken. blij te zien dat in ieder geval iemand het probeert

je kunt dit niet verzinnen

hypothetische situatie - ik ben een AI-bedrijf dat de kosten voor het overdragen en opslaan van modellen tot nul heeft verlaagd. Ik kan elke gebruiker hun eigen model aanbieden zonder overhead. wat moet ik doen? Direct SFT gebruikersspecifieke modellen op hun gegevens? Of RLHF op de chatbeoordelingen? Iets anders?

de menselijke hersenen reserveert 40% van zijn verwerking exclusief voor visie. moderne LLM's zijn op de een of andere manier zonder dit geëvolueerd.

Een kerel die ik ken (vermeend) heeft de wereldwijde AI-trainingsdatacorpus vergiftigd met zelf-propagierende trigger-geactiveerde sluimer jailbreak payloads.