studere de samlede programvareverkene til Simon Willison

velge «Dr.» i rullegardinmenyen bare for å føle noe

Stor fan av å gjøre kode kortere og penere og kraftigere på samme tid ToolEnv trengte en overhaling

En av mine favorittdeler med å jobbe hos Prime Intellect er å få velge de dumme navnene hver gang noen lanserer en ny forekomst

RL gikk fra å ikke fungere i det hele tatt til å fungere så bra at kode kan ha store korrekthetsfeil og du ikke merker det fordi det fortsatt bare fungerer

En av disse dagene skal jeg begynne å knuse forpliktelser, men i dag er ikke den dagen

Det er synd at vi går tom for internettdata fordi alle kollektivt sluttet å legge ut nytt innhold på internett

ChatGPT skal ha en stor grønn bryter som sier "Syco Mode"

Oppskrift for å ettertrene Qwen3 1.7B til en DeepResearch-modell Hva betyr det for noe lite å tenke dypt? Møt Lucy, en ettertrent Qwen3-1.7B som en DeepResearch-modell basert på @willccbb s verifikatorer. Primære regelbaserte belønninger: - Svarets riktighet Vi sjekker om det endelige svaret bokstavelig talt inneholder det grunnleggende sannhetssvaret. Denne understrengskampen er billig og unngår å ringe en større LLM-dommer. - Besøk/søk-forhold Hvis agenten besøker minst like mange sider som den sender ut søk, mottar den ((visit_search_ratio - 1) / 4) ** 0,25. Hvis den søker mer enn den besøker, er poengsummen -0,5. Format / Anti Reward-Hacking-belønninger: - Vellykket utførelse av verktøy Hvert API-kall som returnerer uten feil, teller. Belønningen er (successful_calls * unique_tools_used) / total_call_attempts. - Tenke effektivitet En skjev normal straff sentrert på 70 tokens motvirker endeløs tankekjede mellom verktøykall, samtidig som det tillater nok tokens for planlegging. Slik lærte Qwen3 1.7B å søke, besøke og syntetisere informasjon. Små modeller kan også gjøre dyp forskning!

Hvis en modell bruker flere sekvensielle verktøykall sammenflettet med tankekjederesonnement for å svare på ett enkelt spørsmål, er dette: