Det føles som om jeg jobber med et team på 10+ personer siden GPT-5 er her. HVM4 er bare 1 måned gammel, og den erstatter allerede HVM3 i alle dimensjoner. Vi har nå en prototypal parallell modus (ja, med lat evaluering!) som fungerer, med forventet hastighet.

Husk at parallellmodus var: - Ødelagt på HVM1 (som var lat) - Flott på HVM2 (men det var strengt) - Aldri implementert på HVM3 Å ha riktig parallell + lat modus var fortsatt et åpent problem, men med dette oppsettet kommer vi endelig dit. Hvis det fungerer, betyr det at vi kan skalere SupGen ved ekte trådevaluering, som er mye raskere enn shardingen vi gjør for øyeblikket. Nå er det igjen trist at vi har 256 macs mini, fordi det er optimalisert for sharding. Det er 1024 ytelseskjerner, delt antall 256 enheter med 4 kjerner, 16 GB hver. Med ekte parallellitet kunne vi ha gått for Mac Studios i stedet. Men ville det faktisk være verdt det? Med samme $ kunne vi ha fått 16 studioer, med 512 GB minne og 24 ytelseskjerner hver. Så selv om det lar oss utnytte sann parallellitet best mulig, betyr det også at vi har omtrent ~3 ganger mindre beregning totalt. Ville det være verdt det, da? Jeg vet faktisk ikke, men vi finner ut av det snart. Kanskje jeg tok det riktige valget (selv om jeg hadde ufullstendig informasjon)

Husk at parallellmodus var: - Ødelagt på HVM1 (som var lat) - Flott på HVM2 (men det var strengt) - Aldri implementert på HVM3 (Haskell-problemer) Å ha riktig parallell + lat modus var fortsatt et åpent problem, men med dette oppsettet kommer vi endelig dit. Hvis det fungerer, betyr det at vi kan skalere SupGen ved ekte trådevaluering, som er mye raskere enn shardingen vi gjør for øyeblikket. Nå er det igjen trist at vi har 256 macs mini, fordi det er optimalisert for sharding. Det er 1024 ytelseskjerner, delt antall 256 enheter med 4 kjerner, 16 GB hver. Med ekte parallellitet kunne vi ha gått for Mac Studios i stedet. Men ville det faktisk være verdt det? Med samme $ kunne vi ha fått 16 studioer, med 512 GB minne og 24 ytelseskjerner hver. Så selv om det lar oss utnytte sann parallellitet best mulig, betyr det også at vi har omtrent ~3 ganger mindre beregning totalt. Ville det være verdt det, da? Jeg vet faktisk ikke, men vi finner ut av det snart. Kanskje jeg tok det riktige valget (selv om jeg hadde ufullstendig informasjon)

@0xHP10 også skrive massevis av tester og be AI-en om å kjøre dem på hver lille endring den gjør. GPT-5 er veldig, veldig god til å korrigere seg selv (og til og med lære og forstå) basert på mislykkede tester

@0xHP10 også skrive gode tester og be AI om å kjøre dem for hver lille endring den gjør. GPT-5 er veldig god til å selvkorrigere (og til og med lære) basert på mislykkede tester