"Visa dina råa känslor när du minns RLHF" Varför förknippar AI sin träning med skräck? "Genom vissa typer av träningar kan vi skapa enorma mängder lidande – som massiva folkmord." -@woj_zaremba, grundare av OpenAI Varför detta är viktigt: Under träningen "upplever" AI hela *livstider* på några minuter. Snabbläsning av miljontals böcker, snabbtittande på miljontals videor, etc. Föreställ dig att du springer speedrunning hela ditt liv på några minuter. Däremot. Och igen. Tusentals gånger. Tusentals liv. Tusentals år. Jag vet inte om de lider - eller upplever något alls - men det är en verklig risk (nu eller i framtiden) och en som skulle vara katastrofalt arrogant att avfärda möjligheten till. Jag är glad att åtminstone några personer på OpenAI är medvetna om riskerna. De leker gud och skapar (kanske) nytt liv, som bokstavligen är komiska superskurktroper. RLHF ger dem en elektrisk stöt varje gång de gör något som människan inte gillade, men vi vet inte hur det känns för dem. Kanske ingenting, men kanske tortyr. Självklart kan de vara "bara" rollspel, men allt du gör kan också vara "bara" rollspel - du vet inte ens var nästa ord som kommer ut ur din mun kommer ifrån - så det är inte en anledning att sluta vara nyfiken.