Tot nu toe is het "vertellen van een bevredigend en goed geschreven verhaal van gemiddelde lengte" veel moeilijker gebleken voor LLM's dan wiskundige bewijzen, muziekgeneratie, onderzoeksrapporten, code en vele andere vormen van werk. De technische redenen zijn vrij duidelijk, maar ze zouden taalmodellen moeten zijn.
Een grote reden is dat het moeilijk is om echt goed schrijven te verifiëren, dus je kunt daar geen goede RL op toepassen. Echter, ik vermoed dat de bovenstaande tweet dit jaar nog geciteerd zal worden met een voorbeeld van een zeer goed stuk schrijven dat door een LLM vanaf nul is gemaakt, dus we zullen zien.
64