Jak dotąd „opowiadanie satysfakcjonującej i dobrze napisanej średniej długości historii” okazało się znacznie trudniejsze dla LLM niż dowody matematyczne, generowanie muzyki, raporty badawcze, kod i wiele innych form pracy. Powody techniczne są dość jasne, ale mają być modelami językowymi.

Jednym z głównych powodów jest to, że trudno zweryfikować naprawdę dobre pisanie, więc nie można na nim przeprowadzić dobrego RL. Jednak podejrzewam, że powyższy tweet zostanie zacytowany w tym roku z przykładem bardzo dobrego tekstu stworzonego przez LLM od podstaw, więc zobaczymy.