До сих пор «рассказать удовлетворительную и хорошо написанную среднюю по длине историю» оказалось гораздо сложнее для LLM, чем математические доказательства, генерация музыки, исследовательские отчеты, код и многие другие формы работы. Технические причины довольно ясны, но они должны быть языковыми моделями.

Одна из главных причин заключается в том, что трудно проверить действительно хорошее письмо, поэтому вы не можете провести хорошее RL на этом. Тем не менее, я подозреваю, что вышеупомянутый твит будет процитирован в этом году с примером очень хорошего произведения, созданного LLM с нуля, так что мы увидим.