Я думаю, что одним из выводов, которые мы должны сделать из огромного успеха LLM, является то, сколько человеческих знаний и общества существует на очень низких уровнях сложности Колмогорова. Мы вступаем в эпоху, когда минимальное представление человеческого культурного артефакта... (1/12)

...будет, в общем, подсказкой для LLM. И эти подсказки будут, в общем, на порядки более компактными, чем сами артефакты. Великий успех кодирующих агентов, например, указывает на то, что исходный код большинства программных артефактов на порядки... (2/12)

...в разы более громоздким, чем действительно минимальное алгоритмическое представление, необходимое для однозначного указания на этот программный артефакт. То же самое касается и большей части человеческого письма, исследований, коммуникации. Будучи такими эффективными декомпрессорами алгоритмической информации, LLM... (3/12)

...выявила ужасную степень нашей собственной многословности. Часть этой многословности, безусловно, возникает из-за ограничений наших формальных языков представления (таких как языки программирования). Но часть этого также кажется врожденной, вероятно, как средство коррекции человеческих ошибок. (4/12)

Когда предполагаемый декомпрессор очень теряет данные (как человеческий разум), избыточное указание представления с множеством синонимов и синтаксического сахара кажется разумным. Когда предполагаемый декомпрессор ближе к идеально безпотерянному (как LLM быстро становятся), это имеет меньше смысла. (5/12)

Математика и физика представляют собой интересные тестовые случаи. Процесс аксиоматизации в математике является формой алгоритмического сжатия: все истинные теоремы всегда "содержатся" в представлении аксиом и правил вывода, но процесс... (6/12)

...декомпрессия этого представления может быть произвольно сложной. Тем не менее, детали того, как происходят процессы декомпрессии (доказательство теорем) и компрессии (обратная математика), являются, в некотором смысле, истинными объектами математического интереса. То же самое касается и физики. (7/12)

Можно было бы, если бы кто-то был достаточно наивен, утверждать, что физика заключается в поиске минимальных алгоритмических сжатий физической вселенной. Однако детали (декомпрессии) в конечном итоге имеют значение. Просто найти минимальное представление вселенной... (8/12)

...не "решит физику", так же как открытие аксиом ZFC не "решило математику". [Если кто-то верит, как я, что вселенную в конечном итоге можно смоделировать в вычислительных терминах, то в некотором смысле это представление уже существует: это универсальная машина Тьюринга.] (9/12)

LLM являютсяRemarkably эффективными декомпрессорами алгоритмической информации, и их успех в доказательстве теорем и разработке программного обеспечения является тому свидетельством. Их возможности в сжатии в настоящее время кажутся менее ясными. Тем не менее, открытие минимальных представлений,... (10/12)

...будь то остроумные афоризмы или каламбуры (в которых современные LLM в целом ужасны), или сжатые аксиоматические представления, которые характеризуют математическую красоту (в которых современные LLM в значительной степени не тестировались), составляют одну из отличительных черт глубинного человеческого интеллекта. (11/12)

Я думаю, что становится все более очевидным, что эффективность и отсутствие потерь, как при сжатии, так и при распаковке, вместе представляют собой четыре потенциальные оси, вдоль которых мы можем начать параметризовать пространство возможных (интеллектуальных) умов. Но какие другие? (12/12)