LLMの大成功から導き出すべき結論の一つは、人間の知識や社会の多くがコルモゴロフの複雑さの非常に低いレベルで存在しているということです。 私たちは、人間の文化的遺物の最小限の表現が...(1/12)

...一般的にはLLMのプロンプトとなります。そして、それらのプロンプトは一般的にアーティファクト自体よりも桁違いにコンパクトになります。例えば、コーディングエージェントの大きな成功は、ほとんどのソフトウェアの成果物のソースコードが...(2/12)

...ソフトウェアのアーティファクトを明確に指定するために必要な本当に最小限のアルゴリズム表現よりもはるかに膨れ上がっています。人間の文章、研究、コミュニケーションの多くも同様です。アルゴリズム情報の効率的な分解機能を持つことで、LLMは...(3/12)

...私たち自身の恐ろしいほどの冗長さを露呈していた。その冗長さの一部は、私たちの形式的表現言語(例えばプログラミング言語)の限界に起因しているのは間違いありません。しかし、それはまた人間のミス修正の手段として内在的なものでもあるように思えます。(4/12)

意図された減圧器が非常に損失が多い場合(人間の心のように)、多くの同義語や統語的糖を使った表現を過剰に指定するのは賢明に思えます。意図された減圧器がほぼ完全無損に近い場合(LLMが急速に進化しているため)、その意味はあまりありません。(5/12)

数学と物理学は興味深いテストケースです。数学における公理化の過程はアルゴリズム的圧縮の一形態です。すべての真の定理は常に公理の表現と推論規則の中に「含め」ていますが、その過程は...(6/12)

...この表現の解圧は非常に困難な場合があります。しかし、解圧(定理証明)や圧縮(逆数学)過程がどのように起こるかの詳細は、ある意味で真の数学的関心対象です。物理学も同様です。(7/12)

十分に純粋であれば、物理学とは物理的宇宙の最小限のアルゴリズム圧縮を見つけることだと主張するかもしれません。繰り返しますが、最終的に重要なのは(解)圧縮の詳細です。宇宙の最小限の表現を見つけるだけで...(8/12)

...物理学を「解決する」ことはなく、ZFC公理を「数学を解決する」ことと同様です。[もし私のように宇宙が最終的に計算的観点でモデル化できると信じるなら、ある意味でこの表現はすでに存在している。つまり、それは普遍的なチューリングマシンである。](9/12)

LLMは非常に効果的なアルゴリズム情報の解圧縮ツールであり、定理証明やソフトウェア開発における成功はその証拠です。圧縮能力は現時点ではあまり明確ではないようです。しかし、最小限の表現しか見つかりません,...(10/12)

...機知に富んだ格言や妙言(現在のLLMは一様にひどい)、あるいは数学的美を特徴づける圧縮された公理的表現(現在のLLMはほとんど検証されていない)など、深い人間の知性の特徴の一つを構成しています。(11/12)

ですから、圧縮と減圧の両方における効率性と損失性は、私たちが可能な(知的)心の空間をパラメータ化し始めるための4つの潜在的な軸を表していることがますます明らかになってきていると思います。 では、他のものは何でしょうか?(12/12)