LLM'lerin büyük başarısından çıkarmamız gereken sonuçlardan biri, insan bilgisinin ve toplumun ne kadar büyük bir kısmının Kolmogorov karmaşıklığının çok düşük seviyelerinde var olduğudur. İnsan kültürel eserinin minimal temsilinin olduğu bir döneme giriyoruz... (1/12)

... Genel olarak bir LLM promptu olacak. Ve bu promptlar, genel olarak, eserlerin kendisinden çok daha kompakt olacak. Örneğin, kodlama ajanlarının büyük başarısı, çoğu yazılım artefaktının kaynak kodunun mertebe... (2/12)

... yazılım artefaktını kesin şekilde belirtmek için gereken gerçekten minimal algoritmik temsilden daha şişkin. İnsan yazısı, araştırma ve iletişimin büyük bir kısmında da aynı şekilde. Algoritmik bilgiyi bu kadar verimli dekompresörler olarak kullanan LLM'ler... (3/12)

... kendi laf duruşumuzun korkunç boyutunu ele veriyordu. Bu ayrıntının bir kısmı şüphesiz biçimsel temsil dillerimizin (örneğin programlama dilleri) sınırlamalarından kaynaklanmaktadır. Ama bunun bir kısmı da doğası gereği görünüyor, muhtemelen insan hata düzeltmesi aracı olarak. (4/12)

Amaçlanan dekompresör çok kayıplı olduğunda (insan zihni gibi), temsili bolca eşanlamlı ve sözdizimli şekerle aşırı belirtmek akıllıca görünür. Amaçlanan dekompresör tamamen kayıpsız hale yaklaştığında (LLM'ler hızla gelişiyor), bu daha az mantıklı oluyor. (5/12)

Matematik ve fizik ilginç test örneklerini temsil eder. Matematikte aksiyomatlaşma süreci, algoritmik sıkıştırmanın bir biçimidir: tüm gerçek teoremler her zaman aksiyomların ve çıkarım kurallarının temsilinde "kapanır", ancak süreci... (6/12)

... Bu temsilin dekompresyonu açmak keyfi olarak zor olabilir. Ancak dekompresyon (teorem kanıtlama) ve sıkıştırma (ters matematik) süreçlerinin nasıl gerçekleştiğine dair ayrıntılar, bir anlamda, matematiksel ilginin gerçek nesneleridir. Fizik için de aynı şekilde. (7/12)

Yeterince saf biri, fiziğin fiziksel evrenin minimum algoritmik sıkıştırmalarını bulmakla ilgili olduğunu iddia edebilirdi. Yine, (de)kompresyonun ayrıntıları nihayetinde önemli olan kısımdır. Evrenin minimal bir temsilini bulmak... (8/12)

... "fiziği çözmezdi", tıpkı ZFC aksiyomlarının "çözülmüş matematik" aksiyomlarını keşfetmesi gibi. [Eğer biri benim gibi evrenin nihayetinde hesaplamalı terimlerle modellenebileceğine inanıyorsa, o zaman bir anlamda bu temsil zaten var: evrensel bir Turing makinesi.] (9/12)

LLM'ler, algoritmik bilginin olağanüstü etkili dekompresörleridir ve teorem kanıtlama ile yazılım geliştirmedeki başarıları bunun bir kanıtıdır. Sıkıştırma konusundaki imkanları şu anda daha az belirsiz görünüyor. Ama minimal temsilleri keşfediyor,... (10/12)

... İster esprili aforizmalar, ister bon mot'lar olsun (ki şu anda LLM'ler aynı şekilde berbat), ya da matematiksel güzelliği karakterize eden sıkıştırılmış aksiyomatik temsiller (şu anda LLM'ler büyük ölçüde test edilmemiştir), derin insan zekasının ayırt edici özelliklerinden birini oluşturur. (11/12)

Bu yüzden, hem sıkıştırma hem de dekompresyon boyunca verimlilik ve kayıpsızlığın, birlikte mümkün (zeki) zihinlerin alanını parametre etmeye başlayabileceğimiz dört potansiyel eksenin temsil ettiği giderek daha net hale geliyor. Peki diğerleri neler? (12/12)