Я вважаю, що одним із висновків, які слід зробити з величезного успіху LLM, є те, наскільки людські знання та суспільство існує на дуже низьких рівнях складності Колмогорова. Ми вступаємо в епоху, коли мінімальне представлення людського культурного артефакту... (1/12)

... буде, загалом, LLM-підказкою. І ці підказки будуть, загалом, на порядки компактнішими за самі артефакти. Великий успіх програмних агентів, наприклад, свідчить про те, що вихідний код більшості програмних артефактів — це порядки... (2/12)

... у рази більший обсяг, ніж справді мінімальне алгоритмічне представлення, необхідне для однозначного визначення цього програмного артефакту. Так само і для більшості людського письма, досліджень, комунікації. Оскільки вони є такими ефективними декомпресорами алгоритмічної інформації, LLM мають... (3/12)

... зрадили жахливий масштаб нашої власної багатослівності. Частково ця багатослівність, без сумніву, пов'язана з обмеженнями наших формальних мов представлення (таких як мови програмування). Але частково це також здається вродженим, ймовірно, як спосіб виправлення людських помилок. (4/12)

Коли задуманий декомпресор дуже втратний (як у людському розумі), надмірне визначення з великою кількістю синонімів і синтаксичного цукру здається розумним. Коли задуманий декомпресор ближчий до ідеально безвтратного (як це швидко стають LLM), це втрачає сенс. (5/12)

Математика та фізика — це цікаві тестові випадки. Процес аксіоматизації в математиці є формою алгоритмічного стиснення: усі істинні теореми завжди «містяться» у представленні аксіом і правилах висновку, але процес... (6/12)

... Декомпресія цього представлення може бути довільно складною. Проте деталі того, як відбуваються процеси декомпресії (доведення теорем) і стиснення (зворотна математика), в певному сенсі є справжніми об'єктами математичного інтересу. Так само і з фізикою. (7/12)

Можна було б, якби бути достатньо наївним, стверджувати, що фізика — це пошук мінімальних алгоритмічних стиснень фізичного Всесвіту. Знову ж таки, найважливішими є деталі (де)компресії. Просто знайти мінімальне уявлення про всесвіт... (8/12)

... не «розв'язує фізику», так само як не відкриває аксіом ZFC «розв'язуваної математики». [Якщо вірити, як і я, що всесвіт можна зрештою змоделювати в обчислювальних термінах, то в певному сенсі це представлення вже існує: це універсальна машина Тюрінга.] (9/12)

LLM є надзвичайно ефективними декомпресорами алгоритмічної інформації, і їхній успіх у доведення теорем та розробці програмного забезпечення є тому підтвердженням. Їхні можливості у стисненні наразі здаються менш очевидними. Водночас знаходячи мінімальні представлення,... (10/12)

... чи то дотепні афоризми чи жарти (де сучасні LLM завжди жахливі), чи стиснені аксіоматичні уявлення, що характеризують математичну красу (де сучасні LLM здебільшого не перевіряються), є однією з ознак глибокого людського інтелекту. (11/12)

Тож, я думаю, стає дедалі очевиднішим, що ефективність і безвтратність, як при стисненні, так і в декомпресії, разом представляють чотири потенційні осі, вздовж яких ми можемо почати параметризувати простір можливих (розумних) розумів. А які інші? (12/12)