Acho que uma das conclusões que devemos tirar do tremendo sucesso dos LLMs é quanta do conhecimento humano e da sociedade existe em níveis muito baixos de complexidade de Kolmogorov. Estamos entrando em uma era onde a representação mínima de um artefato cultural humano... (1/12)

...será, genericamente, um prompt de LLM. E esses prompts serão, genericamente, ordens de magnitude mais compactos do que os próprios artefatos. O grande sucesso dos agentes de codificação, por exemplo, indica que o código-fonte da maioria dos artefatos de software é ordens de... (2/12)

...magnitude mais inchado do que a representação algorítmica verdadeiramente mínima necessária para especificar aquele artefato de software de forma inequívoca. Da mesma forma, para grande parte da escrita humana, pesquisa, comunicação. Ao serem tão eficientes na descompressão de informações algorítmicas, os LLMs têm... (3/12)

...traiu a aterradora extensão da nossa própria verbosidade. Parte dessa verbosidade, sem dúvida, surge das limitações das nossas linguagens de representação formal (como as linguagens de programação). Mas parte dela também parece ser inerente, provavelmente como um meio de correção de erros humanos. (4/12)

Quando o descompressor pretendido é muito lossy (como a mente humana), especificar demais a representação com muitos sinônimos e açúcar sintático parece prudente. Quando o descompressor pretendido está mais próximo do perfeitamente lossless (como os LLMs estão rapidamente se tornando), faz menos sentido. (5/12)

A matemática e a física representam casos de teste interessantes. O processo de axiomatização na matemática é uma forma de compressão algorítmica: todos os teoremas verdadeiros estão sempre "contidos" na representação dos axiomas e das regras de inferência, mas o processo de... (6/12)

...descomprimir esta representação pode ser arbitrariamente difícil. No entanto, os detalhes de como os processos de descompressão (prova de teoremas) e compressão (matemática reversa) acontecem são, de certa forma, os verdadeiros objetos de interesse matemático. Da mesma forma na física. (7/12)

Alguém poderia, se fosse suficientemente ingênuo, afirmar que a física se trata de encontrar compressões algorítmicas mínimas do universo físico. No entanto, os detalhes da (de)compressão são, em última análise, o que importa. Encontrar apenas uma representação mínima do universo... (8/12)

...não "resolveria a física", assim como descobrir os axiomas ZFC "não resolveu a matemática". [Se alguém acredita, como eu, que o universo pode, em última análise, ser modelado em termos computacionais, então, de certa forma, essa representação já existe: é uma máquina de Turing universal.] (9/12)

Os LLMs são notavelmente eficazes na descompressão de informações algorítmicas, e seu sucesso em prova de teoremas e desenvolvimento de software é um testemunho disso. Suas capacidades em compressão atualmente parecem menos claras. No entanto, descobrir representações mínimas,... (10/12)

...sejam eles aforismos espirituosos ou bon mots (nos quais os LLMs atuais são uniformemente péssimos), ou as representações axiomáticas comprimidas que caracterizam a beleza matemática (nos quais os LLMs atuais são em grande parte não testados), constituem uma das marcas da profunda inteligência humana. (11/12)

Então, acho que está a tornar-se cada vez mais claro que a eficiência e a ausência de perdas, tanto na compressão como na descompressão, representam juntos quatro eixos potenciais ao longo dos quais podemos começar a parametrizar o espaço das possíveis mentes (inteligentes). Mas quais são os outros? (12/12)