muitos pesquisadores de alto nível começam a argumentar que só a escala não nos levará à AGI, e que eventualmente precisaremos de uma grande inovação em pesquisa, semelhante à criação dos transformers. Recentemente, tive a oportunidade de conversar com John Hennessy (presidente da Alphabet) e perguntei se a tendência atual de escalonamento é apenas mais uma fase temporária ou um paradigma em si. Ele disse que há duas perguntas-chave: Se a escalabilidade continuará a trazer avanços na capacidade de construir sistemas de IA para raciocínios complexos. Até agora não vimos uma parada nisso, então a resposta não é claramente sim, mas provavelmente. A segunda questão é se a escalabilidade continuará sendo custo-efetiva, e a resposta dele foi não. Uma métrica útil para analisar é o desempenho por watt, e essa curva está começando a se achatar. Acredito que está ficando cada vez mais claro que, mesmo que a escalabilidade continue a melhorar as capacidades do modelo, o verdadeiro gargalo pode não ser o retorno decrescente, mas o custo energético necessário para alcançar sistemas de nível AGI e ASI. O platô não aparece no desempenho bruto, está aparecendo no desempenho por watt. o problema da ASI acaba colapsando em um problema energético. Kardashev, então.