Meu primeiro artigo acadêmico publicado foi sobre a Lei de Moore e, atualmente, o desenvolvimento da IA é semelhante: o aumento exponencial da Lei de Moore não foi resultado de uma única tecnologia, mas sim de muitas tecnologias diferentes ao longo de muitas décadas que estavam prontas quando uma abordagem de fabricação de chips falhou. O ritmo regular da Lei servia como função de coordenação para que um grupo em constante mudança de competidores fosse pressionado a criar uma profecia autorrealizável de crescimento contínuo de capacidades. Da mesma forma, o desenvolvimento de IA já enfrentou vários obstáculos que precisaram ser superados com novas técnicas e pesquisas (abordagens de dados sintéticos, raciocínio, novos usos para o RL). Mas, a menos que você seja um insider (ou acompanhe a IA de perto no X), você não vê esses obstáculos: apenas um progresso exponencial constante. Dado o dinheiro e talento na área, espero que, mesmo que o pré-treinamento ou qualquer outra situação bata em um limite, veremos uma rápida transição de toda a indústria para uma ou mais das muitas outras abordagens que as pessoas estão desenvolvendo. Você já pode ver isso: trabalho em modelos de mundo, alternativas aos LLMs, novos métodos de treinamento, etc. Até ecossistemas alternativos que apostam na ascensão de modelos pequenos e afinados, etc. Algumas dessas técnicas vêm de startups, outras estão sendo desenvolvidas nos próprios laboratórios de IA. As pessoas em X tendem a entrar nos detalhes, tratando a IA como um esporte, torcendo a favor ou contra times e abordagens. Mas, em qualquer período razoável, é possível que o desenvolvimento da IA pareça um exponencial suave em muitos critérios para todos os outros.