O meu primeiro artigo académico publicado foi sobre a Lei de Moore e, neste momento, o desenvolvimento da IA parece semelhante: a exponencial da Lei de Moore não foi o resultado de uma única tecnologia, mas sim de muitas tecnologias diferentes ao longo de várias décadas que estavam prontas quando uma abordagem de fabrico de chips falhou. O ritmo regular da Lei serviu como uma função de coordenação, de modo que um grupo em constante mudança de concorrentes foi pressionado a criar uma profecia auto-realizável de crescimento contínuo de capacidades. De forma semelhante, o desenvolvimento da IA já enfrentou uma série de obstáculos que tiveram de ser superados com novas técnicas e pesquisas (abordagens de dados sintéticos, raciocínio, novos usos para RL). Mas, a menos que você seja um insider (ou siga a IA de perto no X), não vê esses obstáculos: apenas um progresso exponencial constante. Dada a quantidade de dinheiro e talento neste espaço, espero que, mesmo que o pré-treinamento ou o que quer que seja atinja um muro, veremos uma rápida transição de toda a indústria para uma ou mais das muitas outras abordagens que as pessoas estão a desenvolver. Você já pode ver isso: trabalho em modelos de mundo, alternativas aos LLMs, novos métodos de treino, etc. Mesmo ecossistemas alternativos que estão a apostar na ascensão de modelos pequenos e bem ajustados, etc. Algumas dessas técnicas estão a surgir de startups, outras estão a ser desenvolvidas nos próprios laboratórios de IA. As pessoas no X tendem a entrar nos detalhes, tratando a IA como um desporto, torcendo a favor ou contra equipas e abordagens. Mas, ao longo de um período de tempo razoável, é possível que o desenvolvimento da IA pareça uma exponencial suave em muitas métricas para todos os outros.