LMARENA, uma lista mundialmente famosa de grandes competições de modelos, conta todos os modelos que lideraram a lista de modelos grandes desde meados de 2023 A partir do GPT-4, o modelo só pode permanecer na posição nº 1 por cerca de 35 dias, em média. Nem meio ano, nem um ano, mais de um mês será superado pelo novo modelo. O que é ainda mais exagerado é que muitas modelos saem do Top 5 cerca de 5 meses depois de chegarem ao topo, e é difícil até manter o Top 10 em 7 meses. Uma análise de exemplos específicos será mais impactante: O1, que antes era linda, agora está classificada em #56; Claude 3 Opus, que era considerado o "modelo de raciocínio mais forte" na época, caiu para o #139 Todos eles costumavam ser: O modelo topo é altamente discutido e é considerado um produto de "geração líder" Ninguém consegue ficar no topo da lista por muito tempo, e a janela de vantagem está sendo comprimida para a unidade de "meses". Quando o modelo pode ser superado pela próxima geração em uma média de 35 dias, ele até supera o ciclo de iteração de alguns produtos de IA... 😄 Isso pode significar algo fundamental: as capacidades básicas do modelo estão melhorando ainda mais rápido do que o ciclo de iteração da maioria dos produtos. A camada do produto é "achatada reversamente" pelas capacidades do modelo.