0/9 Fico feliz em apresentar os Modelos Dinâmicos de Grande Conceito (DLCM), uma arquitetura hierárquica que leva os LLMs além do processamento ineficiente e uniforme em nível de token. Em vez de fazer a previsão do próximo token de subpalavra ou do número fixo de tokens, o DLCM gera dinamicamente os próximos conceitos com limite adaptativo com um paradigma de treinamento end2end. Com uma alocação de computação dinâmica mais racional, o DLCM pode reduzir os fracassos de inferência em 34% em comparação com a arquitetura padrão de transformadores densos. E o benefício da eficiência está crescendo quando o tamanho do modelo e o comprimento do contexto aumentam.