0/9 É um prazer apresentar os Modelos de Conceito Grande Dinâmico (DLCM), uma arquitetura hierárquica que leva os LLMs além do processamento ineficiente e uniforme a nível de token. Em vez de prever o próximo token subpalavra ou um número fixo de tokens, o DLCM gera dinamicamente os próximos conceitos com limites adaptativos, utilizando um paradigma de treinamento end2end. Com uma alocação de computação dinâmica mais racional, o DLCM pode reduzir os flops de inferência em 34% em comparação com a arquitetura padrão de transformador denso. E o benefício de eficiência aumenta à medida que o tamanho do modelo e o comprimento do contexto crescem.