0/9 Heureux de vous présenter les Modèles de Concepts Dynamiques de Grande Taille (DLCM), une architecture hiérarchique qui fait passer les LLM au-delà d'un traitement inefficace et uniforme au niveau des tokens. Plutôt que de prédire le prochain token de sous-mot ou un nombre fixe de tokens, le DLCM génère dynamiquement les prochains concepts avec une frontière adaptative dans un paradigme d'entraînement de bout en bout. Avec une allocation de calcul dynamique plus rationnelle, le DLCM peut réduire les flops d'inférence de 34 % par rapport à l'architecture standard de transformateur dense. Et le bénéfice en efficacité augmente lorsque la taille du modèle et la longueur du contexte augmentent.