0/9 Encantado de presentar los Modelos Dinámicos de Grandes Conceptos (DLCM), una arquitectura jerárquica que lleva a los LLMs más allá de un procesamiento ineficiente y uniforme a nivel de token. En lugar de hacer predicción del siguiente token de subpalabra o del número fijo de tokens, DLCM genera dinámicamente los siguientes conceptos con frontera adaptativa con un paradigma de entrenamiento end2end. Con una asignación de cómputo dinámica más racional, DLCM puede reducir los flops de inferencia en un 34% en comparación con la arquitectura estándar de transformadores densos. Y el beneficio de eficiencia crece cuando el tamaño del modelo y la longitud del contexto crecen.