0/9 Рад представить Динамические Большие Концептуальные Модели (DLCM), иерархическую архитектуру, которая выводит LLM за рамки неэффективной, однородной обработки на уровне токенов. Вместо предсказания следующего подслова или фиксированного количества токенов, DLCM динамически генерирует следующие концепции с адаптивной границей в парадигме обучения от конца до конца. С более рациональным динамическим распределением вычислительных ресурсов, DLCM может сократить количество операций при выводе на 34% по сравнению со стандартной плотной архитектурой трансформеров. И выгода в эффективности растет с увеличением размера модели и длины контекста.