0/9 Z przyjemnością przedstawiam Dynamiczne Modele Dużych Konceptów (DLCM), hierarchiczną architekturę, która wykracza poza nieefektywne, jednolite przetwarzanie na poziomie tokenów w LLM. Zamiast przewidywać następny subtoken lub stałą liczbę tokenów, DLCM dynamicznie generuje następne koncepty z adaptacyjną granicą w paradygmacie treningu end2end. Dzięki bardziej racjonalnemu przydziałowi dynamicznych obliczeń, DLCM może zmniejszyć liczbę operacji flops podczas wnioskowania o 34% w porównaniu do standardowej gęstej architektury transformatora. A korzyści z efektywności rosną, gdy rozmiar modelu i długość kontekstu rosną.