0/9 Sono lieto di presentare i Modelli Concettuali Dinamici di Grandi Dimensioni (DLCM), un'architettura gerarchica che porta i LLM oltre un'elaborazione inefficiente e uniforme a livello di token. Invece di prevedere il prossimo token subparola o un numero fisso di token, il DLCM genera dinamicamente i prossimi concetti con un confine adattivo attraverso un paradigma di addestramento end2end. Con un'allocazione di calcolo dinamica più razionale, il DLCM può ridurre i flops di inferenza del 34% rispetto all'architettura standard del trasformatore denso. E il beneficio in termini di efficienza cresce man mano che aumentano le dimensioni del modello e la lunghezza del contesto.