Il decadimento cognitivo dei LLM è causato da dati web spazzatura. I ricercatori dimostrano che i dati scadenti causano un declino cognitivo permanente nei LLM, esattamente come gli esseri umani che fanno doomscrolling. >Decadenza nel ragionamento (ARC) 74.9->57.2, memoria a lungo termine (RULER) 84.4->52.3. I LLM saltano essenzialmente la catena di pensiero direttamente nelle allucinazioni. >Quando valutati su tratti della personalità, i modelli mostrano un aumento dei marcatori di narcisismo e psicopatia. Mentre il cibo spazzatura nutre la prossima generazione di modelli AI e gli algoritmi li spingono in cima, la qualità dei dati degrada ulteriormente—creando un ciclo infinito. Come ha detto @ilyasut, la fine del pretraining è qui.