lo slop è fondamentalmente contenuto che massimizza il rapporto tra ricompensa e perplessità. Meccanicamente, questo è un hacking della ricompensa mediante il collasso della distribuzione di output in un bacino con pochi schemi Pareto-ottimali, costruendo essenzialmente una grammatica degenerata specifica per questo setup di addestramento.
Andrej Karpathy
Andrej Karpathy22 nov 2025
Has anyone encountered a good definition of “slop”. In a quantitative, measurable sense. My brain has an intuitive “slop index” I can ~reliably estimate, but I’m not sure how to define it. I have some bad ideas that involve the use of LLM miniseries and thinking token budgets.
Questo spiega anche l'incredibile somiglianza tra l'inglese indiano di bassa qualità e gli output dei LLM, tra l'altro.
34,62K