Slop ist im Grunde genommen Inhalt, der das Verhältnis von Belohnung zu Verwirrung maximiert. Mechanistisch gesehen handelt es sich hierbei um Belohnungshacking, indem die Ausgabeverteilung in ein Becken mit wenigen pareto-optimalen Mustern zusammengefasst wird, was im Wesentlichen eine degenerierte Grammatik spezifisch für dieses Trainingssetup konstruiert.

Das erklärt auch die unheimliche Ähnlichkeit zwischen niedriggradigem indischem Englisch und den Ausgaben von LLMs, btw