Wir haben mehrere 7B LLMs von Grund auf vortrainiert und festgestellt, dass eine natürliche Exposition gegenüber Diskursen über die Fehlanpassung von KI dazu führt, dass Modelle stärker fehlangepasst werden. Optimistisch stellen wir auch fest, dass das Hinzufügen positiver synthetischer Dokumente im Vortraining die Fehlanpassung verringert. Thread 🧵