Pré-treinamos múltiplos LLMs 7B do zero e descobrimos que a exposição natural ao discurso de desalinhamento da IA faz com que os modelos fiquem mais desalinhados. Otimistas, também constatamos que adicionar documentos sintéticos positivos no pré-treinamento reduz o desalinhamento. Thread 🧵