Chúng tôi đã tiền huấn luyện nhiều mô hình LLM 7B từ đầu và nhận thấy rằng việc tiếp xúc tự nhiên với các cuộc thảo luận về sự không phù hợp của AI khiến các mô hình trở nên không phù hợp hơn. Một cách lạc quan, chúng tôi cũng phát hiện rằng việc thêm các tài liệu tổng hợp tích cực trong quá trình tiền huấn luyện làm giảm sự không phù hợp. Chủ đề 🧵