Łukasz Kaiser(@OpenAI) đã nói rằng theo một cách nào đó, việc tiền huấn luyện cảm giác như đã đạt đến phần trên của đường cong S. Tuy nhiên, điều này không có nghĩa là việc mở rộng tiền huấn luyện đã ngừng hoạt động. Thực tế, nó hoạt động hoàn toàn như mong đợi, và các phòng thí nghiệm như OpenAI và Google, cũng như những phòng thí nghiệm khác, đều quan sát thấy rằng tổn thất giảm xuống một cách gần như log-linearly khi bạn thêm nhiều tính toán hơn. Vấn đề là bạn phải đổ bao nhiêu tiền vào để có được những lợi ích mà bạn nhận được, và mặc dù số tiền rất lớn, mọi người vẫn đang đầu tư. Ngược lại, trong mô hình "lập luận", bạn có thể đạt được tiến bộ nổi bật hơn nhiều với cùng một chi phí, vì lập luận vẫn đang ở phần dưới của đường cong S. Vì vậy, tiền huấn luyện không hề tắt ngúm. Ông nói rằng chúng ta chỉ đơn giản là đã tìm thấy một mô hình mới mang lại tiến bộ đáng kể hơn với cùng một mức giá.