Điều gì sẽ xảy ra nếu bạn có thể thay thế một phần cốt lõi của Transformer bằng một cái gì đó đơn giản hơn và mạnh mẽ hơn? Các nhà nghiên cứu từ Princeton, NYU và CMU giới thiệu Derf. Họ đã thay thế lớp "chuẩn hóa" tiêu chuẩn bằng một hàm đơn giản, theo từng phần tử gọi là Derf (dựa trên hàm lỗi Gaussian). Nó chỉ đơn giản là làm mịn các giá trị để giữ cho việc đào tạo ổn định. Nó hiện tại vượt trội hơn LayerNorm và lựa chọn tốt nhất trước đó (DyT) trong nhận diện hình ảnh, tạo hình ảnh AI và mô hình hóa chuỗi DNA. Transformers Không Có Chuẩn Hóa Mạnh Mẽ Hơn Bài báo: Mã: Báo cáo của chúng tôi: