Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
THAY ĐỔI ĐẶC TRƯNG ĐỊA PHƯƠNG ĐỂ TỔNG QUÁT HÓA TRONG HỌC TĂNG CƯỜNG
Có một cuộc thảo luận tốt về tổng quát hóa, cả về mặt tổng quát (ha) và cụ thể hơn trong RL, nhưng ý tưởng được trình bày rất đơn giản, và tôi sẽ thử nghiệm:
CLOP: Hoán vị địa phương nhất quán theo kênh
Cho một tensor 3D (4D với lô), với một xác suất nào đó tại mỗi vị trí, hoán đổi ngẫu nhiên vị trí với một hàng xóm, hoán đổi tất cả các kênh như một đơn vị. Giống như dropout, điều này giảm thiểu hiện tượng quá khớp bằng cách đồng thích ứng, nhưng nó không làm bằng không bất kỳ kênh nào, nó chỉ di chuyển chúng.
Tôi đồng ý với ý tưởng rằng tăng cường dữ liệu trong không gian tiềm ẩn hiệu quả hơn cho việc tổng quát hóa so với trong không gian đầu vào. Họ gợi ý thực hiện điều này ở mức thấp nhất trong hệ thống phân cấp không gian có thể, nhưng có lẽ sẽ không phải là một ý tưởng tốt ở mức 2x2, nơi chỉ có bốn hoán vị khả thi và bất kỳ hoán vị nào trong số đó cũng làm rối loạn một nửa thông tin không gian.
Lưu ý rằng họ đã điều chỉnh xác suất hoán đổi theo từng trò chơi, điều này thường không được thực hiện khi báo cáo kết quả trên một bộ trò chơi.
Kết quả trên các nhiệm vụ học tập có giám sát thuần túy không đáng chú ý, nhưng có thể tốt hơn với CLOP được chèn vào các vị trí khác nhau và với các công thức huấn luyện khác nhau.
Hàng đầu
Thứ hạng
Yêu thích
