Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
SCHIMBAREA LOCALĂ A CARACTERISTICILOR PENTRU GENERALIZARE ÎN ÎNVĂȚAREA PRIN ÎNTĂRIRE
Există o discuție bună despre generalizare, atât în general (ha), cât și mai specific în RL, dar ideea prezentată este foarte simplă și o voi încerca:
CLOP: Permutări locale consistente pe canal
Dat un tensor 3D (4D cu lot), cu o anumită probabilitate la fiecare locație, schimbă aleatoriu poziția cu un vecin, schimbând toate canalele ca o unitate. La fel ca dropout-ul, asta reduce supraajustarea prin co-adaptare, dar nu zeroizează niciun canal, ci doar le mută.
Sunt de acord cu ideea că augmentarea datelor în spațiul latent este mai eficientă pentru generalizare decât în spațiul de intrare. Ei sugerează să faci asta cât mai jos în ierarhia spațială, dar probabil nu ar fi o idee bună la nivel 2x2, unde există doar patru permutări posibile și oricare dintre ele perturbă jumătate din informația spațială.
Rețineți că au ajustat șansa de schimb pe meci, ceea ce de obicei nu se face când raportați rezultatele unui set de jocuri.
Rezultatele la sarcinile de învățare pur supravegheată nu au fost remarcabile, dar ar putea fi mai bune dacă CLOP-ul este inserat în locuri diferite și cu rețete de antrenament diferite.
Limită superioară
Clasament
Favorite
