Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
LOKALNE ZAMIANY CECH DLA GENERALIZACJI W UCZENIU WZMACNIAJĄCYM
Jest dobra dyskusja na temat generalizacji, zarówno ogólnie (ha), jak i bardziej szczegółowo w RL, ale przedstawiona idea jest bardzo prosta i spróbuję ją przedstawić:
CLOP: Spójne lokalne permutacje kanałów
Dany tensor 3D (4D z batch), z pewnym prawdopodobieństwem w każdej lokalizacji, losowo zamień pozycję z sąsiadem, zamieniając wszystkie kanały jako jednostkę. Podobnie jak w przypadku dropout, to zmniejsza nadmierne dopasowanie przez współadaptację, ale nie zeruje żadnych kanałów, po prostu je przemieszcza.
Zgadzam się z ideą, że augmentacja danych w przestrzeni latentnej jest bardziej efektywna dla generalizacji niż w przestrzeni wejściowej. Sugerują, aby robić to jak najniżej w hierarchii przestrzennej, ale prawdopodobnie nie byłoby to dobrym pomysłem na poziomie 2x2, gdzie są tylko cztery możliwe permutacje, a każda z nich zakłóca połowę informacji przestrzennej.
Zauważ, że dostosowali szansę na zamianę na grę, co zazwyczaj nie jest robione przy raportowaniu wyników w zestawie gier.
Wyniki w czystych zadaniach uczenia nadzorowanego nie były godne uwagi, ale mogą być lepsze z CLOP wstawionym w różnych miejscach i z różnymi przepisami treningowymi.
Najlepsze
Ranking
Ulubione
