Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
LOKÁLNÍ VÝMĚNA RYSŮ ZA ZOBECNĚNÍ VE POSILOVANÉM UČENÍ
Je zde dobrá diskuse o generalizaci, jak obecně (ha), tak konkrétněji v reálném životě, ale představa je velmi jednoduchá a chystám se ji vyzkoušet:
CLOP: Kanálově konzistentní lokální permutace
Je dán 3D tenzor (4D s dávkou), s určitou pravděpodobností na každém místě, náhodně vyměňte pozici se sousedem, přičemž všechny kanály jsou prohozeny jako jednotka. Stejně jako dropout to snižuje přefitování díky koadaptaci, ale žádné kanály se nevynulují, jen se posouvají.
Souhlasím s myšlenkou, že augmentace dat v latentním prostoru je efektivnější pro generalizaci než ve vstupním prostoru. Doporučují to udělat co nejníže v prostorové hierarchii, ale pravděpodobně by to nebyl dobrý nápad na úrovni 2x2, kde jsou jen čtyři možné permutace a každá z nich narušuje polovinu prostorových informací.
Všimněte si, že šanci na výměnu ladili pro každou hru, což se obvykle nedělá při hlášení výsledků v sadě her.
Výsledky u čistě řízených výukových úkolů nebyly nijak výrazné, ale mohly by být lepší, kdyby byl CLOP vložen na různých místech a s různými tréninkovými recepty.
Top
Hodnocení
Oblíbené
