Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
LOKAL FUNKSJONSBYTTE FOR GENERALISERING I FORSTERKNINGSLÆRING
Det finnes en god diskusjon om generalisering, både generelt (ha) og mer spesifikt i RL, men ideen som presenteres er veldig enkel, og jeg skal prøve den:
CLOP: Kanal-konsistente lokale permutasjoner
Gitt en 3D-tensor (4D med batch), med en viss sannsynlighet på hvert sted, bytte tilfeldig posisjon med en nabo, og bytte alle kanalene som en enhet. Som dropout, reduserer dette overtilpasning ved samtilpasning, men det nullstiller ikke noen kanaler, det bare flytter dem.
Jeg er enig i ideen om at dataforsterkning i det latente rommet er mer effektivt for generalisering enn i inputrommet. De foreslår å gjøre det så lavt som mulig i det romlige hierarkiet, men det ville sannsynligvis ikke være en god idé på 2x2-nivå, hvor det bare finnes fire mulige permutasjoner og hver av dem forstyrrer halvparten av den romlige informasjonen.
Merk at de justerte byttesjansen per kamp, noe som vanligvis ikke gjøres når man rapporterer resultater på en rekke spill.
Resultatene på rene veiledede læringsoppgaver var ikke bemerkelsesverdige, men kan være bedre med CLOP plassert på forskjellige steder og med ulike treningsoppskrifter.
Topp
Rangering
Favoritter
