Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
TROCA LOCAL DE CARACTERÍSTICAS PARA GENERALIZAÇÃO EM APRENDIZADO POR REFORÇO
Há uma boa discussão sobre generalização, tanto em geral (ha) quanto mais especificamente em RL, mas a ideia apresentada é muito simples, e vou tentar:
CLOP: Permutações locais consistentes com o canal
Dado um tensor 3D (4D com lote), com alguma probabilidade em cada local, troquem aleatoriamente de posição com um vizinho, trocando todos os canais como uma unidade. Como o dropout, isso reduz o overfitting por coadaptação, mas não zera nenhum canal, apenas os move.
Concordo com a ideia de que a ampliação de dados no espaço latente é mais eficiente para generalização do que no espaço de entrada. Eles sugerem fazer isso o mais baixo possível na hierarquia espacial, mas provavelmente não seria uma boa ideia em um nível 2x2, onde há apenas quatro permutações possíveis e qualquer uma delas perturba metade da informação espacial.
Note que eles ajustaram a chance de troca por jogo, o que geralmente não é feito ao reportar resultados em um conjunto de jogos.
Os resultados em tarefas de aprendizado supervisionado puro não foram notáveis, mas podem ser melhores com o CLOP inserido em diferentes lugares e com receitas de treinamento distintas.
Melhores
Classificação
Favoritos
