Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
#PaperADay 6
TROCA DE CARACTERÍSTICAS LOCAIS PARA GENERALIZAÇÃO EM APRENDIZAGEM POR REFORÇO
Há uma boa discussão sobre generalização, tanto de forma geral (ha) quanto mais especificamente em RL, mas a ideia apresentada é muito simples, e eu vou tentar:
CLOP: Permutações locais consistentes de canal
Dado um tensor 3D (4D com lote), com alguma probabilidade em cada local, troque aleatoriamente a posição com um vizinho, trocando todos os canais como uma unidade. Assim como o dropout, isso reduz o overfitting pela co-adaptação, mas não zera nenhum canal, apenas os move.
Concordo com a ideia de que a augmentação de dados no espaço latente é mais eficiente para generalização do que no espaço de entrada. Eles sugerem fazê-lo o mais baixo possível na hierarquia espacial, mas provavelmente não seria uma boa ideia em um nível 2x2, onde há apenas quatro permutações possíveis e qualquer uma delas perturba metade da informação espacial.
Note que eles ajustaram a chance de troca por jogo, o que geralmente não é feito ao relatar resultados em um conjunto de jogos.
Os resultados em tarefas de aprendizado supervisionado puro não foram notáveis, mas podem ser melhores com o CLOP inserido em diferentes lugares e com diferentes receitas de treinamento.
Top
Classificação
Favoritos
