#PaperADay 6 PAIKALLINEN OMINAISUUKSIEN VAIHTO VAHVISTUSOPPIMISEN YLEISTÄMISEKSI Yleistyksestä on hyvä keskustelu, sekä yleisesti (ha) että tarkemmin oikeassa elämässä, mutta esitetty idea on hyvin yksinkertainen, ja aion kokeilla sitä: CLOP: Kanavan mukaiset paikalliset permutaatiot Kun annetaan 3D-tensori (4D erässä), jokaisessa sijainnissa on jonkin verran todennäköisyyttä, vaihda satunnaisesti paikkaa naapurin kanssa, vaihtaen kaikki kanavat yhtenä yksikkönä. Kuten dropout, tämä vähentää ylisovitusta yhteisadaptaation kautta, mutta se ei nollaa kanavia pois, vaan siirtää niitä. Olen samaa mieltä ajatuksesta, että datan augmentointi latenttitilassa on yleistämisen kannalta tehokkaampaa kuin syötetilassa. He ehdottavat, että se tehdään mahdollisimman alhaalla tilahierarkiassa, mutta se ei todennäköisesti olisi hyvä idea 2x2-tasolla, jossa on vain neljä mahdollista permutaatiota ja mikään niistä häiritsee puolet tilallisesta informaatiosta. Huomaa, että he säätivät vaihtomahdollisuuden per peli, mikä ei yleensä ole tehty, kun raportoidaan tuloksia pelipaketista. Puhtaasti ohjattujen oppimistehtävien tulokset eivät olleet merkittäviä, mutta saattaisivat olla parempia, jos CLOP olisi asetettu eri paikkoihin ja eri koulutusresepteillä.