#PaperADay 6 ЛОКАЛЬНАЯ СМЕНА ОСОБЕННОСТЕЙ ДЛЯ ОБОБЩЕНИЯ В УЧЕНИИ С УПРАВЛЕНИЕМ Существует хорошее обсуждение обобщения, как в общем (ха), так и более конкретно в RL, но представленная идея очень проста, и я собираюсь попробовать: CLOP: Канально-согласованные локальные перестановки Дано 3D-тензор (4D с батчем), с некоторой вероятностью в каждой позиции случайно поменять местами с соседом, меняя все каналы как единое целое. Как и в случае с дроп-аутом, это уменьшает переобучение за счет совместной адаптации, но не обнуляет никакие каналы, а просто перемещает их. Я согласен с тем, что увеличение данных в латентном пространстве более эффективно для обобщения, чем в входном пространстве. Они предлагают делать это как можно ниже в пространственной иерархии, но, вероятно, это не будет хорошей идеей на уровне 2x2, где есть только четыре возможные перестановки, и любая из них нарушает половину пространственной информации. Обратите внимание, что они настраивали вероятность смены на игру, что обычно не делается при отчетах о результатах в наборе игр. Результаты по чисто контролируемым задачам обучения не были примечательными, но могут быть лучше с CLOP, вставленным в разные места и с разными рецептами обучения.