Одно, что я узнал с RL и sim2real, когда успешно внедрял вещи на аппаратном обеспечении, это доверять своему симулятору и всей своей инфраструктуре, независимо от того, насколько странным будет полученное поведение. Скорее всего, это сработает в реальной жизни.