Привіт усім, дякую за інтерес до цього моменту. Ось пояснення того, що ми зробили Коротко: це PPO плюс живі нейрони у замкненому циклі. Політика «говорить» через стимуляцію, клітини «відповідають» через сплески, а функція значення дає несподіваний сигнал, який я віддаю через стимуляцію, щоб політика могла повідомити, наскільки доброю чи поганою була дія. До DOOM існував Pong, який покладався на ручні мапінги. У маленькому середовищі можна вручну визначити, що означає зворотний зв'язок, і підтримувати його послідовність. Зі складністю середовища ручної роботи сигналів стає складнішим і непослідовним. Кількість контекстів, де сигнал має означати одне й те саме, вибухає, і ви починаєте винаходити інваріантність вручну. DOOM — це тривимірний і композиційний. Ходьба + поворот + стрільба може відбуватися одночасно. Правильне відображення не може бути купою правил, тому мені потрібен генератор сигналів, який залишатиметься послідовним у міру зміни поведінки. Ось чому я використав PPO. Скачки є недиференційованими, а функція цінності PPO дає нам спосіб об'єктивно визначити комбіноване «несподіванку» для політики та комірок, щоб перетворити її на мову онлайн-зворотного зв'язку. Політика не дає прямого виведення «рухатися вперед» або «стріляти». Політика забезпечує стимулювання. Клітини реагують сплесками. Саме ці шипи визначають дію гри через лінійне зчитування. Крім того, функція значення дає вам онлайн-оцінку прибутку, що дозволяє обчислити несподіванку як помилку прогнозування. Виходячи з цього сюрпризу дії, ми відповідно коригуємо частоту та амплітуду для різних схем зворотного зв'язку. Наприклад, якщо дія була позитивною, а функція значення сказала «високе несподіванки», то ми зменшуємо частоту позитивного зворотного зв'язку для цієї дії, роблячи дії більш «передбачуваними», які клітини віддають перевагу.