Здесь было много обсуждений о ИИ и креативности — сможет ли ИИ создать по-настоящему новые знания или искусство? Существует различие между двумя типами креативности: закрытой (с конкретной целью) и открытой, "голубого неба" креативностью (без определенного конца). В одной из моих любимых статей: закрытая креативность реагирует на стимулы; креативность "голубого неба" — нет — она основана на внутренней мотивации. Ключевым компонентом обучения ИИ-систем является RL, который генерирует положительные сигналы в зависимости от вывода модели. Возможно, эта система оптимизирует "закрытую" креативность, но не достигает успеха в "креативности голубого неба". Действительно, тот же набор авторов показывает, что люди продолжают доминировать над ИИ в "креативности голубого неба", но показывают худшие результаты в задачах, связанных с закрытой креативностью. Если мы хотим, чтобы ИИ создавал по-настоящему новые знания, полезно подумать о том, как оптимизировать обучение для этого типа "креативности голубого неба". Это открывает множество важных вопросов о том, как разработать функцию вознаграждения, как наделить модель внутренней мотивацией (что является активной областью исследований) и т.д.