Tem havido muitas discussões aqui sobre IA e criatividade--será que a IA será capaz de criar conhecimento ou arte verdadeiramente novos? Há uma distinção entre dois tipos de criatividade: fechada (com um objetivo específico) e criatividade aberta, "blue sky" (sem limites). Em um dos meus artigos favoritos: a criatividade fechada responde a incentivos; a criatividade "blue sky" não--ela é baseada na motivação intrínseca. Um componente chave do treinamento de sistemas de IA é o RL, que gera sinais positivos com base na saída do modelo. Pode ser que este sistema otimize a criatividade "fechada", mas falhe na criatividade "blue sky". De fato, o mesmo conjunto de autores mostra que os humanos continuam a dominar a IA na criatividade "blue sky", mas têm um desempenho inferior em tarefas que envolvem criatividade fechada. Se quisermos que a IA crie conhecimento verdadeiramente novo, é útil pensar em como otimizar o treinamento para este tipo de criatividade "blue sky". Isso abre muitas questões importantes sobre como projetar a função de recompensa, como dotar o modelo de motivação intrínseca (que é uma área ativa de pesquisa), etc.