Burada yapay zeka ve yaratıcılık hakkında birçok tartışma oldu—yapay zeka gerçekten yeni bilgi veya sanat yaratabilecek mi? İki yaratıcılık türü arasında ayrım vardır: kapalı (özel amaçla) ve açık, "mavi gökyüzü" yaratıcılığı (açık uçlu). Favori makalelerimden birinde: kapalı yaratıcılık teşviklere yanıt verir; "Mavi gökyüzü" yaratıcılığı bunu yapmaz—içsel motivasyona dayanır. Yapay zeka sistemlerini eğitmenin temel bileşenlerinden biri RL'dir; bu da modelin çıktısına göre olumlu sinyaller üretir. Bu sistemin "kapalı" yaratıcılığı optimize etmesi ama "mavi gökyüzü" yaratıcılığında hedefi kaçırması olabilir. Gerçekten de, aynı yazarlar grubu, insanların "mavi gökyüzü" yaratıcılığında yapay zekaya hakim olmaya devam ettiğini, ancak kapalı yaratıcılık içeren görevlerde düşük performans gösterdiğini gösteriyor. Eğer yapay zekanın gerçekten yeni bilgi yaratmasını istiyorsak, bu tür "mavi gökyüzü" yaratıcılığı için eğitimi nasıl optimize edebileceğimizi düşünmek faydalı olur. Bu, ödül fonksiyonunun nasıl tasarlanacağı, modele içsel motivasyon (ki bu aktif bir araştırma alanı) nasıl kazandırılacağı gibi birçok önemli soruyu ortaya koyuyor.