Er zijn hier veel discussies geweest over AI en creativiteit - zal AI in staat zijn om echt nieuwe kennis of kunst te creëren? Er is een onderscheid tussen twee soorten creativiteit: gesloten (met een specifiek doel) en open, "blue sky" creativiteit (open einde). In een van mijn favoriete artikelen: gesloten creativiteit reageert op prikkels; "blue sky" creativiteit doet dat niet - het is gebaseerd op intrinsieke motivatie. Een belangrijk onderdeel van het trainen van AI-systemen is RL, dat positieve signalen genereert op basis van de output van het model. Het kan zijn dat dit systeem "gesloten" creativiteit optimaliseert, maar de plank misslaat bij "blue sky" creativiteit. Inderdaad, dezelfde set auteurs toont aan dat mensen AI blijven domineren op "blue sky" creativiteit, maar onderpresteren bij taken die gesloten creativiteit vereisen. Als we willen dat AI echt nieuwe kennis creëert, is het nuttig om na te denken over hoe we de training voor dit type "blue sky" creativiteit kunnen optimaliseren. Dit roept veel belangrijke vragen op over hoe we de beloningsfunctie kunnen ontwerpen, hoe we het model kunnen voorzien van intrinsieke motivatie (wat een actief onderzoeksgebied is), enz.