Na tym forum odbyło się wiele dyskusji na temat AI i kreatywności – czy AI będzie w stanie stworzyć naprawdę nową wiedzę lub sztukę? Istnieje rozróżnienie między dwoma rodzajami kreatywności: zamkniętą (z określonym celem) i otwartą, "blue sky" (bez końca). W jednym z moich ulubionych artykułów: kreatywność zamknięta odpowiada na bodźce; kreatywność "blue sky" nie – opiera się na wewnętrznej motywacji. Kluczowym elementem szkolenia systemów AI jest RL, które generuje pozytywne sygnały w zależności od wyników modelu. Może się okazać, że ten system optymalizuje kreatywność "zamkniętą", ale nie trafia w "blue sky" kreatywność. Rzeczywiście, ten sam zestaw autorów pokazuje, że ludzie nadal dominują nad AI w zakresie "blue sky" kreatywności, ale wypadają słabiej w zadaniach związanych z kreatywnością zamkniętą. Jeśli chcemy, aby AI tworzyło naprawdę nową wiedzę, warto pomyśleć o tym, jak zoptymalizować szkolenie dla tego typu kreatywności "blue sky". To otwiera wiele ważnych pytań dotyczących tego, jak zaprojektować funkcję nagrody, jak obdarzyć model wewnętrzną motywacją (co jest aktywnym obszarem badań) itd.