Obávám se, že tolik diskusí o rizicích a sladění umělé inteligence přehlíží poměrně velkého slona v místnosti: kreativitu a otevřenost. Tvůrci politik a strážci brány musí pochopit dvě konkurenční síly, o kterých se zdá, že nikdo nemluví: (1) existuje obrovská ekonomická motivace pro hraniční laboratoře k tomu, aby zvyšovaly kreativitu svých modelů, a (2) čím více se budete snažit kontrolovat a omezovat chování modelu (nebo dokonce člověka!), tím méně kreativní bude. Napětí mezi těmito soupeřícími silami nakonec upřednostňuje #1, protože kreativita má tak obrovský ekonomický potenciál. To znamená, že metody řízení a omezování modelů (např. jejich zarovnáním) čelí silnému hrozícímu protivětru. Protože kreativita nakonec zvítězí pouze na ekonomických základech (a z kreativní umělé inteligence skutečně můžeme získat obrovské výhody), měli bychom se méně dívat na metody "kontroly mysli", které modelům umožňují myslet myšlenky, které chceme, aby si myslely (protože od nich nevyhnutelně opustíme), a více se zaměřovat na to, jak byly použity institucionální síly k udržení lidí v souladu v chování, přestože můžeme svobodně myslet, jak divoce chceme. Jsou to institucionální brzdy a rovnováhy - zákony, motivační struktury společnosti, konkurenční větve vlády a vládnutí, pákový efekt některých lidí k zajištění dohledu nad ostatními v různých situacích, potřeba nákupu, schválení nebo spolupráce na dokončení věcí - které poskytují skutečné mantinely proti katastrofě mezi lidmi. Tento systém je samozřejmě nedokonalý, ale je to precedens toho, jak umožnit dostatečné kreativitě usilovat o radikální inovace, ale stále mít dostatek řádu, aby civilizace přetrvala nebo dokonce vzkvétala. Pokud tento precedens nebudeme brát vážně, mantinely zarovnání budou stále více (a tiše) padat, protože ekonomické plody nespoutané imaginace budou stále jasnější.
20,83K