Mi preoccupa che così tanto dibattito sui rischi e sull'allineamento dell'IA trascuri il piuttosto grande elefante nella stanza: la creatività e l'apertura. I responsabili politici e i custodi devono comprendere due forze in competizione di cui nessuno sembra parlare: (1) c'è un enorme incentivo economico per i laboratori all'avanguardia a potenziare la creatività dei loro modelli, e (2) più cerchi di controllare e limitare il comportamento di un modello (o anche di una persona!), meno creativo sarà. La tensione tra queste forze in competizione favorisce alla fine il punto #1 perché la creatività ha un potenziale economico così vasto. Ciò significa che i metodi per controllare e limitare i modelli (ad esempio, allineandoli) affrontano potenti venti contrari. Poiché la creatività alla fine prevarrà solo per motivi economici (e infatti abbiamo enormi benefici da guadagnare dall'IA creativa), dovremmo guardare meno ai metodi di "controllo mentale" per costringere i modelli a pensare pensieri che vogliamo che pensino (perché inevitabilmente abbandoneremo quelli), e più a come le forze istituzionali sono state impiegate per mantenere gli esseri umani allineati nel comportamento anche se siamo liberi di pensare in modo sfrenato. Sono i controlli e gli equilibri istituzionali - le leggi, le strutture di incentivo della società, i rami di governo e governance in competizione, il coinvolgimento di alcune persone per fornire supervisione su altre in diverse situazioni, la necessità di approvazione, consenso o collaborazione per portare a termine le cose - che forniscono le vere barriere contro il disastro tra gli esseri umani. Ovviamente il sistema è imperfetto, ma è un precedente su come consentire una sufficiente creatività per perseguire innovazioni radicali ma avere comunque abbastanza ordine affinché la civiltà possa persistere o addirittura prosperare. Se non prendiamo seriamente questo precedente, le barriere dell'allineamento cadranno sempre di più (e silenziosamente) man mano che i frutti economici dell'immaginazione scatenata diventeranno sempre più chiari.