"Jaký je váš p(doom) od AGI?" ... to je špatná otázka Řeči o "zkáze" jsou běžnou věcí, kterou můžete slyšet na SF večírcích a jinde, ale je to otravné, protože je mezi nimi tolik zmatku: 1. Pravděpodobnost zkázy, pokud (a) bude AGI vybudována a (b) nedojde k žádné změně v úrovních bezpečnostního inženýrství / bezpečnostních politik / souladu, než je tomu v současnosti – v podstatě úroveň zkázy s podnikáním jako obvykle a současnými technikami za předpokladu, že nikdo nevěnuje více pozornosti než oni. 2. Pravděpodobnost zkázy, pokud bude AGI postavena (ale s přihlédnutím k možnosti, že bychom mohli dramaticky zvýšit bezpečnost a/nebo vyřešit zarovnání nebo tak něco). 3. Pravděpodobnost zkázy v daném časovém období, včetně (a) šance, že AGI prostě nebude nikdy vytvořena, AGI se ukáže být příliš těžké na vytvoření, mýlíme se ohledně vývoje schopností AI a (b) možnosti, že bychom mohli dramaticky zvýšit bezpečnost a/nebo vyřešit zarovnání nebo tak něco Lidé překrucují tyto tři různé významy, takže je docela těžké o tom vést konverzaci. Navíc samotný pojem "zkáza" je také dost zmatený. Někteří to chápou jako pouhé vyhynutí lidstva. Někteří říkají, že pokud je celé lidstvo mnohem lepší než dnes, ale nikdy nedosáhneme našeho největšího možného budoucího galaktického potenciálu, pak jsme stále v "zkáze" – a hodně mezi tím. Pokud by byl rok 2100 a na Zemi by byl jeden bilion lidí, z nichž každý by měl kvalitu života "horního 1 % v USA v roce 2025", byla by to "zkáza"? Někteří říkají ano, někteří říkají ne. O to těžší je o tom vést rozhovor, pokud ani nevíme, co je to "zkáza". Takže pokud se mě zeptáte: "Jaký je váš p(doom) z AGI?" Budu muset říct: "Prosím, zeptejte se mě na normální otázku".