"Hva er din p(doom) fra AGI?" ... Det er et dårlig spørsmål «p(doom)»-snakk er en vanlig ting å høre på SF-fester og andre steder, men det er irriterende fordi det er så mye forvirring mellom følgende: 1. Sannsynligheten for undergang hvis (a) AGI bygges og (b) vi ikke har noen endring i nivåer av sikkerhetsteknikk / sikkerhetspolitikk / justering enn vi har i dag - i hovedsak nivået av undergang med business as usual og nåværende teknikker forutsatt at ingen tar mer hensyn enn de allerede gjør. 2. Sannsynligheten for undergang hvis AGI bygges (men gir mulighet for at vi dramatisk kan øke sikkerheten og/eller løse justering eller noe). 3. Sannsynligheten for undergang over en gitt tidsperiode, inkludert både (a) sjansen for at AGI bare aldri bygges, AGI viser seg å være for vanskelig å lage, vi tar feil når det gjelder AI-kapasitetsutvikling og (b) muligheten for at vi dramatisk kan øke sikkerheten og/eller løse justering eller noe Folk som ekvivolerer mellom disse tre forskjellige betydningene gjør det ganske vanskelig å ha en samtale om dette. I tillegg er forestillingen om "undergang" i seg selv også ganske forvirret. Noen tar det for å bety bare menneskelig utryddelse. Noen sier at hvis hele menneskeheten er mye bedre enn i dag, men vi aldri oppnår vårt størst mulige fremtidige galaktiske potensial, så er vi fortsatt i "undergang" - og mye i mellom. Hvis det var år 2100 og det var en billion mennesker på jorden som hver hadde livskvaliteten til "topp 1 % i USA i 2025", ville det være "undergang"? Noen sier ja, noen sier nei. Dette gjør det enda vanskeligere å ha en samtale om dette hvis vi ikke engang vet hva "undergang" er. Så hvis du spør meg "Hva er din p(doom) fra AGI?" Jeg må si "Vær så snill, bare still meg et vanlig spørsmål".