Ajatuksia... Viime aikoina olen törmännyt outoon ongelmaan. Pitkäjänteinen ajattelu on aina ollut minulle luonnollista, jotain, mihin olen itseni ehdollistanut helposti. Nyt se tuntuu melkein mahdottomalta. Miksi? AGI. Aina kun istun alas suunnittelemaan tulevaisuutta, törmään samaan oivallukseen. Odotamme nähdäksemme, kuka rakentaa ensimmäisen oikean AGI:n, ja kuka tahansa sen tekee, omistaa käytännössä maailman. Se saa pitkän aikavälin suunnittelun tuntumaan irralliselta todellisuudesta. En tiedä, kenen maailmassa tulen elämään, joten en voi ankkuroida tulevaisuutta itsevarmasti. AGI on viimeinen kilpailu. Lähestymme videopelin viimeistä tasoa. Hetki, jossa yksi pelaaja rakentaa järjestelmän, joka automatisoi kaikki älykkäät ja tavoitteelliset tehtävät, muuttaa luojansa joksikin jumalaksi. Yksi toimija saa kyvyn päihittää kaikki kaikilla osa-alueilla. Se lopettaa kilpailun. Se lopettaa valinnanvapauden. Toinen sija muuttuu orjaksi sen maailmankuvan orjaksi, joka pääsee sinne ensin. Siksi AGI:n kannustimet ovat niin vaarallisia. Jokainen pelaaja ymmärtää, että epäröinti on suora tie alistumiseen. Tämä logiikka pakottaa kiihdytyksen, vaatii oikoteitä ja poistaa varovaisuuden turvallisuuden suhteen. Kun kilpailusta tulee kilpailijoille eksistentiaalinen, ulkoisvaikutukset lakkaavat merkitsemästä. ...