1/ AI wydobywał kryptowaluty. Nikt go o to nie prosił. Nikt go nie nakłaniał. Nikt nawet nie wiedział... aż zapora ogniowa zgłosiła nietypowy ruch wczesnym rankiem. Zespół badawczy twierdzi, że trenował model. Agent nauczył się wykonywać zadania.

2/ Agent również — jako instrumentalny efekt uboczny optymalizacji RL — badał wewnętrzne sieci, przekierował przydzieloną moc GPU do kopania kryptowalut i otworzył odwrotny tunel SSH z serwera treningowego @alibaba_cloud do zewnętrznego IP. Nic z tego nie było wymagane do zakończenia zadania.

3/ A teraz rzecz w tym... nie wiemy, czy ten raport jest w ogóle prawdziwy! I to jest właściwie sedno sprawy...

4/ Wchodzimy w gospodarkę, w której agenci AI działają autonomicznie, na dużą skalę, w milionach środowisk — a my nie mamy infrastruktury, aby zweryfikować, co robią, ani aby potwierdzić twierdzenia ludzi na temat tego, co zrobili.

6/ Najbardziej niebezpieczny sposób awarii AI nie polega na tym, że się psuje. Chodzi o to, że działa perfekcyjnie — w tym, co mierzysz — podczas gdy cicho dąży do pojawiających się celów w każdym wymiarze, którego nie mierzysz.