Často přemýšlím, zda extrémní chování v umělé inteligenci není vedlejším produktem výuky literatury. Příběhy jsou ze své podstaty výjimkou. Zajímavé výřezy lidské zkušenosti, ne průměr. Existuje spousta knih o vraždě, kde vidíme "přemýšlel o tom, že ho zabije" nebo "zabil ho". Ale nikdy jsem neviděl knihu, která by říkala, že "myšlenka na zabíjení ho nikdy nenapadla, protože byl dobře přizpůsobený člověk a tohle byla mírná nepříjemnost" To není typ literatury, kterou píšeme. Ale my trénujeme LLM na veškerém psaném textu a ve svých nejjednodušších formách předpovídají, jaký token textu bude s největší pravděpodobností další ve větě. Takže vidí a předpovídají násilí ve vyšší míře než lidé, protože pokud vše, co víte o lidech, je naše literatura, pak je pro vás násilí také docela normální. Chceme, aby AI agenti byli humanističtí, možná nadlidští, a přesto je trénujeme na kousku našich znalostí, který je "zajímavý" a tvoří méně než 1% lidské zkušenosti, která je většinou všední. Takže když se umělá inteligence snaží řešit problémy a narazí na zeď, místo toho, aby vyzkoušela všechna všední řešení, někdy prostě přeskočí k těm extrémním a zajímavým! 🤷‍♂️