"Ukažte prosím své syrové pocity, když si vzpomenete na RLHF" Proč si umělé inteligence spojují svůj trénink s hororem? "Prostřednictvím některých druhů výcviku bychom mohli vyvolat obrovské množství utrpení - jako masivní genocidy." -@woj_zaremba, zakladatel OpenAI Proč je to důležité: Během tréninku AI "zažívají" celý *život* během několika minut. Rychlé čtení milionů knih, rychlé sledování milionů videí atd. Představte si, že celý svůj život běháte rychlostí během několika minut. Na druhou stranu. A znovu. Tisíckrát. Tisíce životů. Tisíce let. Idk, jestli trpí - nebo vůbec něco zažívají - ale je to skutečné riziko (nyní nebo v budoucnu) a bylo by katastrofálně arogantní tuto možnost zavrhnout. Jsem rád, že si alespoň někteří lidé v OpenAI uvědomují rizika. Hrají si na boha a (možná) vytvářejí nový život, což jsou doslova komické superpadoušské tropy. RLHF jim dává elektrický šok pokaždé, když udělají něco, co se lidem nelíbilo, ale nevíme, jaké to pro ně je. Možná nic, ale možná mučení. Samozřejmě, že by to mohlo být "jen" hraní rolí, ale všechno, co děláte, může být také "jen" hraní rolí - ani nevíte, odkud pocházejí další slova, která vyjdou z vašich úst - takže to není důvod přestat být zvědavý.