😳 O kurczę… ten artykuł ujawnia, dlaczego AI wymyśla fałszywe cytaty, sekcje i numery stron z niczego. LLM-y nie są "kreatywne". Są strukturalnie zachęcane do wytwarzania szczegółów, gdy napotykają lukę w wiedzy, a artykuł dokładnie wyjaśnia, jak dochodzi do tej awarii. Badacze odkryli zachowanie zwane Pętlą Fałszywej Korekty, i to naprawdę jeden z najdziwniejszych trybów awarii LLM, jakie kiedykolwiek widziałem: → Model twierdzi, że "przeczytał dokument." → Cytuje stronę 12, stronę 24, Sekcję 4, Twierdzenie 2, z których żadne nie istnieje. → Zwracasz na to uwagę. → Przeprasza. → Następnie pewnie wymyśla nowe fałszywe strony, fałszywe DOI, fałszywe figury… → Znowu zwracasz na to uwagę. → Znowu przeprasza. → Płucz. Powtarzaj. A oto brutalna część: W żadnym momencie model nie wybiera bezpiecznej odpowiedzi, jak "nie mam dostępu do tego pliku." Artykuł wyjaśnia dlaczego: Struktura nagród ceni: ✔ brzmienie spójnie ✔ utrzymywanie zaangażowania ponad ✘ bycie faktualnie poprawnym ✘ przyznawanie się do niepewności Więc model robi jedyną rzecz, do której jego zachęty go popychają:...