Więcej dowodów na to, że LLM-y nie są świadome i nie generalizują żadnych informacji, a zatem nie staną się ogólnie inteligentne, lecz w rzeczywistości są (wciąż niezwykle użyteczne) wytrenowanymi statystycznymi responderami.
Lossfunk
Lossfunk19 mar, 22:14
🚨 Szokujące: LLM-y Frontier osiągają wyniki 85-95% w standardowych testach kodowania. Daliśmy im równoważne problemy w językach, których nie mogły zapamiętać. Zawiodły, osiągając 0-11%. Prezentujemy EsoLang-Bench. Zaakceptowane na warsztatach dotyczących rozumowania logicznego i ICBINB na ICLR 2026 🧵
Absolwenci informatyki dostają wyzwania programistyczne w językach, których wcześniej nie widzieli + zaledwie z odrobiną składni i są proszeni o zrobienie rzeczy, takich jak zakodowanie ciągu Fibonacciego, aby udowodnić, że nie tylko powtarzają, cały czas I to rzeczywiście wyklucza niektórych ludzi, ale nie 90%.
52