Mehr Beweis dafür, dass LLMs nicht bewusst sind und keine Informationen verallgemeinern, und daher nicht allgemein intelligent werden, sondern in der Tat (immer noch äußerst nützlich) trainierte statistische Antwortgeber sind.
Lossfunk
Lossfunk19. März, 22:14
🚨 Schockierend: Frontier LLMs erzielen 85-95 % bei standardisierten Programmierbenchmarks. Wir haben ihnen gleichwertige Probleme in Sprachen gegeben, die sie nicht hätten auswendig lernen können. Sie fielen auf 0-11 %. Präsentation von EsoLang-Bench. Akzeptiert für die Workshops zu Logischem Denken und ICBINB bei ICLR 2026 🧵
Informatik-Absolventen werden mit Programmierherausforderungen in Sprachen konfrontiert, die sie zuvor nicht gesehen haben, und mit nur ein wenig Syntax, und sie werden gebeten, Dinge zu tun wie eine Fibonacci-Folge zu programmieren, um zu beweisen, dass sie nicht nur nachplappern, die ganze Zeit Und das filtert zwar Leute heraus, aber nicht 90%.
41