Herregud... Stanford viste nettopp hvorfor LLM-er høres smarte ut, men likevel feiler i det øyeblikket virkeligheten slår tilbake. Denne artikkelen tar for seg en brutal feilmodus som alle byggets agenter har sett: gi en modell en underspesifisert oppgave, og den hallusinerer lykkelig de manglende brikkene, og produserer en plan som ser flytende ut og kollapser ved utførelse. Kjerneinnsikten er enkel, men ødeleggende for prompt-tilnærminger: resonnementet bryter når forutsetningene er ukjente. Og de fleste virkelige oppgaver er fulle av ukjente faktorer. Stanfords løsning heter Self-Querying Bidirectional Categorical Planning (SQ-BCP), og den tvinger modellene til å slutte å late som om de vet ting de ikke vet. I stedet for å anta manglende fakta, sporer hver handling eksplisitt sine forutsetninger som: • Fornøyd • Krenket • Ukjent Ukjent er nøkkelen. Når modellen treffer et ukjent, er det ikke tillatt å fortsette. Det må enten: 1. Still et målrettet spørsmål for å løse det manglende faktum eller 2. Foreslå en brohandling som først etablerer betingelsen (mål, sjekk, forbered, osv.) Først etter at alle forutsetninger er løst, kan planen fortsette. Men her er det virkelige gjennombruddet: planer blir ikke akseptert fordi de ser ut til å være nær målet. De aksepteres kun hvis de består et formelt verifiseringssteg ved bruk av kategoriteoretiske pullback-sjekker. Likhetspoeng brukes kun for rangering, aldri for korrekthet. ...