Mitä puuttuu hyödyllisten syvätutkimusagenttien rakentamiseen? Syvätutkimusagentit lupaavat analyytikkotason raportteja automaattisen haun ja synteesin avulla. Nykyiset järjestelmät kuitenkin jäävät aidosti hyödyllisestä tutkimuksesta. Kysymys kuuluu: missä tarkalleen ne epäonnistuvat? Tämä uusi artikkeli esittelee FINDERin, 100 ihmisen kuratoidun tutkimustehtävän vertailun, jossa on 419 rakenteellista tarkistuslistaa raportin laadun arviointiin. Toisin kuin QA-testit, FINDER keskittyy kattavien raporttien laatimiseen. Tutkijat analysoivat noin 1 000 raporttia valtavirran syvätutkimusagenteilta. Heidän havaintonsa haastavat oletukset siitä, missä nämä syvälliset tutkimusjärjestelmät kamppailevat. Nykyisillä agenteilla ei ole vaikeuksia tehtävien ymmärtämisessä. Ne epäonnistuvat todisteiden integroinnissa, varmennuksessa ja päättelykykyisen suunnittelun osalta. He ymmärtävät, mitä pyydät. He eivät vain pysty muodostamaan vastausta luotettavasti. Artikkeli esittelee DEFTin, ensimmäisen epäonnistumistaksonomian syvätutkimusagenteille. Se tunnistaa 14 erillistä vikamuotoa kolmessa kategoriassa: päättelyvirheet, hakuvirheet ja generointivirheet. Tämä järjestelmällinen erittely paljastaa, että nykyisten kykyjen ja hyödyllisen tutkimuksen välinen kuilu ei liity älykkäämpään hakuun tai parempiin kielimalleihin. Kyse on päättelyarkkitehtuurista, joka yhdistää palautuksen synteesiin. (kirjanmerkkeihin) Paperi: