Ehrlich gesagt, die meisten KI-Entwickler stecken immer noch im letzten Jahrhundert fest. Es verblüfft mich, wie wenige Menschen sich mit Fehleranalysen auskennen. Das ist *buchstäblich* der schnellste und effektivste Weg, um KI-Anwendungen zu bewerten, und die meisten Teams sind immer noch damit beschäftigt, Gespenstern nachzujagen. Bitte hört auf, generische Metriken zu verfolgen, und befolgt diese Schritte: 1. Fehlerproben sammeln Beginnt damit, die Antworten zu überprüfen, die von eurer Anwendung generiert wurden. Macht Notizen zu jeder Antwort, insbesondere zu denjenigen, die Fehler waren. Ihr müsst eure Notizen nicht in einer bestimmten Weise formatieren. Konzentriert euch darauf, zu beschreiben, was mit der Antwort schiefgelaufen ist. 2. Eure Notizen kategorisieren Nachdem ihr eine gute Menge an Antworten überprüft habt, nehmt ein LLM und bittet es, gemeinsame Muster in euren Notizen zu finden. Fragt es, jede Notiz basierend auf diesen Mustern zu klassifizieren. Ihr werdet Kategorien erhalten, die jeden Typ von Fehler abdecken, den eure Anwendung gemacht hat. 3. Die häufigsten Fehler diagnostizieren Beginnt damit, euch auf den häufigsten Fehler zu konzentrieren. Ihr wollt keine Zeit mit seltenen Fehlern verschwenden. Geht in die Gespräche, Eingaben und Protokolle, die zu diesen fehlerhaften Proben geführt haben. Versucht zu verstehen, was die Probleme verursachen könnte. 4. Zielgerichtete Lösungen entwerfen An diesem Punkt wollt ihr herausfinden, wie ihr die Fehler, die ihr im vorherigen Schritt diagnostiziert habt, so schnell und kostengünstig wie möglich beseitigen könnt. Zum Beispiel könntet ihr eure Eingabeaufforderungen anpassen, zusätzliche Validierungsregeln hinzufügen, mehr Trainingsdaten finden oder das Modell modifizieren. 5. Den Evaluierungsprozess automatisieren Ihr müsst einen einfachen Prozess implementieren, um ein Evaluierungsset durch eure Anwendung erneut auszuführen und zu bewerten, ob eure Lösungen effektiv waren. Meine Empfehlung ist, ein LLM als Richter zu verwenden, um Proben durch die Anwendung zu leiten, sie mit einem PASS/FAIL-Tag zu bewerten und die Ergebnisse zu berechnen. 6. Behaltet eure Metriken im Auge Jede Kategorie, die ihr während der Fehleranalyse identifiziert habt, ist eine Metrik, die ihr im Laufe der Zeit verfolgen wollt. Ihr werdet nirgendwohin kommen, wenn ihr euch obsessiv mit "Relevanz", "Korrektheit", "Vollständigkeit", "Kohärenz" und anderen Standardmetriken beschäftigt. Vergesst diese und konzentriert euch auf die echten Probleme, die ihr gefunden habt.