Eine Rangliste lässt eine komplizierte Entscheidung erfreulich einfach erscheinen. Man findet das Modell mit der höchsten Punktzahl und kann weitermachen. Die Schwierigkeiten kehren jedoch zurück, sobald die erste echte Aufgabe mit einem schlecht formatierten Dokument, einer unklaren Anweisung oder einer Deadline ansteht. Hier würde ich den Vergleich beginnen: mit den noch ausstehenden Aufgaben und einer klaren Beschreibung, wie ein gutes Ergebnis aussehen sollte.
Was die Bewertung tatsächlich misst
Ein Benchmark ist eine definierte Sammlung von Aufgaben und eine Methode zur Bewertung der Antworten. Sein Wert liegt in der Wiederholbarkeit des Vergleichs. Ein Modell, das bei diesen Aufgaben gut abschneidet, hat unter diesen Bedingungen etwas Nützliches bewiesen. Die nächste Frage ist, wie sehr diese Bedingungen den relevanten Bedingungen entsprechen.
Die ursprüngliche HELM-Studie der Stanford University aus dem Jahr 2022 plädierte für die Bewertung von Sprachmodellen in verschiedenen Szenarien und anhand mehrerer Kriterien. Genauigkeit war nur ein Aspekt dieses Ansatzes; Effizienz, Robustheit und andere Eigenschaften spielten ebenfalls eine Rolle. Diese ältere Studie ist hier aufgrund ihrer Methode nützlich, nicht als aktuelles Ranking von Produkten.
Gestalten Sie den Test so, dass er einem normalen Dienstag ähnelt.
Angenommen, Sie möchten Kundennachrichten in eine wöchentliche Liste wiederkehrender Probleme umwandeln. Ein allgemeines Wissensquiz gibt Ihnen wenig Aufschluss darüber, ob ein System die Bedeutung einer Beschwerde beibehält, mit unklaren Sätzen umgeht oder die Absicht des Kunden nicht unterstellt. Ihr eigener Test könnte mit einer kleinen Auswahl nicht vertraulicher Beispiele arbeiten, wobei die erwarteten Kategorien im Voraus notiert werden.
Fügen Sie ein einfaches Beispiel, ein komplexes Beispiel und einen Fall hinzu, in dem die richtige Antwort darin besteht, um Klärung zu bitten. Halten Sie die Anweisungen und das verfügbare Quellmaterial für jedes Modell gleich. Dies liefert zwar kein wissenschaftliches Urteil über jede mögliche Anwendung, kann aber eine Diskrepanz aufdecken, bevor Sie einen Workflow darauf aufbauen.
Zählen Sie die Zeit, die für die Korrektur der Antwort benötigt wird.
Erwägen Sie einen beispielhaften Test mit zehn kurzen Zusammenfassungen. System A benötigt zehn Minuten zum Ausführen und zwanzig Minuten für die Überprüfung und Reparatur. System B benötigt fünfzehn Minuten zum Ausführen und fünf Minuten für die Überprüfung. Wenn beide Systeme letztendlich zufriedenstellende Ergebnisse liefern, beträgt der Gesamtaufwand dreißig Minuten für A und zwanzig Minuten für B. Die schnellere erste Reaktion führte nicht zu einem schnelleren Abschluss.
Dies ist die Idee hinter den Kosten pro nutzbarem Ergebnis. Die Kosten können Abonnementgebühren, Wartezeiten, Überprüfungen und die Folgen eines Fehlers umfassen. Diese hypothetischen Zahlen sind keine Messwerte eines bestimmten Produkts. Sie verdeutlichen, warum ein geringfügiger Unterschied in einer öffentlichen Bewertung weniger ins Gewicht fallen kann als ein wiederkehrendes Problem in Ihrem tatsächlichen Prozess.
Eine flüssige Antwort benötigt dennoch Belege.
Die Kalibrierung beschreibt, wie gut die von einem System angegebene Konfidenz mit seiner Korrektheit übereinstimmt. Für den Leser ist die praktische Frage, ob Unsicherheit sichtbar gemacht wird, wenn die Beweislage schwach ist. Eine Antwort, die lediglich eine einfache Zahl ohne Begründung liefert, kann schwieriger zu nutzen sein als eine, die eine fehlende Eingabe identifiziert.
Das freiwillige KI-Risikomanagement-Framework des NIST bettet die Bewertung in die umfassendere Frage ein, wie ein System genutzt wird und welche Risiken damit verbunden sind. Daraus ziehe ich eine einfache Lehre: Legen Sie im Voraus fest, welche Ausgaben einer unabhängigen Überprüfung bedürfen, welche Informationen nicht in das Tool gelangen dürfen und was Sie dazu veranlassen würde, es für eine bestimmte Aufgabe nicht mehr zu verwenden.
Dokumentieren Sie Ihre Entscheidung kurz.
Speichern Sie die Modellversion, das Testdatum, die Anweisungen und einige repräsentative Ergebnisse. Überprüfen Sie Ihre Wahl erneut, wenn sich das Produkt oder Ihre Arbeit wesentlich ändert. Ein gespeichertes Beispiel ist oft aussagekräftiger als die Erinnerung eines Mitarbeiters, der vor einigen Monaten eine bessere Entscheidung getroffen hat.
Ich bevorzuge eine kurze Vorauswahl, die durch einen transparenten Test unterstützt wird. Die Rangliste kann Ihnen bei der Kandidatensuche helfen. Die endgültige Entscheidung sollte davon abhängen, ob das Tool Sie zuverlässig bei der Erledigung Ihrer tatsächlichen Aufgaben unterstützt.
Nach der tatsächlichen Aufgabe entscheiden
Vergleichen Sie Modelle anhand repräsentativer Aufgaben unter gleichen Bedingungen und berücksichtigen Sie neben der Reaktionsgeschwindigkeit auch die Bearbeitungszeit.
Bedeutet ein höherer Benchmark-Wert, dass ein Modell besser für meine Arbeit geeignet ist?
Er liefert Informationen über die Aufgaben und Bedingungen des Benchmarks. Testen Sie repräsentative Beispiele aus Ihrem eigenen Arbeitsablauf, bevor Sie ihn als allgemeine Antwort betrachten.
Mitdiskutieren
Kommentare werden nach Prüfung und Freigabe angezeigt. Sachlicher Widerspruch ist willkommen.