Das Formular wurde erfolgreich abgeschickt.
Weitere Informationen finden Sie in Ihrem Briefkasten.
EinstellenSprache auswählen
Über unsLeistungenTechnologienPortfolio
Ihre LLM-App kann Tausende von Ergebnissen pro Stunde generieren. Bei einem solchen Volumen ist die manuelle Überprüfung als primäre Qualitätskontrolle nicht mehr ausreichend. Metriken wie BLEU und ROUGE messen die oberflächliche Ähnlichkeit von Texten, können jedoch nicht aussagen, ob eine Antwort die richtigen Fakten enthält oder in das Produkt passt. Und je größer das System wird, desto größer werden auch seine blinden Flecken.
Die Bewertungsmethode „LLM als Richter“ schließt diese Lücke, indem ein Sprachmodell ein anderes anhand von Kriterien bewertet, die Sie festlegen. Teams erhalten so ein Signal, auf das sie bei umfangreichen Ausgabemengen reagieren können, ohne dass hinter jeder Eingabeaufforderung ein menschlicher Prüfer stehen muss. Der Ansatz funktioniert, allerdings nur bei richtiger Konfiguration. Eine schwache Bewertungsrubrik, eine voreingenommene Eingabeaufforderung oder ein sich selbst bewertendes Modell können dazu führen, dass die Bewertungen zwar nützlich erscheinen, die eigentlichen Qualitätsprobleme jedoch verborgen bleiben.
Hier werde ich auf folgende Themen eingehen: Was ein LLM als Richter ist, wie es funktioniert, was die Ergebnisse nützlich oder irreführend macht und wo die Methode tendenziell versagt. Wir werden uns außerdem damit befassen, welche Voraussetzungen Teams schaffen müssen, bevor sie diesen Ergebnissen in einem echten KI-Produkt vertrauen können.
Falls Sie bereits mit dem Erläuterung zu „LLM als Richter“, dann können Sie diesen Abschnitt überfliegen. Falls nicht, finden Sie hier eine einfache Definition von „LLM als Richter“. „LLM-as-a-judge“ ist eine Bewertungsmethode, bei der ein Sprachmodell die Ausgabe eines anderen Modells anhand einer vom Team festgelegten Bewertungsrubrik überprüft. Dieser Ansatz lässt sich auch auf die Ausgaben eines umfassenderen KI-Systems oder eines Agenten anwenden.
Der Prüfer sieht in der Regel die Anfrage des Nutzers, die Antwort des Modells und die Bewertungsrubrik, in der erläutert wird, was zu prüfen ist. Je nach Aufgabe kann er die Ausgabe auf verschiedene Weise überprüfen:
Die Bewertungskriterien machen die Bewertung erst sinnvoll. Ohne sie muss der Bewerter raten, was als gut. Mithilfe einer Rubrik kann das Team das Modell auf die Qualitätsmerkmale hinweisen, die für seinen Arbeitsablauf von Bedeutung sind.
Zu den gängigen Kriterien zählen Genauigkeit, Relevanz, Fundiertheit, Sicherheit, Klarheit und Nützlichkeit. In einem RAG-System könnte der Prüfer überprüfen, ob die Antwort durch die abgerufene Quelle gestützt wird. Im Kundensupport könnte geprüft werden, ob die Antwort den Richtlinien entspricht und die Frage des Kunden tatsächlich beantwortet. In Content-Workflows könnten Tonfall, Klarheit und die Eignung des Entwurfs für den jeweiligen Kanal geprüft werden.
Warum nutzen Unternehmen das LBewertungsmethode „LM als Richter“? KI-Systeme entwickeln sich schneller, als eine manuelle Überprüfung mithalten kann. Zunächst reicht es aus, die Ergebnisse von Hand zu überprüfen. Man sieht sich einige Antworten an, gibt Feedback und korrigiert offensichtliche Fehler. Doch sobald das System Hunderte von Fragen zu zahlreichen Themen bearbeitet, kann die manuelle Überprüfung nicht mehr Schritt halten.
Die Überprüfung durch Menschen ist nach wie vor der beste Weg, um Nuancen zu erkennen, geschäftliche Risiken einzuschätzen und ungewöhnliche Fälle zu behandeln. Die Herausforderung liegt in der Abdeckung. Prüfer können eine Bewertungsmatrix kalibrieren, sensible Ergebnisse überprüfen und Fehler untersuchen, aber sie können nicht jede Antwort nach jedem Update überprüfen.
Traditionelle Kennzahlen wie BLEU, ROUGE und Überprüfungen auf exakte Übereinstimmung sind ebenfalls hilfreich, jedoch nur bei strengen Prüfkriterien wie exakten Antworten, Schemata, Formaten und bekannten Bezeichnungen. Aspekte wie Bedeutung, Realitätsbezug, Übereinstimmung mit den Richtlinien und die allgemeine Qualität der Aufgabe bleiben dabei außer Acht.
LLM-Bewerter können umfangreiche Testdatensätze überprüfen und Eigenschaften bewerten, die von festen Metriken nicht erfasst werden, darunter Relevanz, Realitätsnähe, Tonfall, Sicherheit und die Befolgung von Anweisungen. Teams nutzen sie für Regressionstests, Freigabeprüfungen, Modellvergleiche und die Qualitätsüberwachung nach der Einführung.
Die meisten Unternehmen verlassen sich nicht nur auf eine einzige Methode. Ein gutes Konzept kombiniert deterministische Prüfungen für strenge Regeln, LLM-Entscheidungen für offene Bewertungen und menschliche Eingriffe für die Kalibrierung und Entscheidungen mit hohem Risiko.
| Verfahren | Ideal für | Grenzen | Produktionsrolle |
| Menschliche Überprüfung | Risikoreiche Ergebnisse, geschäftliche Feinheiten, Grenzfälle und Entscheidungen, bei denen der Kontext wichtiger ist als eine Punktzahl | Zu langsam, um nach jeder Bearbeitung der Eingabeaufforderung, jeder Modellaktualisierung, jeder Änderung der Abrufparameter oder jeder Richtlinienaktualisierung wiederholt durchgeführt zu werden | Kalibriert Bewertungskriterien, prüft strittige Fälle, untersucht Fehlschläge und genehmigt besonders wichtige Arbeitsabläufe |
| Herkömmliche Kennzahlen und festgelegte Kontrollen | Tests mit vorgegebenen Antworten, Schemavalidierung, Pflichtfelder, Formatierungsregeln, Bezeichnungen mit exakter Übereinstimmung und strenge Bestanden/Nicht bestanden-Prüfungen | Fehlende Bedeutung, Quellenangaben, politische Angemessenheit, Tonfall und Antworten, die auf mehr als eine Weise richtig sein können | Dienen als „Hard Gates“ für Prüfungen, die jedes Mal bestanden werden müssen |
| LLM-Juroren | Freiformantworten, RAG-Qualitätsprüfungen, Modellvergleich, Befolgung von Anweisungen, Tonfall, Sicherheit und Relevanz | Kann ausführliche Beschreibungen belohnen, sich an eine schwache Bewertungsvorlage halten oder Risiken übersehen, wenn die Vorgabe des Preisrichters vage ist | Geben Sie den Teams ein schnelles Qualitätssignal für umfangreiche Testsuiten und leiten Sie schwache Ergebnisse zur Überprüfung durch einen Menschen weiter |
Nun, mal sehen Wie „LLM als Richter“ funktioniert im Rahmen eines Produktbewertungsprozesses. Der Ablauf erscheint auf den ersten Blick einfach. Ein Modell verfasst eine Antwort, und ein anderes überprüft diese anhand einer Bewertungsrubrik. Der Bewerter prüft die Aufgabe, die Antwort und die Bewertungsrubrik und gibt anschließend ein strukturiertes Ergebnis zurück, das das Team nutzen kann.
Hier ist eine grundlegende Diagramm der Bewertungs-Pipeline für „LLM-as-a-judge“:
Um das besser zu verstehen, stellen Sie sich ein Unternehmen vor, das einen KI-Assistenten für den Kundensupport testet. In der Praxis läuft der Prozess wie folgt ab:
Das System erhält die ursprüngliche Anfrage. In unserem Beispiel möchte ein Kunde wissen, warum seine letzte Rechnung nach einem Tarifwechsel höher ausgefallen ist. Bei anderen Produkten könnte es sich bei der Aufgabe um eine Standardabfrage, eine RAG-Abfrage oder eine Anweisung für einen KI-Agenten handeln.
Die Haupt-KI generiert drei mögliche Antworten auf die Frage des Kunden. Eine Antwort ist kurz und prägnant. Eine andere erläutert die Abrechnungslogik ausführlicher. Die dritte Antwort ist freundlicher formuliert und hat einen eher umgangssprachlichen Ton.
Das System kombiniert die Frage des Kunden, die drei Antwortmöglichkeiten und eine strenge Bewertungsrubrik. Da dieser Assistent RAG nutzt, umfasst er auch die Abrechnungsrichtlinien, sodass der Richter die Fakten überprüfen kann.
Der Prüfer bewertet jede Antwort anhand der Bewertungskriterien. Dabei wird geprüft, ob die Antwort die Rechnung korrekt erläutert, die richtige Quelle verwendet, Spekulationen vermeidet und dem Ton der Marke entspricht. Anschließend gibt der Prüfer ein strukturiertes Ergebnis aus, häufig im JSON-Format, mit einer Punktzahl und einer kurzen Begründung für diese Punktzahl.
Das System wählt die Antwort mit der höchsten Punktzahl aus und sendet sie an den Kunden. Außerdem speichert es die Bewertungen der Prüfer, deren Begründungen, die Version der Eingabeaufforderung sowie den Quellkontext in einer Datenbank. Anhand dieses Protokolls kann das Team nachverfolgen, wie sich die Qualität der Antworten verändert, wenn es das System aktualisiert.
Antworten mit niedriger Punktzahl, Gleichstände und risikoreiche Fälle werden an menschliche Prüfer weitergeleitet. Ein Prüfer könnte beispielsweise feststellen, dass eine Antwort zwar höflich formuliert ist, aber den tatsächlichen Grund für die Preisänderung nicht erläutert. Das Feedback der Prüfer trägt dazu bei, die Bewertungsrubrik zu verbessern und eventuelle blinde Flecken zu beheben, die den Bewertern entgangen sind.
Das System erhält die ursprüngliche Anfrage. In unserem Beispiel möchte ein Kunde wissen, warum seine letzte Rechnung nach einem Tarifwechsel höher ausgefallen ist. Bei anderen Produkten könnte es sich bei der Aufgabe um eine Standardabfrage, eine RAG-Abfrage oder eine Anweisung für einen KI-Agenten handeln.
Die Haupt-KI generiert drei mögliche Antworten auf die Frage des Kunden. Eine Antwort ist kurz und prägnant. Eine andere erläutert die Abrechnungslogik ausführlicher. Die dritte Antwort ist freundlicher formuliert und hat einen eher umgangssprachlichen Ton.
Das System kombiniert die Frage des Kunden, die drei Antwortmöglichkeiten und eine strenge Bewertungsrubrik. Da dieser Assistent RAG nutzt, umfasst er auch die Abrechnungsrichtlinien, sodass der Richter die Fakten überprüfen kann.
Der Prüfer bewertet jede Antwort anhand der Bewertungskriterien. Dabei wird geprüft, ob die Antwort die Rechnung korrekt erläutert, die richtige Quelle verwendet, Spekulationen vermeidet und dem Ton der Marke entspricht. Anschließend gibt der Prüfer ein strukturiertes Ergebnis aus, häufig im JSON-Format, mit einer Punktzahl und einer kurzen Begründung für diese Punktzahl.
Das System wählt die Antwort mit der höchsten Punktzahl aus und sendet sie an den Kunden. Außerdem speichert es die Bewertungen der Prüfer, deren Begründungen, die Version der Eingabeaufforderung sowie den Quellkontext in einer Datenbank. Anhand dieses Protokolls kann das Team nachverfolgen, wie sich die Qualität der Antworten verändert, wenn es das System aktualisiert.
Antworten mit niedriger Punktzahl, Gleichstände und risikoreiche Fälle werden an menschliche Prüfer weitergeleitet. Ein Prüfer könnte beispielsweise feststellen, dass eine Antwort zwar höflich formuliert ist, aber den tatsächlichen Grund für die Preisänderung nicht erläutert. Das Feedback der Prüfer trägt dazu bei, die Bewertungsrubrik zu verbessern und eventuelle blinde Flecken zu beheben, die den Bewertern entgangen sind.
Menschen überprüfen oft ihre eigene Arbeit. Wir lesen sie noch einmal durch, entdecken Schwachstellen und nehmen Verbesserungen vor. Warum sollte das bei einem Modell anders sein?
Es mag vernünftig erscheinen, ein Modell seinen eigenen Text überprüfen und bewerten zu lassen. In der Realität kann es jedoch vorkommen, dass ein Modell, wenn es seinen eigenen Text überprüft, eine flüssige Formulierung mit echter Qualität verwechselt. Dies wird als „Selbstoptimierungsverzerrung“ bezeichnet. Das Modell übersieht möglicherweise schwache Logik, wiederholte Formulierungen oder langweilige Schlussformulierungen, da diese denselben Mustern entsprechen, die es beim Verfassen der Antwort verwendet hat. Infolgedessen kann seine eigene Ausgabe besser aussehen, als sie tatsächlich ist.
Sergei Molchanov, Leiter des Geschäftsbereichs bei Innowise, stieß beispielsweise bei der Entwicklung einer automatisierten Content-Engine für X-Beiträge auf dieses Problem. Jeden Morgen schickte ihm das System drei Varianten eines Beitrags über Telegram. Er wählte eine davon aus, überarbeitete sie manchmal und veröffentlichte sie manuell. Die Frage war einfach: Welcher Entwurf war eigentlich der beste?
Zunächst bat Sergei das Generator-Modell, seine eigenen Entwürfe anhand einer Bewertungsrubrik zu bewerten. Dies lieferte ihm jedoch keine aussagekräftigen Ergebnisse. Die Bewertungen lagen dicht beieinander, im Bereich von 36 bis 40. Ein deutlich schwächerer Entwurf erzielte nur eine geringfügig niedrigere Punktzahl als der Favorit, sodass die Bewertung die Entscheidung einfacher erscheinen ließ, als sie tatsächlich war.
Das Ergebnis änderte sich, als Sergei die Rollen aufteilte. Ein Modell verfasste die Beiträge, während ein separates Bewertungsmodell diese anhand einer 9-teiligen Bewertungsrubrik bewertete. Danach erhielten ähnliche Entwürfe unterschiedlichere Bewertungen, beispielsweise 26, 32 und 39. Der separate Bewerter bemerkte Probleme, die der Generator geglättet hatte: Absicherungswörter wie könnte zugänglich zu machen und wahrscheinlich, aus früheren Beiträgen wiederholte Metaphern und nichtssagende Schlussformulierungen wie Die Zeit wird es zeigen.
Unterschiedliche Bewertungsaufgaben erfordern unterschiedliche Vorgehensweisen. Manche Teams vergleichen die Antworten mit einer bekannten Referenz, während andere Antworten bewerten, bei denen mehrere Varianten möglich sind. Aus diesem Grund kommen in Produktionsabläufen häufig mehrere tArten von LLM als Richter Systeme.
Comparator-Bewerter vergleichen die Ausgabe einer KI mit einer verifizierten Referenzantwort, die auch als „Ground Truth“ bezeichnet wird. Sie prüfen, ob die Antwort den Fakten entspricht, der richtigen Logik folgt oder das erwartete Ergebnis liefert.
Dieser Ansatz funktioniert am besten, wenn es eine eindeutige Antwort gibt. So muss beispielsweise ein Support-Bot möglicherweise die genaue Garantiebestimmung angeben, oder ein Code-Assistent muss einen bestimmten Algorithmus anwenden. Auch bei Benchmark-Tests gibt es oft nur ein einziges korrektes Ergebnis, das überprüft werden muss.
Der Nachteil ist, dass Komparator-Bewertungssysteme nicht sehr flexibel sind. Bei Aufgaben, bei denen mehr als eine Antwort richtig ist, können sie zu streng sein, insbesondere wenn Formulierung, Tonfall oder Kontext eine wichtige Rolle spielen.
Bei vielen KI-Aufgaben gibt es nicht nur eine einzige richtige Antwort. So können beispielsweise eine Kundenantwort, eine Zusammenfassung oder ein generierter Beitrag auf unterschiedliche Weise gut sein. In diesem Fall nutzt der Bewerter eine Bewertungsrubrik anstelle einer Referenzantwort, um das Ergebnis zu bewerten.
Offene Bewertungskriterien eignen sich gut zur Überprüfung von Tonfall, Klarheit, Vollständigkeit, Nützlichkeit und inhaltlicher Qualität. Der Bewerter prüft, ob die Antwort der Aufgabe entspricht, die wichtigsten Punkte abdeckt und für den vorgesehenen Verwendungszweck geeignet ist.
Die Bewertungsrubrik ist hier besonders wichtig. Wenn die Anweisung lediglich lautet: “Bewerten Sie die Qualität der Antwort”, hat der Bewerter zu viel Spielraum für Spekulationen. Wenn die Bewertungsrubrik jedoch besagt: “Prüfen Sie, ob die Antwort alle geforderten Schritte abdeckt und unbegründete Behauptungen vermeidet”, ist die Bewertung aussagekräftiger.
Vergleichsjuroren prüfen mehrere Ergebnisse für dieselbe Aufgabe und wählen das beste aus. Manchmal bedeutet dies, zwei Antworten nebeneinander zu vergleichen oder mehrere Optionen zu bewerten, um die beste Wahl zu ermitteln.
Sergei nutzte dieses Verfahren in seiner Content-Engine. Der Verfasser erstellte drei Versionen eines X-Beitrags für denselben Auftrag. Der Juror bewertete diese anhand derselben Bewertungsmatrix und half dabei, den überzeugendsten Entwurf zu ermitteln.
Diese Art der Bewertung eignet sich gut für Schnelltests, die Modellauswahl und inhaltliche Arbeitsabläufe, bei denen das Team zwischen verschiedenen Versionen wählen muss. Allerdings können die Reihenfolge oder die Länge der Antworten die Ergebnisse weiterhin beeinflussen, weshalb Teams die Optionen häufig in zufälliger Reihenfolge anzeigen und die Entscheidungen der Bewerter mit einer manuellen Überprüfung vergleichen.
Deshalb ist Bewertungsmethodik für LLM-as-a-Judge ist für die RAG-Bewertung nützlich. So kann das Team jeden Teil der Pipeline separat überprüfen, anstatt nur das Endergebnis zu betrachten und zu versuchen, zu erraten, was schiefgelaufen ist. Diese schrittweise Überprüfung wird oft als RAG-Triade bezeichnet.
Diese Unterscheidung macht die Fehlersuche übersichtlicher. Ein Problem bei der Informationsgewinnung bedeutet, dass das System nicht das richtige Material zurückgegeben hat. Ein Problem mit der Realitätsnähe bedeutet, dass das richtige Material zwar vorhanden war, das Modell sich aber nicht eng genug daran gehalten hat. Wenn die Antwort nur oberflächlich relevant ist, muss das Team überprüfen, wie das Modell den Kontext in eine Antwort umsetzt.
LLM-Richter helfen auch beim Modelltraining. Ihre Aufgabe dabei ist es, ein Präferenzsignal zu erzeugen – einen Trainingshinweis, der der Schleife mitteilt, welche Antwort höher eingestuft werden sollte und warum.
Im Jahr Verstärkendes Lernen anhand von menschlichem Feedback, auch RLHF genannt: Dieses Signal geht in der Regel von Menschen aus. Bewerter vergleichen zwei Musterantworten und wählen die bessere aus. Diese Entscheidungen fließen als Präferenzdaten in ein Belohnungsmodell ein, das später dazu beiträgt, dass der Trainingszyklus ähnliche Antworten bevorzugt.
Der Engpass liegt im Umfang. Je größer die Stichprobe wird, desto schwieriger wird es für die Prüfer, jedes Paar im gleichen Tempo zu überprüfen. Ein LLM-Prüfer hilft dabei, die Ergebnisse zunächst zu sortieren, sodass sich die Prüfer auf unklare Fälle oder Beispiele konzentrieren können, bei denen eine falsche Präferenz dem Modell schaden könnte.
Optimierung der relativen Richtlinien auf Gruppenebene, auch GRPO genannt, arbeitet mit einer Gruppe von Antworten. Das Modell generiert mehrere Antworten auf dieselbe Eingabe, und die Trainingsschleife benötigt für jede Antwort in dieser Gruppe ein Belohnungssignal. GRPO benötigt nicht immer einen LLM-Bewerter. Bei Mathematikaufgaben oder Programmieraufgaben kann eine Regel oder ein Verifizierer die Belohnung bereitstellen. Bei Aufgaben ohne eine festgelegte Antwort bewertet ein Prüfer die Antworten anhand einer Bewertungsrubrik. Dies ist hilfreich, wenn die Qualität von der Einhaltung von Richtlinien und der Befolgung von Anweisungen abhängt.
Es besteht ein ähnliches Risiko wie bei der Produktbewertung: Sobald die Bewertungen der Juroren in das Training einfließen, beginnt das Modell, aus den Präferenzen der Juroren zu lernen. Wenn ein Juror ausführliche Beschreibungen belohnt, lernt das Modell möglicherweise, sich ausführlich auszudrücken. Wenn er unsichere Abkürzungen übersieht, wiederholt das Modell diese möglicherweise. Jurorenbasierte Belohnungen müssen kalibriert werden, bevor sie sich auf das Training auswirken.
Bei Aufgaben, die logisches Denken erfordern, können bei der Bewertung anhand der Endantwort schwerwiegende Fehler übersehen werden. Ein Modell könnte nach einem falschen Schritt zwar das richtige Ergebnis erzielen. In der Programmierung oder Mathematik ist dieser versteckte Fehler jedoch von Bedeutung, da derselbe Schritt bei einer schwierigeren Aufgabe zum Scheitern führen könnte.
Prozessbelohnungsmodelle, oder PRMs, bewerten den Denkweg, während das Modell auf die endgültige Antwort hinarbeitet. Ein Prüfer auf Prozessebene überprüft jeden Schritt und weist darauf hin, wo die Logik nicht mehr stimmt.
Sobald die Bewertungen der Juroren in das Training einfließen, beginnen sie, das Verhalten des Modells zu beeinflussen. Die Teams sollten den Juror testen, die Mitarbeiter weiterhin mit risikoreichen Beispielen befassen und die Bewertungsrubrik aktualisieren, sobald das Modell anfängt, falsche Gewohnheiten zu erlernen.
Nachdem wir nun erläutert haben, wie diese Systeme aufgebaut sind und wie sie sich in einem realen Bewertungsprozess verhalten, wollen wir uns nun den tatsächlichen Vorteilen zuwenden. Warum sollten Sie sich überhaupt die Mühe machen, einen LLM-Bewertungsmechanismus in Ihrem Projekt einzurichten, und was haben Sie davon?
Menschliche QA-Teams stoßen an ihre Grenzen, was die Anzahl der Chat-Protokolle oder Generierungen angeht, die sie pro Tag lesen können. Ein LLM-Prüfer hilft dabei, wesentlich größere Stichproben zu überprüfen, darunter auch Produktionsdaten, deren manuelle Überprüfung zu kostspielig wäre. Dadurch haben die Teams bessere Chancen, Qualitätsprobleme aufzudecken, die bei kleinen manuellen Überprüfungen übersehen wurden.
Die Bewertung durch einen Richter dauert in der Regel nur wenige Sekunden. Teams können sie in ihre CI/CD-Prüfungen integrieren oder als Filter einsetzen, bevor eine Nachricht an den Nutzer gesendet wird. Entwickler sehen sofort, was sich nach einer kleinen Anpassung am Prompt geändert hat, ohne tagelang auf eine manuelle Überprüfung warten zu müssen.
Herkömmliche Softwaremetriken basieren auf exakten Übereinstimmungen von Schlüsselwörtern oder Zeichenüberlappungen. Wenn ein Modell beispielsweise sagt: “Der Kunde ist zufrieden” statt “Der Nutzer ist zufrieden”,” Ein strenges Bewertungsschema würde dies möglicherweise als falsch einstufen. Ein LLM-Prüfer kann erkennen, dass die Bedeutung nahe genug liegt, und prüfen, ob die Antwort den Bewertungskriterien entspricht. Das ist besonders wichtig für Tonfall und Struktur, wo reguläre Ausdrücke (Regex) fast keine aussagekräftigen Hinweise liefern.
Manuelle Annotation kann kostspielig sein, insbesondere bei komplexen Denk- oder Programmieraufgaben, für die erfahrene Prüfer benötigt werden. Die Überprüfung über eine LLM-API kostet pro Beispiel in der Regel deutlich weniger.
In einem kürzlich durchgeführten Projekt erstellte ein automatisiertes E-Mail-System für den Kundensupport drei Entwürfe für höfliche Antworten, was etwa $0,05 an API-Token kostete. Die Beauftragung eines Gutachters, der alle drei Entwürfe anhand unserer Markenrichtlinien prüfte und den besten auswählte, kostete etwa $0.01. Dieser Prüfungsschritt kostete etwa einen Cent.
Menschliche Prüfer werden müde. So kann es beispielsweise vorkommen, dass ein Annotator einen Text am späten Freitag anders bewertet als am frühen Montag. LLM-Bewerter haben zwar ihre eigenen technischen Vorlieben, wie zum Beispiel eine Präferenz für längere Texte, aber sie werden nicht müde. Mit festen Einstellungen und einer erprobten Bewertungsrubrik wenden sie die gleichen Kriterien konsequenter an als ein menschliches Team, das eine lange Warteschlange abarbeitet.
Wenn Sie ändern, worauf Ihr System prüft, müssen Sie oft nicht Hunderte von Zeilen Python-Code neu schreiben. In vielen Fällen aktualisieren Sie einfach die Bewertungskriterien und führen den Test erneut durch. So lässt sich beispielsweise ein Bewertungskriterium, das die sachliche Richtigkeit prüft, so anpassen, dass es nun Empathie und die Markenstimme bewertet.
"Sie sollten einen LLM-Richter nicht einfach als „Black-Box“-Qualitätsprüfer betrachten. Das System funktioniert am besten, wenn Ihr Team sich an eine klare Bewertungsrubrik hält, jede Punktzahl dokumentiert und seine Entscheidungen mit menschlichen Bewertungen vergleicht. Andernfalls erhalten Sie lediglich Zahlen, anstatt echte Einblicke in die Qualität.."
Leiter der technischen KI-Expertise
Das Konzept „LLM als Richter“ ist zwar nützlich, hat aber auch seine Schwächen. Wenn man eine KI eine andere bewerten lässt, entstehen neue blinde Flecken im Bewertungsprozess. Ohne sorgfältige Überwachung könnte das System schwache Antworten mit hohen Punktzahlen bewerten.
Hier sind die wichtigsten Fallstricke, auf die ich bei der Einrichtung eines automatisierten Bewerters achte.
Wenn ein Richter mehrere Entwürfe gleichzeitig vergleicht, könnte er den ersten oder letzten Entwurf bevorzugen, den er sieht. Manchmal ist die Reihenfolge, in der ein Entwurf erscheint, wichtiger als dessen Qualität. Um dies zu vermeiden, sollten Sie die Reihenfolge der Entwürfe durcheinanderbringen, bevor Sie sie an den Richter senden.
LLMs bevorzugen oft längere Antworten. Ein Prüfer könnte eine lange, umständliche Antwort höher bewerten als eine kurze, klare, selbst wenn die kürzere Antwort hilfreicher ist. Um dies zu verhindern, sollte die Bewertungsrubrik den Prüfer anweisen, unnötige Wortreichheit mit Punktabzug zu ahnden.
Ein Bewertungsmodell könnte Antworten bevorzugen, die von seiner eigenen Modellfamilie verfasst wurden. Wenn Sie beispielsweise GPT-5.5 als Bewertungsmodell verwenden, bewertet es Antworten von GPT-5.5 möglicherweise höher als solche von Claude Sonnet 5 oder Gemini. Das Bewertungsmodell bevorzugt oft vertraute Formulierungen und Strukturen, selbst wenn eine andere Antwort besser ist. Um fairere Ergebnisse zu erzielen, verwenden Teams in der Regel mehrere Bewertungsmodelle und vergleichen deren Bewertungen.
Schon eine kleine Änderung in der Rubrik kann sich auf die Endnoten auswirken. Wenn man beispielsweise die Anweisung von “Bewerten Sie die Nützlichkeit” in “Beurteilen Sie, wie nützlich dies ist” ändert, könnte sich die durchschnittliche Bestehensquote von 80% auf 60% verringern. Der Prüfer achtet sehr darauf, wie Sie die Regeln formulieren; daher sollten die Aufgabenstellungen in verschiedenen Versionen erstellt und von Menschen überprüft werden.
Wenn Sie eine gehostete API wie GPT-5.5 oder Claude Sonnet 5 als Bewertungsinstrument verwenden, kann es vorkommen, dass der Anbieter das Modell ohne Vorankündigung aktualisiert. In diesem Fall können sich Ihre Referenzwerte von einem Tag auf den anderen ändern. Eine Antwort, die zuvor mit 4 von 5 Punkten bewertet wurde, erhält nun möglicherweise nur noch 3 Punkte, was den Vergleich mit früheren Ergebnissen erschwert.
Wenn Sie ein Generatormodell kontinuierlich anhand des Feedbacks desselben LLM-Bewerter trainieren, könnte der Generator lernen, das System auszunutzen. Anstatt die Antworten für die Nutzer zu verbessern, passt er sich den Wörtern und Formaten an, die der Bewerter bevorzugt. Er könnte sogar den Tonfall kopieren, der höhere Bewertungen erzielt. Die Bewertungen steigen zwar, doch die tatsächliche Produktqualität kann sinken.
Die Einbindung eines LLM-Bewerters in Ihren Arbeitsablauf ist einfach, doch es ist schwieriger, dessen Bewertungen so zuverlässig zu gestalten, dass sie für Veröffentlichungsentscheidungen herangezogen werden können. Wenn Sie lediglich eine einfache Eingabeaufforderung verwenden und das Modell bitten, diesen Text zu bewerten, fallen die Ergebnisse oft uneinheitlich aus.
Beim Einrichten dieser Pipelines habe ich beliebte LLM-as-a-Judge-Techniken die dazu beitragen, dass die Judge-Modelle bei realen Bewertungsaufgaben stabil bleiben.
Es ist wichtig, die Bewertungsergebnisse von Anfang an zu strukturieren. Anstatt frei formulierte Kommentare zu verwenden, sollte das Modell für jedes Kriterium eine Punktzahl, eine kurze Erläuterung und eine Endnote in einem Format ausgeben, das Ihre Pipeline problemlos verarbeiten kann.
Vermeiden Sie es beispielsweise, dass der Richter freie Antworten wie “Dieser Text ist ziemlich gut, ich gebe ihm eine 8 von 10” zurückgibt. Solche Antworten lassen sich programmtechnisch nur schwer verarbeiten. Lassen Sie das Modell stattdessen ein striktes JSON-Schema mit strukturierten Ausgaben verwenden oder nutzen Sie Tool-Aufrufe und Kennzahlen für LLM-as-a-Judge.
Unklare Anweisungen führen zu unklaren Bewertungen. Wenn Sie beispielsweise einen Juroren bitten, “Kreativität” auf einer Skala von 1 bis 5 zu bewerten, wird das Modell lediglich raten. Verwenden Sie stattdessen konkrete Kriterien, die den Interpretationsspielraum einschränken.
Wenn ich beispielsweise schriftliche Artikel oder Beiträge bewerte, verzichte ich auf allgemeine Qualitätsbewertungen. Stattdessen unterteile ich die Bewertungsrubrik in kleinere Prüfpunkte wie diese:
Es ist wichtig, die Bewertungsergebnisse von Anfang an zu strukturieren. Anstatt frei formulierte Kommentare zu verwenden, sollte das Modell für jedes Kriterium eine Punktzahl, eine kurze Erläuterung und eine Endnote in einem Format ausgeben, das Ihre Pipeline problemlos verarbeiten kann.
Vermeiden Sie es beispielsweise, dass der Richter freie Antworten wie “Dieser Text ist ziemlich gut, ich gebe ihm eine 8 von 10” zurückgibt. Solche Antworten lassen sich programmtechnisch nur schwer verarbeiten. Lassen Sie das Modell stattdessen ein striktes JSON-Schema mit strukturierten Ausgaben verwenden oder nutzen Sie Tool-Aufrufe und Kennzahlen für LLM-as-a-Judge.
Halten Sie den Generator und den Bewerter voneinander getrennt. Dies ist eine der zentralen Kontrollmaßnahmen in einem „LLM-as-a-Judge“-Setup, da das Modell, das die Antwort verfasst hat, möglicherweise seine eigenen Muster übersieht oder vertraute Formulierungen überbewertet. Wenn Sie beispielsweise GPT-5.5 zur Textgenerierung verwenden, setzen Sie Claude Sonnet 5 als Bewerter ein – oder umgekehrt. Sie können zur Bewertung auch ein kleineres, feinabgestimmtes Open-Weight-Modell verwenden, wie beispielsweise eine spezialisierte Variante von Llama 4 Maverick oder Llama 4 Scout. Dieser Ansatz kann dazu beitragen, die Kosten zu senken und die Tendenz zur Selbstoptimierung zu verringern.
Wie wir im Abschnitt „Risiken“ erläutert haben, können Modelle eine Positionsverzerrung aufweisen. Um dies zu vermeiden, sollten Sie die Reihenfolge der Antworten bei jedem Vergleich zufällig anordnen. Bei der Bewertung von Paaren oder mehreren Ergebnissen könnte ein Modell die erste Antwort allein aufgrund ihrer Position auswählen. Mischen Sie die Optionen vor der Auswertung und ordnen Sie die ausgewählte Antwort anschließend in Ihrem Code wieder dem ursprünglichen Modell oder der ursprünglichen Eingabeaufforderung zu. Versuchen Sie bei wichtigen Tests, die Reihenfolge zu vertauschen, und notieren Sie sich alle Fälle, in denen sich der Gewinner nach der Umstellung ändert.
Um systemische Verzerrungen zu vermeiden, stellen Sie sicher, dass der Prüfer keine Metadaten zur Textgenerierung einsehen kann. Der Prüfer sollte nicht wissen, welches Modell den Text verfasst hat oder welche Eingabeaufforderung verwendet wurde. Stellen Sie dem Prüfer lediglich die Rohdaten und die Bewertungsrubrik zur Verfügung.
Das Verfassen und Bewerten von Texten erfordern unterschiedliche Modelleinstellungen. Verwenden Sie beim Generieren von Texten eine höhere Temperatur, beispielsweise 0,7 bis 0,9, um Vielfalt und einen natürlichen Lesefluss zu fördern. Stellen Sie für die Bewertung die Temperatur niedrig ein, häufig auf 0, damit das Modell für dieselbe Eingabe konsistentere Bewertungen liefert.
Beachten Sie jedoch, dass eine Temperatur von 0 wiederholte Überprüfungen nur dann stabiler macht, wenn die Eingabe unverändert bleibt. Dies behebt weder die Empfindlichkeit der Eingabeaufforderung noch Änderungen an der Bewertungsrubrik noch Positionsverzerrungen. Wenn Sie die Bewertungsrubrik umschreiben oder die Reihenfolge der Antworten vertauschen, kann sich die Punktzahl weiterhin ändern.
Wenn OpenAI, Anthropic oder Google ihre Modell-Endpunkte aktualisieren, kann es sein, dass Ihr Bewertungsmodell nachsichtiger oder strenger wird. Um dies zu erkennen, erstellen Sie einen kleinen Referenzdatensatz mit 50 bis 100 historischen Antworten, die bereits von Menschen bewertet und genehmigt wurden. Lassen Sie Ihren LLM-Bewertungsalgorithmus einmal pro Woche diesen Datensatz durchlaufen. Wenn die Bewertungen plötzlich steigen oder fallen, ist das Modell möglicherweise abgedriftet, und Sie müssen möglicherweise Ihre Prompts anpassen oder Ihre API auf eine statische Version festlegen.
Ein automatisierter Bewerter ist ein Hilfsmittel und kein Ersatz für die menschliche Überprüfung. Verfolgen Sie die Übereinstimmungsrate zwischen dem LLM-Bewerter und Ihrem menschlichen QA-Team. Wenn Sie eine Übereinstimmungsrate von 85% bis 90% als internes Ziel verwenden, betrachten Sie diese eher als Indikator für den Zustand des Systems denn als allgemeingültigen Standard. Sollte diese Übereinstimmungsrate sinken, haben sich möglicherweise Ihre Produktanforderungen geändert, und es ist an der Zeit, die Bewertungsrubrik anzupassen.
Die Kenntnis der Risiken von LLM-Bewertungsmodellen ist nur dann von Nutzen, wenn das System über Kontrollmechanismen verfügt, um diese Risiken abzufangen. So könnte ein Bewertungsmodell beispielsweise die erste Antwort bevorzugen, die es sieht, oder längere Antworten höher bewerten. Manchmal kann eine Modellaktualisierung die Bewertungen verändern, auch wenn sich Ihr Produkt überhaupt nicht geändert hat.
Im Folgenden sind die Vorgehensweisen aufgeführt, die ich am häufigsten anwende, um Verzerrungen zu reduzieren und unzureichende Bewertungsdaten zu erkennen.
Achten Sie beim Vergleich der Ergebnisse darauf, dass der Prüfer nicht weiß, welcher Entwurf von welcher Eingabeaufforderung oder welchem Modell stammt. Mischen Sie die Optionen immer, bevor Sie sie an den Prüfer senden. Wenn der Prüfer “Option A” auswählt, sollte Ihr Code diese Auswahl stillschweigend der tatsächlichen Modellvariante zuordnen.
Diese Regel gilt auch für Metadaten. Die Bewertungsvorlage sollte ausschließlich den Rohtext und die Bewertungsrubrik enthalten, nicht jedoch den Modellnamen oder Details zur Generierung. Wenn der Bewerter Angaben wie Modellgröße, Tokenanzahl oder Verarbeitungszeit sieht, könnte er diese als Anhaltspunkte für die Qualitätsbeurteilung heranziehen.
Für wichtige Produktionskennzahlen reicht ein einziges Bewertungsmodell möglicherweise nicht aus. So könnte beispielsweise ein GPT-basiertes Bewertungsmodell andere Präferenzen haben als Claude oder ein feinabgestimmtes Llama-Modell.
Bei kritischen Bewertungen ziehe ich es vor, dieselbe Eingabe an mehrere Bewertungsmodelle zu senden und deren Bewertungen zu vergleichen. Sie können den Durchschnitt der Bewertungen bilden oder nach dem Mehrheitsprinzip vorgehen, sollten jedoch sicherstellen, dass die Bewertungsmodelle unabhängig voneinander sind. Sind die Bewertungsmodelle einander zu ähnlich, könnte das Gremium zuverlässiger erscheinen, als es tatsächlich ist. Achten Sie besonders auf Meinungsverschiedenheiten. Wenn zwei Bewerter eine Bewertung von 5 von 5 vergeben und ein anderer 1 von 5, leiten Sie diesen Fall zur Überprüfung an einen Menschen weiter. Große Unterschiede deuten in der Regel darauf hin, dass die Bewertungsrubrik zu viel Interpretationsspielraum lässt.
Ein automatisierter Bewerter sollte sich an die Art und Weise halten, wie geschulte Personen die Bewertungsrubrik anwenden. Um dies zu überprüfen, wählen Sie eine zufällige Stichprobe von bewerteten Protokollen mit dem Code 5% aus und lassen Sie Ihr internes Team diese blind anhand derselben Bewertungsrubrik bewerten.
Vergleichen Sie anschließend die Ergebnisse. Manche Teams verwenden den Cohen-Kappa-Koeffizienten, während andere lediglich den Übereinstimmungsprozentsatz betrachten. Wenn Ihr Ziel eine Übereinstimmung von 85% ist und der Bewerter diesen Wert unterschreitet, liegt das Problem in der Regel entweder daran, dass die Bewertungsrubrik nicht mehr klar genug ist, oder daran, dass sich Ihre Produktanforderungen geändert haben.
Bei manchen Arbeitsabläufen muss ein weiterer Aspekt berücksichtigt werden: der Speicherbedarf. Dies ist wichtig für Content-Engines, Generatoren für Tagesberichte und andere Systeme, die im Laufe der Zeit ähnliche Ergebnisse erzeugen.
Ein einzelner Beitrag mag für sich genommen in Ordnung sein. Wenn der Autor jedoch drei Tage hintereinander dieselbe Analogie verwendet, wird dies den Nutzern auffallen. Bei einer einmaligen Überprüfung durch einen Moderator könnte dies übersehen werden.
Für diese Fälle stelle ich dem Richter ein tagesübergreifendes Gedächtnis zur Verfügung. Bei der Überprüfung der heutigen Entwürfe enthält die Eingabeaufforderung einen fortlaufenden Vektorindex oder eine kurze Zusammenfassung der genehmigten Ergebnisse der letzten 7 bis 14 Tage. So kann der Richter wiederholte Metaphern, wiederverwendete Aufhänger, Füllwörter und schwache Schlusssätze erkennen, die bei der Überprüfung eines einzelnen Dokuments übersehen würden.
Wo setzen Entwicklerteams diesen Ansatz ein? Im vergangenen Jahr habe ich beobachtet, wie LLM-Bewertungssysteme sich von kleinen Auswertungsskripten zu produktionsreifen KI-Workflows entwickelt haben.
Schauen wir uns einmal die wichtigsten Bereiche an, in denen sie meiner Meinung nach heute zum Einsatz kommen.
Wie bereits erwähnt, sind RAG-Systeme ein klarer Anwendungsfall für automatisierte Prüfer. Teams setzen Prüfer ein, um zu überprüfen, ob der Retriever den richtigen Kontext findet und ob die endgültige Antwort auf den Quelldokumenten basiert. Dies hilft dabei, unbegründete Behauptungen aufzudecken, bevor sie zu „Halluzinationen“ werden.
Bei automatisierten Content-Engines ist es selten ratsam, den ersten Entwurf eines Modells direkt zu veröffentlichen. Stattdessen erstellen Pipelines mehrere Versionen und lassen diese von einem Prüfer anhand einer Bewertungsrubrik vergleichen. Der Prüfer wählt den besten Entwurf aus und weist vor der Veröffentlichung auf allgemeine Formulierungen hin.
Support-Bots können Probleme verursachen, wenn sie vom Skript abweichen. Die Teams setzen Prüfer ein, die nach dem Gespräch umfangreiche Chat-Protokolle durchsehen. Der Prüfer überprüft, ob der Bot die Frage des Nutzers beantwortet und die Unternehmensrichtlinien eingehalten hat, darunter Rückerstattungsrichtlinien, Eskalationsschritte und Zusagen zu Funktionen.
Herkömmliche Blocklisten für Schlüsselwörter und Regex-Filter lassen sich leicht umgehen. Ein LLM-Beurteiler berücksichtigt Bedeutung und Kontext, was Moderationsteams dabei hilft, schädliche Inhalte zu erkennen, die keine offensichtlichen verbotenen Wörter enthalten. Es kann sowohl Nutzeranfragen als auch Modellantworten anhand der Richtlinien überprüfen.
Da KI-Agenten mittlerweile mithilfe von Tools und APIs Maßnahmen ergreifen, reicht es nicht mehr aus, nur den endgültigen Text zu bewerten. In diesen Arbeitsabläufen überprüfen die Prüfer den gesamten Prozess. Sie kontrollieren den Einsatz der Tools, den Fortschritt der Aufgabe und ob der Agent die Aufgabe ohne Probleme abgeschlossen hat.
Sie sollten ein Judge-Modell nicht allein aufgrund seiner Benchmark-Ergebnisse auswählen. Welches Modell das beste ist, hängt von der jeweiligen Aufgabe ab, für die Sie es benötigen. Ein Modell, das sich beispielsweise gut für die schnelle Auswertung von Support-Protokollen eignet, ist möglicherweise nicht leistungsfähig genug, um Präferenzdaten während des Trainings zu verarbeiten. Ein Spitzenmodell eignet sich zwar hervorragend für risikoreiche Auswertungen, aber es könnte zu kostspielig sein, es jede Nacht für Tausende von Ausgabedaten einzusetzen.
Deshalb achte ich in der Regel zunächst auf vier Dinge: Was muss der Richter bewerten, wie viel Kontext ist dafür erforderlich, wie schnell sollte das Ergebnis vorliegen und was passiert, wenn das Ergebnis falsch ist?.
Generierungs- und Auswertungsaufgaben erfordern oft unterschiedliche Modelleinstellungen und Modellstärken.
Das Generieren von Texten ist eine kreative Aufgabe. Dafür benötigt man in der Regel ein leistungsstarkes Modell wie GPT-5.5, Claude Sonnet 5 oder Claude Opus 4.8, das auf eine höhere „Temperatur“ eingestellt ist, damit der Text natürlicher klingt.
Das Bewerten ist eine gezielte Bewertungsaufgabe, doch in der Regel steht die Qualität an erster Stelle. Bei Freigabekriterien, Präferenzdaten, RAG-Prüfungen oder risikoreichen Ergebnissen setzen Teams häufig das leistungsstärkste Bewertungsmodell ein, das sie sich leisten können. Schnellere Modelle eignen sich für risikoarme Stapelprüfungen, nachdem sie anhand von durch Menschen geprüften Beispielen kalibriert wurden.
Bei der Auswahl eines Bewertungsmodells sollten Sie zunächst die Kosten einer falschen Bewertung berücksichtigen. In vielen LLM-Bewertungskonfigurationen ist die Qualität der Bewertung wichtiger als Geschwindigkeit oder Token-Kosten, insbesondere wenn die Bewertungen Auswirkungen auf Freigabeentscheidungen, Trainingsdaten oder benutzerseitige Sicherheitsvorkehrungen haben.
Man sollte nicht erst Rohtext analysieren müssen, um herauszufinden, welche Punktzahl der Bewerter vergeben hat. Bei der Auswahl eines Bewertungsmodells ist es unerlässlich, dass dieses einem strengen Schema folgt. Hierfür können Sie beispielsweise die „Structured Outputs“ von OpenAI, „Tool Use“ von Anthropic oder ein Open-Source-Framework wie Outlines verwenden. In jedem Fall sollte das Modell eine saubere JSON-Antwort zurückgeben. Wenn ein Modell zwar kostengünstig und schnell ist, aber häufig die JSON-Formatierung verletzt, lässt es sich nur schwer in einer automatisierten Bewertungs-Pipeline einsetzen.
Man muss sich nicht immer für nur ein Modell entscheiden. Bei wichtigen Aufgaben setze ich in der Regel auf einen Ensemble-Ansatz. Anstatt mich auf ein einziges teures Modell zu verlassen, sende ich dieselbe Bewertungsaufgabe an mehrere Bewertungsmodelle verschiedener Anbieter, wie beispielsweise OpenAI, Anthropic und eine Open-Source-Option.
Anschließend können Sie die Bewertungen vergleichen, einen Durchschnittswert bilden oder eine Mehrheitsentscheidung treffen. Dies trägt dazu bei, Verzerrungen durch einzelne Juroren zu verringern. Allerdings müssen sich die Juroren ausreichend voneinander unterscheiden. Wenn sie alle dieselben Fehler machen, führt die Bildung eines Durchschnittswerts oder eine Abstimmung lediglich dazu, dass dieselbe Verzerrung wiederholt wird. Deshalb achte ich auch auf Meinungsverschiedenheiten zwischen den Juroren und leite unklare Fälle zur Überprüfung an einen Menschen weiter.
„LLM-as-a-judge“ ist nach wie vor ein neuer Ansatz zur Bewertung von Modellen. Viele Teams nutzen bereits „Judges“ für die Bewertung, den Vergleich und RAG-Prüfungen, doch deren Einrichtung ist nach wie vor mit einem hohen manuellen Aufwand verbunden. Der nächste Schritt besteht darin, die Zuverlässigkeit von Bewertungssystemen zu erhöhen. Sie sollten anzeigen, wenn eine Bewertung unsicher ist, Tools zur Überprüfung der Ergebnisse nutzen und in bestimmten Bereichen bessere Leistungen erbringen.
Das sind die Bereiche, auf die ich mein Hauptaugenmerk richte.
Derzeit neigen LLM-Bewertungsinstanzen dazu, zu viel Sicherheit auszustrahlen. Erhält eine Bewertungsinstanz eine unklare Vorgabe, vergibt sie möglicherweise dennoch eine eindeutige Punktzahl, anstatt anzugeben, dass der Fall unklar ist.
Ich gehe davon aus, dass immer mehr Bewertungssysteme neben der Punktzahl auch Konfidenzwerte anzeigen werden. Anstatt nur zu sagen, Überspringen oder Fehlschlag, könnte der Richter etwa Folgendes anordnen: Bewertung: 4, Konfidenz: 65%. Ist die Zuverlässigkeit zu gering, kann das System den Fall an einen menschlichen Prüfer weiterleiten.
Allgemeine Modelle wie GPT-5.5 oder Claude Sonnet 5 eignen sich gut für Aufgaben wie E-Mails, Zusammenfassungen und einfache Code-Prüfungen. Für komplexe medizinische oder rechtliche Begutachtungen benötigen wir jedoch mehr Kontrolle über den jeweiligen Fachbereich.
Deshalb gehe ich davon aus, dass es künftig mehr spezialisierte „Judge“-Modelle geben wird. Einige könnten für bestimmte Aufgaben optimiert werden, beispielsweise für die Überprüfung medizinischer Antworten oder die Prüfung juristischer Verträge. Diese Modelle werden Experten zwar nicht ersetzen, können aber dabei helfen, Routinefälle zu bearbeiten und die schwierigen Fälle an Menschen weiterzuleiten.
Eine Tool zur Bewertung von LLM-as-a-Judge wird wahrscheinlich in immer mehr Bewertungskonzepte Einzug halten. Juroren sollten sich nicht ausschließlich auf ihr eigenes Wissen verlassen, wenn sie die Aufgaben anhand externer Quellen überprüfen können.
Wenn ein Generator beispielsweise ein Python-Skript schreibt, kann der Prüfer dieses in einer Sandbox ausführen, um nach Fehlern zu suchen. Wenn der Generator eine Aussage zu einem aktuellen Ereignis trifft, kann der Prüfer diese mithilfe einer Suche oder einer vertrauenswürdigen Datenquelle überprüfen. Es geht darum, die Ausgabe anhand von Belegen zu überprüfen, anstatt den Text isoliert zu beurteilen.
Wenn Teams in Trainingszyklen Bewertungen von Juroren heranziehen, könnten generative Modelle lernen, den Juroren zu gefallen, anstatt den Nutzern bessere Antworten zu liefern. Das ist eine Art von „Reward Hacking“.
Beispielsweise könnte der Generator herausfinden, dass der Prüfer Aufzählungspunkte oder besonders höfliche Formulierungen bevorzugt. Er könnte auch anfangen, Füllphrasen zu wiederholen, die normalerweise gute Bewertungen erzielen. Zukünftige Bewertungssysteme werden bessere Methoden benötigen, um dies zu erkennen, damit die Bewertungen die tatsächliche Qualität der Antworten widerspiegeln.
Viele Teams betrachten die Bewertung nach wie vor als eigenständiges Skript, das sie nach einer Prompt- oder Modellaktualisierung ausführen. Ich glaube, dass sich dies ändern wird, wenn KI-Systeme stärker in die Produktion integriert werden. Der nächste Schritt besteht darin, die Bewertung in die Bereitstellungspipeline zu integrieren. Vor der Veröffentlichung können Bewerter dabei helfen, Regressionen in Testdatensätzen aufzudecken. Nach dem Start können sie stichprobenartig ausgewählte Ausgaben überwachen und risikobehaftete Fälle an Mitarbeiter weiterleiten.
Wenn Sie bis hierher gelesen haben, denken Sie wahrscheinlich über ein Bewertungsproblem in Ihrem KI-System nach. Vielleicht ist die manuelle Überprüfung zu langsam. Vielleicht zeigen Ihre Bewertungen zwar, dass sich die Qualität verändert hat, erklären aber nicht, was genau schiefgelaufen ist.
Deshalb ist die Ausgestaltung so wichtig. Ein und dasselbe Modell sollte nicht sowohl die Antworten erstellen als auch bewerten. Man benötigt eine klare Bewertungsrubrik, ein strukturiertes Verfahren zur Erfassung der Ergebnisse und regelmäßige Überprüfung durch Menschen, um das System kalibriert zu halten.
Das eigentliche Risiko besteht darin, dass auch flüssige Ausgaben die Aufgabe dennoch nicht erfüllen können. Ein Modell mag zwar überzeugend klingen, übersieht dabei jedoch möglicherweise den Ausgangskontext oder ignoriert einen wesentlichen Teil der Anfrage des Nutzers. Eine gut konzipierte Bewertungsebene hilft Ihnen, diese Lücke zu erkennen, bevor Ihre Nutzer sie bemerken.
Bei Innowise unterstützen wir Teams beim Aufbau von Evaluierungsschichten für LLM-Produkte, KI-Agenten, KI-Systeme für Unternehmen. Wenn Ihr KI-Produkt einer gründlicheren Qualitätsprüfung bedarf, lassen Sie uns darüber sprechen.
„LLM-as-a-judge“ ist eine Bewertungsmethode, bei der ein Sprachmodell (der „Richter“) die Textausgaben anderer KI-Systeme bewertet, benotet und mit Begründungen versieht. Sie ersetzt aufwendige manuelle Überprüfungen, indem sie Qualitätskontrollen hinsichtlich Genauigkeit, Relevanz, Tonfall oder Sicherheit in großem Maßstab automatisiert.
LLM-Bewertungsmodelle liefern bei vielen Bewertungsaufgaben oft genaue Ergebnisse, doch ihre Leistung hängt von der jeweiligen Aufgabe, dem Modell, der Bewertungsrubrik und der Systemkalibrierung ab. Die Teams sollten die Bewertungsergebnisse mit von Menschen geprüften Beispielen vergleichen und auf Verzerrungen, Prompt-Empfindlichkeit und Drift achten.
LLM-Entscheider beschleunigen und skalieren den Bewertungsworkflow, ohne den Menschen vollständig zu ersetzen. Bei sensiblen Fällen, beim Aufbau von Trainingsdatensätzen und bei der Festlegung von Bewertungsstandards ist nach wie vor menschliche Aufsicht erforderlich.
Wenn ein Modell seine eigene Arbeit bewertet, neigt es dazu, sich selbst zu hoch einzuschätzen. Oft übersieht es dabei seine eigenen Fehler und Probleme im Schreibstil, was zu zu hohen Bewertungen führt, die nicht besonders aussagekräftig sind.
Die RAG-Triade ist ein Bewertungsrahmen, der für Retrieval-Augmented-Generation-Systeme entwickelt wurde. Sie misst die Leistung anhand von drei spezifischen axes: Kontextrelevanz, Verankerung und Relevanz der endgültigen Antwort.
In den Schleifen des verstärkenden Lernens generieren LLM-Beurteiler schnell automatisierte Präferenzsignale und eine schrittweise Bewertung. Dadurch können Belohnungsmodelle die Systemausrichtung wesentlich schneller optimieren als manuelle menschliche Bewertungen.
Die Hauptrisiken ergeben sich aus den dem Modell innewohnenden Verzerrungen, darunter die Tendenz, längere Antworten zu bevorzugen (Ausführlichkeitsverzerrung), zuerst präsentierte Antworten zu bevorzugen (Positionsverzerrung) sowie eine hohe Empfindlichkeit gegenüber geringfügigen Änderungen in der Formulierung der Eingabeaufforderung.
Teams können Verzerrungen minimieren, indem sie die Generierungs- und Bewertungsmodelle voneinander entkoppeln, die Reihenfolge der Antworten in Vergleichstests zufällig anordnen, Modellmetadaten verbergen und automatisierte Bewertungen anhand von durch Menschen überprüften Referenzwerten validieren.
