KURZ ERKLÄRT
Eine Bewertungsrubrik übersetzt Qualität in beobachtbare Kriterien mit verständlichen Grenzen. Legt fest, welche Inhalte erforderlich sind, welche Fehler eine Ausgabe unbrauchbar machen und wo unterschiedliche Formulierungen zulässig bleiben. Eine gemeinsame Rubrik ist vor allem ein Arbeitsmittel für konsistente Entscheidungen. Sie wird erst belastbar, wenn Reviewer sie an denselben Beispielen tatsächlich ähnlich auslegen.
Wie ihr einzelne KI-Anwendungen in verlässliche Marketingabläufe einordnet, zeigt der übergeordnete Guide KI-Transformation im B2B-Marketing: Von einzelnen Prompts zu verlässlichen Abläufen.
Beginnt beim Zweck des Arbeitsergebnisses
Fragt, welche Entscheidung oder Folgearbeit die Ausgabe unterstützen muss. Ein Recherchebriefing braucht nachvollziehbare Belege und eine klare Trennung von Beobachtung und Schlussfolgerung. Ein CRM-Vorschlag braucht einen korrekten Datensatzbezug und eine passende Feldbedeutung. Übernehmt deshalb nicht unverändert eine allgemeine Liste mit Hilfreich, Präzise und Gut geschrieben. Solche Begriffe sind ohne Anker zu offen. Beschreibt stattdessen, woran ein fachkundiger Leser ein verwendbares Ergebnis erkennt und welche fehlende Information die nächste Arbeit verhindern würde. Verknüpft jedes Kriterium mit diesem konkreten Zweck.
Trennt Kriterien, die verschiedene Fehler erfassen
Bewertet beispielsweise sachliche Richtigkeit, Belegabdeckung, Vollständigkeit und Umsetzbarkeit separat. Eine gut belegte Antwort kann trotzdem die falsche Frage beantworten. Ein vollständiger Entwurf kann eine unzulässige Zusage enthalten. Wenn alles in einer Gesamtnote verschwindet, erkennt ihr nicht, welche Änderung tatsächlich hilft. Beschreibt außerdem Pflichtgrenzen, deren Verletzung die Freigabe verhindert. Der Umfang solcher Grenzen sollte aus den Folgen des Fehlers entstehen. Eine belanglose Stilabweichung verdient nicht dieselbe Behandlung wie ein falscher Empfänger oder eine erfundene Quelle in einer externen Aussage.
Formuliert Skalen mit konkreten Ankern
Für jede verwendete Stufe beschreibt ihr ein beobachtbares Verhalten und ergänzt ein Beispiel. Bei Quellenabdeckung könnte eine unzureichende Stufe bedeuten, dass eine entscheidungsrelevante Behauptung keinen tragenden Beleg besitzt. Eine bessere Stufe verlangt Belege genau für diese Aussagen. Vermeidet zu viele fein abgestufte Zahlen, wenn Reviewer die Unterschiede nicht erklären können. Eine einfache Unterscheidung zwischen verwendbar, korrigierbar und zurückzuweisen kann hilfreicher sein. Legt auch fest, wie nicht anwendbare Kriterien behandelt werden, damit sie die Gesamtbewertung nicht künstlich erhöhen oder senken.
Kalibriert mit unabhängigen Erstbewertungen
Gebt mehreren Reviewern dieselben Fälle ohne vorherige Diskussion der gewünschten Note. Vergleicht ihre Begründungen und die betroffenen Textstellen. Wenn Unterschiede aus einer unklaren Definition entstehen, verbessert die Rubrik. Wenn Fachpersonen unterschiedliche Geschäftsregeln anwenden, klärt zunächst die Regel. Erzwingt keinen oberflächlichen Konsens durch bloßes Mitteln der Zahlen. Bewahrt Ankerbeispiele mit gemeinsam begründeten Bewertungen auf. Neue Reviewer können daran üben, bevor sie produktive Fälle beurteilen. Wiederholt die Kalibrierung, wenn neue Produkte, Ausgabentypen oder wesentlich andere Fehlerfolgen hinzukommen und alte Beispiele nicht mehr repräsentativ sind. Mehr dazu im Leitfaden KI als Prüfer einsetzen: Bewertungen menschlich kalibrieren.
Bewertet eine ausdrücklich fiktive Antwort
Ein fiktiver Agent erstellt eine Wettbewerbsübersicht mit korrekten Produktnamen und sauberer Struktur, bezeichnet aber eine unbekannte Vertragsfunktion als nicht verfügbar. Die Rubrik bewertet Struktur positiv, markiert die unbelegte Negativaussage jedoch als sachlichen Mangel mit Entscheidungswirkung. Eine zulässige Korrektur wäre, den unbekannten Status transparent zu benennen. Dieses hypothetische Beispiel zeigt, warum sprachliche Qualität eine fehlende Beleggrundlage nicht ausgleichen sollte. Es zeigt auch, weshalb keine Bewertung an einer einzigen Musterformulierung hängen muss: Mehrere Texte können denselben sachlich korrekten Umgang mit Unsicherheit ausdrücken.
Prüft Rubrikänderungen wie andere Systemänderungen
Versioniert Kriterien und Ankerbeispiele. Wenn ihr eine Definition ändert, bewertet eine gemeinsame Fallmenge erneut, bevor ihr alte und neue Gesamtergebnisse vergleicht. Dokumentiert, ob eine Verbesserung aus dem System oder aus einer veränderten Messlatte stammt. Nutzt die Einzelkriterien zur Diagnose: Schlechte Quellenabdeckung verlangt möglicherweise bessere Recherche, nicht einen anderen Schreibstil. Beobachtet auch den Prüfaufwand. Eine Rubrik, die im Alltag niemand vollständig anwendet, braucht eine praktikablere Form oder klare Prüfprioritäten. Kürzt dabei nicht unbemerkt gerade die Kriterien, die folgenreiche Fehler erkennen sollten. Mehr dazu im Leitfaden KI-Änderungen testen: Regressionen vor dem Rollout erkennen.
INTERAKTIV / VOM LESEN ZUR ANWENDUNG
Drei Prüfpunkte für eure Umsetzung
Wähle einen Punkt und halte deinen persönlichen Lesefortschritt fest. Die Häkchen werden weder gespeichert noch übertragen und sind keine Bewertung eures Unternehmens.
PRÜFPUNKT 01
Formuliert Skalen mit konkreten Ankern
Für jede verwendete Stufe beschreibt ihr ein beobachtbares Verhalten und ergänzt ein Beispiel.
Im Artikel vertiefen ↗PRÜFPUNKT 02
Kalibriert mit unabhängigen Erstbewertungen
Gebt mehreren Reviewern dieselben Fälle ohne vorherige Diskussion der gewünschten Note.
Im Artikel vertiefen ↗PRÜFPUNKT 03
Bewertet eine ausdrücklich fiktive Antwort
Ein fiktiver Agent erstellt eine Wettbewerbsübersicht mit korrekten Produktnamen und sauberer Struktur, bezeichnet aber eine unbekannte Vertragsfunktion als nicht verfügbar.
Im Artikel vertiefen ↗Häufige Fragen
Wie viele Bewertungskriterien brauchen wir?
Nur so viele, wie unterschiedliche wichtige Qualitätsaspekte abdecken. Jede Dimension braucht einen klaren Zweck.
Dürfen wir eine Gesamtnote bilden?
Ja, wenn Einzelwerte und kritische Ausschlussgründe sichtbar bleiben und nicht durch den Durchschnitt verdeckt werden.
Was bedeutet geringe Reviewer-Übereinstimmung?
Sie kann auf unklare Kriterien, fehlende Informationen oder unterschiedliche fachliche Regeln hinweisen; prüft die Begründungen.
Wie lässt sich „Beginnt beim Zweck des Arbeitsergebnisses“ praktisch umsetzen?
Fragt, welche Entscheidung oder Folgearbeit die Ausgabe unterstützen muss. Ein Recherchebriefing braucht nachvollziehbare Belege und eine klare Trennung von Beobachtung und Schlussfolgerung. Ein CRM-Vorschlag braucht einen korrekten Datensatzbezug und eine passende Feldbedeutung.
Was ist bei „Trennt Kriterien, die verschiedene Fehler erfassen“ besonders wichtig?
Bewertet beispielsweise sachliche Richtigkeit, Belegabdeckung, Vollständigkeit und Umsetzbarkeit separat. Eine gut belegte Antwort kann trotzdem die falsche Frage beantworten. Ein vollständiger Entwurf kann eine unzulässige Zusage enthalten.
