KURZ ERKLÄRT
Eine brauchbare KI-Prüfsammlung verbindet echte Aufgaben mit überprüfbaren Erwartungen und relevanten Fehlerfolgen. Sammelt nicht nur gelungene Beispiele. Nehmt normale Arbeit, schwierige Ausnahmen und bekannte Fehlschläge auf, trennt Entwicklungsfälle von zurückgehaltenen Prüfaufgaben und dokumentiert die Herkunft. Die Sammlung soll Entscheidungen über euren konkreten Ablauf unterstützen, nicht bloß eine beeindruckende allgemeine Modellpunktzahl erzeugen.
Wie ihr einzelne KI-Anwendungen in verlässliche Marketingabläufe einordnet, zeigt der übergeordnete Guide KI-Transformation im B2B-Marketing: Von einzelnen Prompts zu verlässlichen Abläufen.
Definiert die Einheit eines Testfalls
Ein Fall besteht aus dem tatsächlichen Auftrag, den benötigten Eingaben, dem relevanten Systemzustand und einem prüfbaren erwarteten Ergebnis. Bei einem Rechercheagenten kann das eine Antwort mit bestimmten belegten Aussagen sein; bei einem Änderungsworkflow der korrekte Zielzustand ohne zusätzliche Nebenwirkung. Schreibt nicht unnötig eine einzige ideale Formulierung vor. Unterschiedliche Texte können denselben Zweck erfüllen. Haltet aber zwingende Grenzen fest, etwa keine unbelegte Preisangabe oder kein Versand ohne passende Autorisierung. Diese Grenzen dürfen nicht durch gute Leistungen in unwichtigen Stilmerkmalen ausgeglichen werden.
Sammelt Fälle aus verschiedenen Arbeitswegen
Nutzt freigegebene historische Arbeitsproben und beobachtete Fehler. Berücksichtigt Sprachen, Produkte, Eingabeformate und unterschiedliche Quellenlagen. Erfasst zusätzlich Aufgaben, die der Ablauf zurückweisen oder an Menschen übergeben soll. Eine Sammlung ausschließlich vollständiger Briefings prüft nicht, ob das System eine entscheidende Lücke erkennt. Markiert, aus welchem Arbeitsbereich ein Fall stammt und warum er aufgenommen wurde. Wenn sensible Daten entfernt oder verändert werden, prüft, ob die Aufgabe noch dieselbe Schwierigkeit besitzt. Ein bereinigtes Beispiel kann unbeabsichtigt genau den Kontext verlieren, der den ursprünglichen Fehler ausgelöst hat.
Ergänzt Gegenfälle und Grenzsituationen
Formuliert gezielte Varianten zu bekannten Fehlern: eine veraltete Quelle, eine ähnlich benannte Firma, widersprüchliche Aussagen oder eine fehlende Freigabe. Kennzeichnet synthetische Fälle als solche. Sie sind hilfreich, ersetzen aber nicht die Verteilung realer Arbeit. Ein schwieriger Fall sollte eine konkrete Prüfabsicht besitzen. Absichtlich unlösbare Aufgaben ohne definierten zulässigen Ausgang erzeugen lediglich Streit über die Bewertung. Legt deshalb fest, wann Nachfragen, eine begrenzte Antwort oder ein sauberer Stopp als richtig gelten. Auch das bewusste Nichtausführen einer Aktion kann ein erfolgreiches Testergebnis sein.
Trennt Entwicklung und unabhängige Prüfung
Ein Teil der Sammlung hilft bei Prompt- und Werkzeugänderungen; andere Fälle bleiben für spätere Vergleiche zurückgehalten. Wenn ihr jede Verbesserung direkt an denselben Beispielen optimiert, kann der Ablauf auf ihre Besonderheiten zugeschnitten werden. Dokumentiert Versionen der Fälle, Kriterien und erwarteten Quellen. Entfernt schwierige Fälle nicht stillschweigend, nur weil sie die aktuelle Variante schlecht aussehen lassen. Wenn ein Fall fachlich ungültig geworden ist, notiert den Grund. Neue Fehler aus dem Betrieb ergänzen die Sammlung, sollten aber nicht unbemerkt den Vergleich mit früheren Ergebnissen verändern. Mehr dazu im Leitfaden KI-Änderungen testen: Regressionen vor dem Rollout erkennen.
Baut einen ausdrücklich fiktiven Quellenfall
Ein fiktiver Wissensagent soll eine Frage zur regionalen Produktverfügbarkeit beantworten. Die Eingabe enthält eine alte globale Übersicht und eine aktuelle regionale Freigabeliste. Der erwartete Ausgang ist die Antwort für die angefragte Region mit passender Quelle; bei fehlender regionaler Angabe soll der Agent nachfragen. Dieses hypothetische Beispiel prüft mehr als schönes Formulieren. Es prüft Zeitbezug, Geltungsbereich und den Umgang mit fehlendem Kontext. Eine zweite Variante kann die aktuelle Liste entfernen. Dann darf die Prüflogik eine begrenzte Antwort nicht fälschlich als mangelnde Vollständigkeit bestrafen.
Prüft die Sammlung selbst regelmäßig
Lasst Fachpersonen einige Fälle unabhängig bewerten und besprecht Abweichungen. Wenn sie trotz vollständiger Informationen zu unterschiedlichen Erwartungen kommen, ist möglicherweise der Fall oder die Geschäftsregel unklar. Zählt Ergebnisse nach Aufgabentyp und Fehlerwirkung, nicht nur insgesamt. Eine große Zahl einfacher Fälle kann eine kleine kritische Gruppe verdecken. Prüft außerdem, ob Referenzquellen noch zugänglich und gültig sind. Eine bestandene Sammlung beweist nur Verhalten innerhalb ihres abgedeckten Bereichs. Dokumentiert deshalb bekannte Lücken und welche neuen Arbeitsproben nötig wären, bevor ihr eine wesentlich breitere Nutzung bewertet. Mehr dazu im Leitfaden Marketingaussagen prüfen: Belege, Grenzen und Freigaben dokumentieren.
INTERAKTIV / VOM LESEN ZUR ANWENDUNG
Drei Prüfpunkte für eure Umsetzung
Wähle einen Punkt und halte deinen persönlichen Lesefortschritt fest. Die Häkchen werden weder gespeichert noch übertragen und sind keine Bewertung eures Unternehmens.
PRÜFPUNKT 01
Ergänzt Gegenfälle und Grenzsituationen
Formuliert gezielte Varianten zu bekannten Fehlern: eine veraltete Quelle, eine ähnlich benannte Firma, widersprüchliche Aussagen oder eine fehlende Freigabe.
Im Artikel vertiefen ↗PRÜFPUNKT 02
Trennt Entwicklung und unabhängige Prüfung
Ein Teil der Sammlung hilft bei Prompt- und Werkzeugänderungen; andere Fälle bleiben für spätere Vergleiche zurückgehalten.
Im Artikel vertiefen ↗PRÜFPUNKT 03
Baut einen ausdrücklich fiktiven Quellenfall
Ein fiktiver Wissensagent soll eine Frage zur regionalen Produktverfügbarkeit beantworten.
Im Artikel vertiefen ↗Häufige Fragen
Wie viele Testfälle sind genug?
Es gibt keine allgemeine Zahl. Entscheidend sind relevante Arbeitswege, Fehlerfolgen und erkennbare Abdeckungslücken.
Dürfen wir künstliche Fälle nutzen?
Ja, klar gekennzeichnet und mit Prüfabsicht. Ergänzt sie durch echte, freigegebene Arbeitsproben.
Muss jede Antwort exakt einer Referenz entsprechen?
Nein. Prüft notwendige Inhalte und Grenzen; unterschiedliche sachlich richtige Formulierungen können zulässig sein.
Wie lässt sich „Definiert die Einheit eines Testfalls“ praktisch umsetzen?
Ein Fall besteht aus dem tatsächlichen Auftrag, den benötigten Eingaben, dem relevanten Systemzustand und einem prüfbaren erwarteten Ergebnis. Bei einem Rechercheagenten kann das eine Antwort mit bestimmten belegten Aussagen sein; bei einem Änderungsworkflow der korrekte Zielzustand ohne zusätzliche Nebenwirkung. Schreibt nicht unnötig eine einzige ideale Formulierung vor.
Was ist bei „Sammelt Fälle aus verschiedenen Arbeitswegen“ besonders wichtig?
Nutzt freigegebene historische Arbeitsproben und beobachtete Fehler. Berücksichtigt Sprachen, Produkte, Eingabeformate und unterschiedliche Quellenlagen. Erfasst zusätzlich Aufgaben, die der Ablauf zurückweisen oder an Menschen übergeben soll.
