KURZ ERKLÄRT
Prüft RAG-Suche getrennt von der späteren Antwort, damit ihr fehlendes Wissen nicht mit schlecht gefundenem Wissen verwechselt. Verbindet typische Fragen mit erwarteten Belegstellen und untersucht Index, Filter, Rangfolge und übergebenen Kontext. Erst danach bewertet ihr, ob das Modell die gefundenen Informationen richtig verwendet. Diese Trennung macht Fehlerbehebung gezielter und verhindert, dass jede schwache Antwort einen neuen Prompt auslöst.
Wie ihr einzelne KI-Anwendungen in verlässliche Marketingabläufe einordnet, zeigt der übergeordnete Guide KI-Transformation im B2B-Marketing: Von einzelnen Prompts zu verlässlichen Abläufen.
Legt die erwartete Evidenz vor dem Suchlauf fest
Nehmt reale, freigegebene Fragen und lasst Fachpersonen im Quellenbestand die notwendigen Belegstellen markieren. Dokumentiert nicht nur ein Stichwort, sondern die Bedingungen einer gültigen Antwort: Produkt, Markt, Zeitpunkt und gegebenenfalls Ausnahme. Eine Frage kann mehrere Abschnitte benötigen. Haltet auch fest, wenn es keine belastbare Antwort im Bestand gibt. Solche Fälle prüfen den Umgang mit Wissenslücken. Ohne diese Referenz könnt ihr zwar schöne Trefferlisten ansehen, aber nicht zuverlässig beurteilen, ob die Suche die fachlich erforderliche Grundlage tatsächlich bereitgestellt hat oder nur ähnlich klingende Dokumente gefunden wurden. Mehr dazu im Leitfaden RAG-Dokumente aufbereiten: Sinnvolle Abschnitte statt Textschnipsel.
Unterscheidet die Stufen des Fehlers
Prüft zuerst, ob die Quelle vorhanden, freigegeben und richtig eingelesen ist. Dann untersucht, ob Filter sie zulassen, die Suche sie als Kandidat findet und eine mögliche Neusortierung sie im übergebenen Kontext belässt. Anschließend prüft ihr die Antwort. Eine korrekte Quelle kann auf dem Weg verloren gehen, obwohl der Index grundsätzlich funktioniert. Eine technisch passende Fundstelle kann wiederum für den angefragten Markt falsch sein. Speichert deshalb die tatsächlichen Zwischenresultate mit ihren Versionen. Die Diagnose sollte benennen, an welcher Stufe die notwendige Evidenz fehlt, statt alle Fälle als Halluzination zusammenzufassen.
Messt relevante Abdeckung und störende Treffer getrennt
Fragt, ob die benötigten Belegstellen im tatsächlich nutzbaren Kontext enthalten sind und wie viel unpassendes Material danebensteht. Eine Trefferquote allein beschreibt nicht, ob wichtige Bedingungen fehlen. Bei mehreren nötigen Belegen prüft ihr deren gemeinsame Verfügbarkeit. Definiert selbst, welche Suchpositionen noch in den Antwortkontext gelangen; eine Kennzahl für weiter hinten liegende Treffer kann sonst einen Erfolg zeigen, den das Modell nie nutzen kann. Gruppiert Ergebnisse nach Fragetyp. Exakte Produktkennungen, freie Problembeschreibungen und mehrteilige Fragen können unterschiedliche Schwächen offenlegen und sollten nicht unbemerkt in einem einzigen Durchschnitt verschwinden.
Vergleicht Änderungen unter kontrollierten Bedingungen
Haltet Fragen, Quellenstand und Bewertungsregeln konstant, wenn ihr Aufteilung, Suchverfahren, Filter oder Rangfolge verändert. Prüft eine Änderung möglichst gezielt, damit ihr Verbesserungen zuordnen könnt. Anthropic beschreibt Kontextanreicherung und kombinierte Suchansätze als prüfbare Gestaltungsmöglichkeiten, nicht als Ersatz für eure eigene Messung. Übernehmt keine veröffentlichten Ergebniswerte als Prognose für euren Bestand. Erfasst zusätzlich Aufwand und Laufzeit. Ein Verfahren kann mehr relevante Belege finden und dennoch im vorgesehenen Arbeitsablauf zu langsam sein. Die Entscheidung braucht deshalb fachliche Abdeckung und betriebliche Eignung nebeneinander.
Diagnostiziert einen ausdrücklich fiktiven Suchfehler
Ein fiktiver Wissensagent soll die Verfügbarkeit einer Integration für einen bestimmten Markt erklären. Die gültige regionale Liste liegt im Bestand, wird jedoch durch ein falsch gesetztes Produktfilter ausgeschlossen. Das Modell erhält nur einen älteren Überblick und gibt eine unpassende Antwort. Im hypothetischen Test wird der Fehler deshalb dem Filter zugeordnet, nicht der Formulierung des Antwortprompts. Eine zweite Variante liefert die richtige Liste, aber das Modell ignoriert eine Fußnote. Diese Variante prüft Interpretation. Die getrennten Fälle verhindern, dass dieselbe Korrektur fälschlich als Lösung für zwei unterschiedliche Ursachen betrachtet wird.
Verknüpft Befund und nächste Pflegearbeit
Für jede Fehlklasse sollte eine passende Maßnahme sichtbar werden: fehlendes Wissen an den Quelleninhaber, beschädigte Umwandlung an die Dokumentverarbeitung, ungeeignete Filter an die Integration und falsche Nutzung an die Antwortlogik. Prüft nach einer Korrektur den ursprünglichen Fall und verwandte Fragen. Haltet bekannte Lücken fest und definiert den zulässigen Ausgang, solange sie bestehen. Der Agent darf bei unzureichender Evidenz nachfragen oder seine Antwort begrenzen. Eine ehrliche Wissensgrenze ist kein Suchfehler, wenn die nötige Information tatsächlich nicht vorhanden ist. Diese Unterscheidung gehört auch in Betriebsberichte und Freigabeentscheidungen. Mehr dazu im Leitfaden Quellenregister für RAG: Wissen mit Eigentümer und Ablaufdatum.
INTERAKTIV / VOM LESEN ZUR ANWENDUNG
Drei Prüfpunkte für eure Umsetzung
Wähle einen Punkt und halte deinen persönlichen Lesefortschritt fest. Die Häkchen werden weder gespeichert noch übertragen und sind keine Bewertung eures Unternehmens.
PRÜFPUNKT 01
Messt relevante Abdeckung und störende Treffer getrennt
Fragt, ob die benötigten Belegstellen im tatsächlich nutzbaren Kontext enthalten sind und wie viel unpassendes Material danebensteht.
Im Artikel vertiefen ↗PRÜFPUNKT 02
Vergleicht Änderungen unter kontrollierten Bedingungen
Haltet Fragen, Quellenstand und Bewertungsregeln konstant, wenn ihr Aufteilung, Suchverfahren, Filter oder Rangfolge verändert.
Im Artikel vertiefen ↗PRÜFPUNKT 03
Diagnostiziert einen ausdrücklich fiktiven Suchfehler
Ein fiktiver Wissensagent soll die Verfügbarkeit einer Integration für einen bestimmten Markt erklären.
Im Artikel vertiefen ↗Häufige Fragen
Reicht die Bewertung der fertigen Antwort?
Nein. Ohne getrennte Suchprüfung bleibt unklar, ob die notwendige Evidenz fehlte oder falsch verwendet wurde.
Ist jeder gefundene Abschnitt ein relevanter Treffer?
Nein. Prüft Geltungsbereich, Zeitpunkt und die tatsächlich benötigte Aussage, nicht nur ähnliche Wörter.
Was tun wir bei fehlendem Wissen?
Einen Pflegeauftrag an die zuständige Quelle geben und den zulässigen Umgang mit der Lücke definieren, statt nur die Suche zu optimieren.
Wie lässt sich „Legt die erwartete Evidenz vor dem Suchlauf fest“ praktisch umsetzen?
Nehmt reale, freigegebene Fragen und lasst Fachpersonen im Quellenbestand die notwendigen Belegstellen markieren. Dokumentiert nicht nur ein Stichwort, sondern die Bedingungen einer gültigen Antwort: Produkt, Markt, Zeitpunkt und gegebenenfalls Ausnahme. Eine Frage kann mehrere Abschnitte benötigen.
Was ist bei „Unterscheidet die Stufen des Fehlers“ besonders wichtig?
Prüft zuerst, ob die Quelle vorhanden, freigegeben und richtig eingelesen ist. Dann untersucht, ob Filter sie zulassen, die Suche sie als Kandidat findet und eine mögliche Neusortierung sie im übergebenen Kontext belässt. Anschließend prüft ihr die Antwort.
