Eine generative Antwort kann klar formuliert, professionell strukturiert und trotzdem falsch sein. Umgekehrt kann das Suchsystem die richtige Quelle finden, während das Sprachmodell einen wichtigen Punkt auslässt oder falsch zusammenfasst.

Wer eine AI Search nur anhand der sichtbaren Antwort bewertet, vermischt deshalb mehrere Qualitätsfragen:

• Wurde die richtige Information gefunden?
• Wurden alle erforderlichen Quellen gefunden?
• Hat das Sprachmodell die Quellen korrekt verarbeitet?
• Ist die Antwort vollständig und hilfreich?
• Weiß das System, wann keine belastbare Antwort möglich ist?

Für einen Prototyp genügt oft ein überzeugendes Beispiel. Für ein produktives System braucht es eine reproduzierbare Evaluation.

RAG besteht aus mehreren Qualitätsstufen

Eine typische RAG-Anwendung durchläuft mindestens vier Schritte:

• Die Anfrage wird verstanden und gegebenenfalls umformuliert.
• Das System sucht geeignete Dokumente oder Produktdaten.
• Relevante Passagen werden ausgewählt und an das Sprachmodell übergeben.
• Das Modell generiert daraus eine Antwort.

Fehler können auf jeder Stufe entstehen. Wenn ein Dokument nicht gefunden wurde, kann auch das beste Sprachmodell die fehlende Information nicht zuverlässig verwenden. Wird dagegen die richtige Passage gefunden, kann die Generierung trotzdem unbelegte Ergänzungen enthalten.

Eine einzige Gesamtbewertung verschleiert, wo das Problem tatsächlich liegt.

Forschung fordert eine komponentenspezifische Messung

Der 2025 veröffentlichte MIRAGE-Benchmark wurde speziell entwickelt, um Retrieval und Generation differenziert zu untersuchen. Er umfasst 7.560 kuratierte Instanzen und einen Retrieval-Pool mit 37.800 Einträgen. Zusätzlich bewertet er Eigenschaften wie Anfälligkeit für irrelevanten Kontext, Fehlinterpretation und mangelnde Reaktion auf veränderte Informationen.¹

Für Unternehmen ist daran vor allem ein Gedanke relevant: Eine AI Search sollte nicht nur unter idealen Bedingungen getestet werden. Sie muss auch mit unvollständigen, ähnlichen, veralteten oder widersprüchlichen Quellen umgehen können.

Enterprise Search scheitert häufig am vollständigen Retrieval

Unternehmensfragen benötigen oft Informationen aus mehreren Systemen. Eine Antwort kann beispielsweise Inhalte aus einer Produktdokumentation, einem Supportticket, einer E-Mail und einem Projektprotokoll kombinieren müssen.

Ein aktueller Deep-Search-Benchmark bildet solche Szenarien mit 39.190 simulierten Enterprise-Artefakten aus Dokumenten, Meeting-Transkripten, Slack, GitHub und Websites ab. Selbst das beste untersuchte agentische RAG-Verfahren erreichte dort nur einen durchschnittlichen Score von 32,96. Die Autoren identifizierten das Retrieval als zentralen Engpass: Häufig wurde nur ein Teil der notwendigen Evidenz gefunden.²

Auch diese Zahl ist ein Benchmark-Ergebnis und kein universeller Leistungswert. Sie verdeutlicht jedoch, warum eine flüssige Antwort kein Nachweis für vollständige Recherche ist.

Sechs Ebenen einer belastbaren Evaluation

1. Retrieval-Relevanz

Wie viele der gefundenen Dokumente sind für die Anfrage tatsächlich relevant? Zu viel irrelevanter Kontext erhöht Kosten und kann die Antwortqualität verschlechtern.

2. Retrieval-Vollständigkeit

Wurden alle Informationen gefunden, die für eine korrekte Antwort erforderlich sind? Diese Frage ist besonders bei Vergleichen, mehrteiligen Fragen und technischen Abhängigkeiten wichtig.

3. Faktentreue

Lässt sich jede wesentliche Aussage durch die bereitgestellten Quellen belegen? Eine plausible Behauptung ohne Evidenz bleibt ein Qualitätsproblem.

4. Antwortvollständigkeit

Eine Antwort kann faktisch richtig und dennoch unbrauchbar sein, wenn sie entscheidende Bedingungen, Einschränkungen oder nächste Schritte auslässt.

5. Abstention

Erkennt das System, wann keine belastbare Antwort möglich ist? Ein kontrolliertes „Dazu liegen keine ausreichenden Informationen vor“ kann hochwertiger sein als eine erfundene Empfehlung.

6. Business-Nutzen

Führt das System tatsächlich zu einer besseren Handlung? Im Commerce können dies Produktklicks, Angebotsanfragen oder Bestellungen sein. In der Enterprise Search sind beispielsweise gelöste Supportfälle, kürzere Recherchezeiten oder weniger Eskalationen relevant.

Mehrsprachigkeit darf nicht nur übersetzt getestet werden

Viele deutsche und europäische Unternehmen arbeiten mit mehrsprachigen Produktdaten, Dokumentationen und Nutzeranfragen. Ein englischer Testdatensatz mit automatisch übersetzten Fragen reicht dafür nicht aus.

Der 2025 veröffentlichte MEMERAG-Benchmark verwendet muttersprachlich formulierte Fragen und lässt Antworten durch Fachannotatoren auf Faktentreue und Relevanz bewerten. Die Forschung zeigt damit, dass kulturelle und sprachliche Unterschiede bei der Evaluation berücksichtigt werden müssen.³

Für B2B-Unternehmen bedeutet das: Deutsche, englische und gegebenenfalls branchenspezifische Anfragen benötigen eigene Tests. Dazu gehören Abkürzungen, Einheiten, Produktnamen und Fachbegriffe, die sich nicht eins zu eins übersetzen lassen.

Der Goldstandard kommt aus echten Anfragen

Ein belastbares Testset sollte reale Aufgaben aus Suchlogs, Supportfällen, Vertriebsgesprächen und Fachabteilungen enthalten. Für jede Anfrage wird festgelegt:

• welche Quellen gefunden werden müssen,
• welche Aussagen korrekt sind,
• welche Aussagen nicht getroffen werden dürfen,
• welche Einschränkungen genannt werden müssen,
• und wann das System keine Antwort geben sollte.

Wichtig ist eine sinnvolle Mischung: einfache Faktenfragen, offene Rechercheaufgaben, mehrteilige Anfragen, Nulltreffer, widersprüchliche Quellen und bewusst nicht beantwortbare Fragen.

LLM-as-a-Judge braucht menschliche Kalibrierung

Sprachmodelle können große Mengen von Antworten automatisiert bewerten. Das ist nützlich für Regressionstests und laufendes Monitoring. Ein Modell als alleiniger Schiedsrichter kann jedoch eigene Präferenzen und Fehler in die Bewertung einbringen.

Deshalb sollte eine Stichprobe regelmäßig von Fachexperten geprüft werden. Stimmen menschliche und automatisierte Bewertungen systematisch nicht überein, muss der Bewertungsprozess angepasst werden.

Besonders sensible Kriterien – etwa technische Eignung, Normenkonformität oder vertragliche Aussagen – sollten nicht ausschließlich automatisch beurteilt werden.

Qualität wird zum Release-Kriterium

Ein professioneller Evaluationsprozess vergleicht jede relevante Änderung mit einer festgelegten Basis:

• neue Embedding-Modelle,
• angepasste Synonyme,
• veränderte Chunk-Größen,
• neue Reranker,
• andere Prompts,
• neue Datenquellen,
• oder ein Wechsel des Sprachmodells.

Eine Verbesserung der Antwortformulierung darf nicht unbemerkt die Retrieval-Vollständigkeit verschlechtern. Ebenso sollte eine höhere Genauigkeit gegen Latenz und Kosten abgewogen werden.

Fazit: Messbare AI Search beginnt vor der Antwort

Gute generative Suche ist kein einzelner Modellwert. Sie entsteht aus dem Zusammenspiel von Datenqualität, Retrieval, Ranking, Kontextauswahl, Generierung und kontrollierter Unsicherheit.

Unternehmen, die diese Ebenen getrennt messen, können Fehler schneller lokalisieren und Investitionen gezielter priorisieren. Damit wird aus einer überzeugenden Demo ein verlässlich steuerbares Produkt.

Ein belastbares Search-Evaluation-Framework verbindet reale Nutzeranfragen, definierte Soll-Ergebnisse, komponentenspezifische Metriken und wirtschaftliche KPIs.

Sprechen Sie mit unseren Search-Experten darüber, wie sich Retrieval-Qualität, Faktentreue und Business-Erfolg in Ihrem konkreten AI-Search-Anwendungsfall systematisch messen lassen.

Welche AI Features dabei gezielt getestet und optimiert werden können, zeigen wir Ihnen in unserem Überblick zu den AI Features der Quasiris Search Cloud.