Inside AI Search #11: Intelligent Insights

In der Reihe „Inside AI Search“ zeigt Quasiris, was hinter den einzelnen Funktionen moderner KI gestützter Suche steckt. In diesem Beitrag geht es um Intelligent Insights, also die Fähigkeit, aus Suchdaten verwertbare Erkenntnisse abzuleiten und daraus konkrete Maßnahmen für Suchqualität, Nutzererlebnis und Geschäftsentscheidungen zu entwickeln.

Denn jede Suche erzeugt Signale.

Welche Begriffe verwenden Nutzer? Welche Suchanfragen führen häufig zu keinen passenden Ergebnissen? Welche Treffer werden ausgewählt? Wo werden Anfragen wiederholt oder verändert? Welche Themen treten besonders häufig auf?

Isoliert betrachtet sind das zunächst Datenpunkte. Richtig ausgewertet können sie jedoch zeigen, wo eine Suche funktioniert und wo Nutzer Schwierigkeiten haben.

Intelligent Insights geht deshalb über ein klassisches Search Dashboard hinaus.

Das Ziel ist nicht nur zu zeigen, was passiert, sondern möglichst auch zu erkennen, warum es passiert und wo konkreter Handlungsbedarf besteht.

Was sind Intelligent Insights?

Intelligent Insights beschreibt die Analyse von Suchdaten mit statistischen Verfahren, Machine Learning oder anderen KI Methoden, um Muster, Probleme und Optimierungsmöglichkeiten automatisch zu erkennen.

Eine klassische Search Analytics Oberfläche könnte beispielsweise anzeigen:

12.400 Suchanfragen pro Woche

Ein intelligenteres System versucht zusätzliche Fragen zu beantworten:

Welche Themen treiben den Anstieg?

Bei welchen Anfragen verschlechtert sich die Suchqualität?

Welche Inhalte fehlen?

Welche Nutzerbedürfnisse werden mit der bestehenden Navigation nicht ausreichend abgedeckt?

Welche Probleme sollten zuerst untersucht werden?

Damit entwickelt sich Search Analytics von einer reinen Messung zu einem Werkzeug für Entscheidungen.

Welche Daten kann eine Suche liefern?

Je nach Anwendung können unterschiedliche Signale ausgewertet werden.

Dazu gehören beispielsweise:

• Suchanfragen
• Anzahl der Ergebnisse
• Nulltreffer
• angeklickte Ergebnisse
• verwendete Filter
• Query Reformulations
• Sitzungsverläufe
• häufig gesuchte Themen
• Rankingpositionen
• Suchabbrüche
• Interaktionen mit Suchvorschlägen
• verwendete Datenquellen

Besonders wertvoll werden diese Daten, wenn sie nicht isoliert betrachtet werden.

Eine einzelne Anfrage ohne Klick bedeutet bspw. noch nicht automatisch, dass die Suche schlecht war. Vielleicht wurde die gesuchte Information bereits direkt in einem Smart Snippet angezeigt. Vielleicht war der Nutzer nur explorativ unterwegs. Vielleicht gab es tatsächlich keinen relevanten Treffer.

Intelligent Insights versucht deshalb, mehrere Signale gemeinsam zu interpretieren.

Von der Kennzahl zur Ursache

Ein Search Dashboard kann zeigen:

Nulltrefferrate: 8 Prozent

Das ist eine Kennzahl.

Ein Insight könnte dagegen lauten:

Ein großer Teil der Nulltreffer entsteht bei Produktbezeichnungen, die im Sortiment unter einer anderen Schreibweise geführt werden.

Daraus lässt sich eine konkrete Maßnahme ableiten:

Synonyme ergänzen oder Query Understanding anpassen.

Genau dieser Schritt ist entscheidend.

Eine gute Analyse sollte nicht bei einer Auffälligkeit enden, sondern den Weg von

Signal → Problem → mögliche Ursache → Maßnahme

unterstützen.

Nicht jeder schlechte Treffer hat dieselbe Ursache

Wenn Nutzer unpassende Ergebnisse erhalten, kann das viele Gründe haben.

Zum Beispiel:

Retrievalproblem

• Das richtige Dokument wird überhaupt nicht gefunden.

Rankingproblem

• Das richtige Dokument wird gefunden, steht aber zu weit unten.

Datenproblem

• Relevante Informationen fehlen oder sind falsch gepflegt.

Query Understanding Problem

• Die Suchintention wird nicht korrekt erkannt.

Content Problem

• Die richtige Antwort existiert nicht.

Filterproblem

• Nutzer können eine große Ergebnismenge nicht sinnvoll eingrenzen.

Genau diese Unterscheidung ist für Search Analytics wichtig.

Ein aktuelles Verfahren zur automatisierten Evaluation semantischer Suche zeigt, wie solche Fehler systematisch analysiert werden können. PROBES unterscheidet unter anderem zwischen Problemen mit irrelevanten Treffern und fehlenden relevanten Ergebnissen und versucht anschließend zu identifizieren, ob die Ursache beispielsweise in Content, Retrieval oder Ranking liegt. Bei der Untersuchung über 100 Produktkategorien waren 76 Prozent der vom System identifizierten Fehler tatsächlich handlungsrelevant.¹

Das macht deutlich:

Der eigentliche Wert von Search Insights entsteht nicht durch mehr Kennzahlen, sondern durch bessere Diagnosen.

Nulltreffer sind nur die sichtbarste Form eines Problems

Eine Suche ohne Ergebnisse fällt schnell auf.

Schwieriger sind Anfragen, bei denen Ergebnisse erscheinen, aber nicht die richtigen.

Ein Nutzer sucht beispielsweise:

„Reisekosten Übernachtung Berlin“

und erhält zehn Dokumente.

Technisch war die Suche erfolgreich.

Wenn die aktuelle Reisekostenrichtlinie aber erst auf Position acht erscheint, besteht trotzdem ein Qualitätsproblem.

Deshalb sollten Intelligent Insights nicht nur Nulltreffer betrachten.

Interessant sind auch:

• relevante Treffer auf niedrigen Positionen
• häufige Query Reformulations
• wiederholte Suchen innerhalb einer Session
• stark genutzte Filter
• Anfragen mit vielen Ergebnissen, aber geringer Interaktion
• Unterschiede zwischen Nutzergruppen oder Themenbereichen

So entsteht ein differenzierteres Bild der tatsächlichen Search Experience.

Suchanfragen zeigen, wie Nutzer über Inhalte denken

Unternehmen strukturieren Informationen meist nach ihrer eigenen internen Logik.

Nutzer suchen jedoch nicht zwangsläufig mit denselben Begriffen.

Eine interne Kategorie könnte beispielsweise heißen:

„Workplace Services“

Mitarbeitende suchen dagegen nach:

„Homeoffice Ausstattung“

„neuer Monitor“

„Schreibtisch bestellen“

oder:

„IT Zubehör“

Suchdaten zeigen damit eine Sprache, die in Taxonomien, Navigation oder Produktdaten möglicherweise noch gar nicht abgebildet ist.

Das kann Hinweise liefern für:

• Synonyme
• Kategorien
• Content Planung
• FAQ Themen
• Produktattribute
• Navigationsstrukturen
• neue Suchfilter

Intelligent Insights kann solche Muster über große Mengen historischer Anfragen erkennen und gruppieren.

Historische Suchanfragen können Bewertungsmaßstäbe verbessern

Suchlogs sind nicht nur interessant, um häufige Begriffe zu zählen.

Sie können auch dabei helfen zu verstehen, welche Eigenschaften für Nutzer innerhalb eines bestimmten Themenbereichs überhaupt wichtig sind.

Eine 2026 vorgestellte Arbeit nutzt historische Suchanfragen, um automatisch kategoriespezifische Bewertungskriterien für AI Search abzuleiten. Dazu werden repräsentative Anfragen gruppiert und zu wiederverwendbaren Evaluationsdimensionen zusammengeführt. Der Ansatz erzielte eine stabilere Qualität als querybasierte Vergleichsverfahren und die stärkste Übereinstimmung mit produktiv eingesetzten Referenzbewertungen.²

Das Prinzip lässt sich auch auf Enterprise Search übertragen:

Historische Anfragen können sichtbar machen, welche Anforderungen Nutzer in einem Themenbereich tatsächlich stellen.

Für technische Suche könnten das beispielsweise sein:

Kompatibilität, Produktversion, Fehlerbild und Lösungsweg

Bei HR Themen dagegen:

Standort, Beschäftigungsart, Gültigkeitszeitraum und Prozessschritt

Suchdaten können damit helfen, Evaluation näher an den tatsächlichen Nutzungskontext zu bringen.

Klicks sind wertvoll, aber nicht die ganze Wahrheit

Ein häufig verwendetes Signal ist die Click Through Rate.

Wenn ein Ergebnis häufig angeklickt wird, scheint es zunächst naheliegend, daraus hohe Relevanz abzuleiten.

So einfach ist es jedoch nicht.

Klickdaten können unvollständig oder verrauscht sein. Gerade bei neuen Funktionen oder seltenen Suchanfragen stehen möglicherweise nur wenige Interaktionen zur Verfügung.

Eine aktuelle Untersuchung zu Suchvorschlägen zeigt genau diese Einschränkung. Die Autoren entwickeln deshalb zusätzliche Qualitätskriterien wie Answerability, Factuality und Information Gain und kombinieren sie mit Online Signalen. Auf einem Benchmark mit 16.949 realen E Commerce Suchanfragen korrelierten die entwickelten Offline Qualitätsmetriken eng mit der späteren Online Performance.³

Für Search Analytics bedeutet das:

Eine einzelne Kennzahl sollte selten allein über Qualität entscheiden.

Robustere Insights entstehen durch die Kombination verschiedener Signale.

Intelligent Insights können Muster automatisch priorisieren

In großen Suchsystemen entstehen schnell Millionen von Interaktionen.

Es ist kaum realistisch, jede problematische Anfrage manuell zu prüfen.

Eine intelligente Analyse kann deshalb Auffälligkeiten automatisch gruppieren.

Zum Beispiel:

Cluster 1: Viele Nulltreffer für interne Abkürzungen

Cluster 2: Häufige Reformulationen bei Reisekostenfragen

Cluster 3: Hohe Suchaktivität zu einem neuen Produkt, aber wenige passende Inhalte

Cluster 4: Technische Dokumentation wird gefunden, aber regelmäßig von weiter unten angeklickt

Damit entsteht eine Prioritätenliste für Search Teams.

Statt zufällig einzelne Suchanfragen zu untersuchen, kann gezielt dort optimiert werden, wo sich wiederkehrende Muster zeigen.

Auch positive Muster sind interessant

Intelligent Insights sollte nicht ausschließlich nach Fehlern suchen.

Auch erfolgreiche Suchmuster können Erkenntnisse liefern.

Zum Beispiel:

Welche Queries führen besonders schnell zum Ziel?

Welche Filter werden bei erfolgreichen Sessions häufig verwendet?

Welche Inhalte werden für bestimmte Intentionen besonders oft ausgewählt?

Welche Suchvorschläge werden angenommen?

Welche Themen funktionieren mit Semantic Search besonders gut?

Diese Erkenntnisse können genutzt werden, um erfolgreiche Muster auf andere Bereiche zu übertragen.

Search Analytics wird dadurch nicht nur zur Fehlersuche, sondern auch zum Werkzeug für kontinuierliche Verbesserung.

Ein Beispiel aus der Enterprise Search

Ein Unternehmen stellt fest, dass Mitarbeitende häufig nach folgenden Begriffen suchen:

• „Elternzeit Antrag“
• „Elternzeit Formular“
• „Elternzeit beantragen“
• „Antrag Elternzeit PDF“

Die Suche liefert Ergebnisse, aber viele Nutzer verändern ihre Anfrage mehrfach.

Intelligent Insights könnte erkennen:

Alle Queries gehören zum gleichen Intent.

Das häufigste Ziel ist ein bestimmtes Formular.

Dieses Formular befindet sich aktuell nicht unter den ersten Ergebnissen.

Die Nutzer wechseln häufig nach dem ersten Suchversuch auf das HR Portal.

• Daraus ergeben sich mehrere mögliche Maßnahmen:
• Das Formular kann höher gerankt werden.
• Die Queries können als Synonyme oder Intent Varianten zusammengeführt werden.
• Ein Smart Snippet könnte den Prozess erklären.
• Oder die Suche könnte direkt auf das Formular beziehungsweise den richtigen HR Prozess verweisen.

Aus Suchdaten wird damit eine konkrete Verbesserung.

Ein Beispiel aus dem E Commerce

Ähnlich funktioniert das bei Produktsuche.

Angenommen, viele Kunden suchen:

„wasserdichte Sneaker“

Es existieren passende Produkte, aber das Attribut „wasserdicht“ ist bei einem Teil des Sortiments nicht strukturiert hinterlegt.

Die Analyse könnte zeigen:

hohes Suchvolumen

geringe Interaktion mit den ersten Ergebnissen

häufige Filterwechsel

hohe Nutzung ähnlicher Begriffe wie „wasserfest“

Damit wird nicht nur ein Search Problem sichtbar.

Die Daten zeigen möglicherweise auch ein Produktdatenproblem.

Ein Intelligent Insights System kann somit Erkenntnisse liefern, die über die Suchmaschine hinausgehen.

Search Insights können Content Lücken sichtbar machen

Besonders interessant sind Anfragen, für die Nutzer wiederholt nach Informationen suchen, die nicht vorhanden sind.

Wenn beispielsweise viele Mitarbeitende nach

„Dienstreise mit Elektroauto abrechnen“

suchen, aber kein entsprechender Inhalt existiert, sollte nicht zwangsläufig die Suchtechnologie optimiert werden.

Die bessere Maßnahme kann sein:

einen passenden Inhalt erstellen.

Damit wird Suche zu einer Quelle für Content Entscheidungen.

Dasselbe gilt für Kundenservice, Produktinformationen oder technische Dokumentation.

Was häufig gesucht, aber nicht zuverlässig beantwortet wird, kann auf einen Informationsbedarf hinweisen.

Insights für RAG und Question Answering

Mit RAG und Question Answering verändert sich auch Search Analytics.

Nutzer klicken möglicherweise nicht mehr auf ein einzelnes Dokument.

Stattdessen erhalten sie eine direkte Antwort.

Neue Fragen werden dadurch wichtig:

• Wurden die richtigen Quellen abgerufen?
• Waren die Quellen aktuell?
• War ausreichend Evidenz vorhanden?
• Welche Fragen konnten nicht beantwortet werden?
• Welche Themen führen häufig zu unsicheren Antworten?
• Welche Datenquelle verursacht wiederkehrende Fehler?

Die Analyse muss deshalb nicht nur die Trefferliste betrachten.

Sie muss zunehmend die gesamte Retrieval und Answering Pipeline berücksichtigen.

Intelligent Insights ersetzt keine fachliche Bewertung

Automatische Analyse kann große Datenmengen strukturieren und Auffälligkeiten erkennen.

Sie sollte jedoch nicht jede Entscheidung vollständig automatisieren.

Ein ungewöhnliches Suchmuster kann viele Ursachen haben.

Vielleicht hat sich das Sortiment verändert.

Vielleicht wurde ein neues internes System eingeführt.

Vielleicht sorgt eine Marketingkampagne plötzlich für neue Suchbegriffe.

Vielleicht existiert tatsächlich ein technisches Problem.

Intelligent Insights sollte deshalb vor allem dabei helfen, die richtigen Fragen schneller zu finden.

Die fachliche Einordnung bleibt besonders bei geschäftskritischen Entscheidungen wichtig.

Datenschutz gehört zur Search Analytics Architektur

Suchanfragen können sensible Informationen enthalten.

Das gilt besonders in Enterprise Search.

Mitarbeitende können beispielsweise nach Personen, internen Projekten, gesundheitlichen Themen oder vertraulichen Dokumenten suchen.

Bei der Analyse von Suchdaten sollten deshalb Datenschutz und Berechtigungen von Beginn an berücksichtigt werden.

Je nach Anwendungsfall können dazu gehören:

• Datenminimierung
• Aggregation
• Pseudonymisierung
• Zugriffsbeschränkungen
• definierte Speicherfristen
• Audit Logs

Nicht jede mögliche Analyse sollte automatisch durchgeführt werden, nur weil die Daten technisch vorhanden sind.

Welche Kennzahlen sind sinnvoll?

Es gibt keine einzelne Kennzahl, die Suchqualität vollständig beschreibt.

Je nach Anwendung können verschiedene Perspektiven sinnvoll sein.

Nutzung

• Wie häufig wird gesucht?
• Welche Themen treten auf?

Retrieval

• Werden relevante Inhalte überhaupt gefunden?

Ranking

• Stehen relevante Inhalte weit genug oben?

Interaktion

• Welche Ergebnisse, Filter oder Vorschläge werden verwendet?

Query Verhalten

• Wie oft werden Anfragen reformuliert oder wiederholt?

Antwortqualität

• Wie zuverlässig funktionieren Question Answering und RAG?

Business Wirkung

• Unterstützt die Suche das gewünschte Ziel, beispielsweise Self Service, Wissenszugang oder Produktfindung?
• Intelligent Insights verbindet diese Perspektiven und hilft dabei, aus ihnen konkrete Prioritäten abzuleiten.

Vom Dashboard zum kontinuierlichen Lernprozess

Der größte Nutzen entsteht, wenn Insights nicht einmalig betrachtet werden.

Ein sinnvoller Prozess sieht beispielsweise so aus:

1. Suchdaten beobachten

Auffälligkeiten und Muster erkennen.

2. Ursache analysieren

Retrieval, Ranking, Content, Metadaten oder Nutzerführung prüfen.

3. Maßnahme umsetzen

Synonyme, Ranking, Filter, Inhalte oder Modelle anpassen.

4. Wirkung messen

Prüfen, ob sich die Search Experience tatsächlich verbessert hat.

Damit entsteht ein kontinuierlicher Optimierungskreislauf.

Search Analytics wird vom Reporting Werkzeug zu einem Bestandteil des Search Managements.

Fazit: Suchdaten werden wertvoll, wenn daraus Entscheidungen entstehen

Jede Suchanfrage enthält Informationen darüber, was Nutzer benötigen und wie gut eine Suche dieses Bedürfnis erfüllt.

Doch große Mengen an Queries, Klicks und Interaktionsdaten allein verbessern noch keine Suche.

Der entscheidende Schritt besteht darin, Muster zu erkennen, Ursachen zu unterscheiden und daraus konkrete Maßnahmen abzuleiten.

Intelligent Insights kann dabei helfen, Nulltreffer zu analysieren, Rankingprobleme sichtbar zu machen, neue Nutzerbedürfnisse zu entdecken, Content Lücken zu identifizieren und die Qualität von AI Search systematisch zu überwachen.

Besonders mit Semantic Search, RAG und Question Answering steigt die Bedeutung solcher Analysen. Die Search Experience wird komplexer und damit auch die Frage, warum ein Ergebnis oder eine Antwort erfolgreich war.

Intelligent Insights macht aus Suchdaten nicht nur Kennzahlen, sondern eine Grundlage für kontinuierliche Entscheidungen und Verbesserungen.

Die Quasiris Search Cloud unterstützt Intelligent Insights, um Suchdaten auszuwerten und Erkenntnisse zu Suchverhalten, Relevanz und Optimierungspotenzial nutzbar zu machen.

Sie möchten besser verstehen, was Ihre Suchdaten über Nutzerbedürfnisse und Suchqualität verraten? Sprechen Sie mit den Search Experten von Quasiris über Ihren Anwendungsfall.