Die Suche liefert Ergebnisse und ist trotzdem schlecht: Fünf unterschätzte Qualitätsprobleme

Eine Suchanfrage liefert zehn, hundert oder sogar tausend Treffer. Auf den ersten Blick scheint die Suchfunktion damit ihre Aufgabe zu erfüllen. Trotzdem finden Nutzer nicht die gewünschte Information, brechen die Suche ab oder formulieren ihre Anfrage mehrfach neu.

Das zeigt: Die Zahl der Treffer sagt wenig über die tatsächliche Qualität einer Suche aus. Entscheidend ist, ob die richtigen Inhalte schnell, verständlich und im passenden Kontext erscheinen.

Treffer sind nicht gleich relevante Treffer

Eine Suche kann technisch korrekt arbeiten und dennoch am Bedarf der Nutzer vorbeigehen. Das geschieht zum Beispiel, wenn sie einzelne Begriffe zuverlässig erkennt, aber die Absicht hinter der Anfrage nicht versteht.

Sucht eine Person nach „Notebook für Außendienst“, können alle Dokumente mit den Wörtern „Notebook“ und „Außendienst“ formal als Treffer gelten. Wirklich hilfreich sind jedoch nur Produkte oder Inhalte, die zu den Anforderungen des mobilen Arbeitens passen, etwa geringes Gewicht, lange Akkulaufzeit und geeignete Anschlüsse.

Die zentrale Frage lautet deshalb nicht:

Hat die Suche etwas gefunden?

Sondern:

Hat sie das gefunden, was die Person für ihre Aufgabe benötigt?

Diese Unterscheidung bildet die Grundlage für eine belastbare Bewertung von Suchqualität.

1. Relevante Ergebnisse stehen zu weit unten

Eines der häufigsten Qualitätsprobleme ist ein schwaches Ranking. Die gesuchte Information ist zwar im Index vorhanden, erscheint aber erst auf der zweiten oder dritten Ergebnisseite.

Für Nutzer macht es kaum einen Unterschied, ob ein Inhalt nicht gefunden wurde oder erst nach langer Suche sichtbar wird. In beiden Fällen entsteht zusätzlicher Aufwand.

Ein gutes Ranking berücksichtigt mehrere Signale, zum Beispiel:

• die Übereinstimmung mit der Suchanfrage
• die Bedeutung und den Kontext der Anfrage
• die Aktualität des Dokuments
• den Dokumenttyp
• die Qualität der Metadaten
• definierte fachliche Prioritäten

Auch Interaktionsdaten können helfen. Sie müssen jedoch sorgfältig interpretiert werden. Ergebnisse auf den oberen Positionen werden häufiger gesehen und angeklickt, unabhängig von ihrer tatsächlichen Relevanz. Dieser Positionseffekt kann Trainingsdaten verzerren. Verfahren für unverzerrtes Learning to Rank wurden entwickelt, um solche Einflüsse bei der Optimierung des Rankings zu berücksichtigen.¹

Ein häufiger Fehler besteht darin, Klicks direkt mit Qualität gleichzusetzen. Ein häufig ausgewähltes Ergebnis kann relevant sein. Es kann aber auch lediglich besonders sichtbar, auffällig formuliert oder alternativlos sein.

2. Die Treffer passen sprachlich, aber nicht inhaltlich

Klassische Suchverfahren arbeiten stark mit Begriffen. Das ist bei Produktnummern, Fehlercodes und Eigennamen sinnvoll. Bei natürlich formulierten Fragen reicht ein reiner Wortabgleich jedoch oft nicht aus.

Eine Anfrage wie „Wie setze ich mein Kundenkonto zurück?“ kann zu einem Dokument mit dem Titel „Wiederherstellung von Zugangsdaten“ passen, obwohl beide Formulierungen kaum identische Wörter enthalten.

Semantische Verfahren bilden Anfragen und Inhalte als Vektoren ab. Dadurch können sie inhaltliche Ähnlichkeiten erkennen. Eine rein semantische Suche ist jedoch ebenfalls nicht für jede Anfrage optimal. Exakte Kennungen oder Fachbegriffe können durch lexikalische Verfahren zuverlässiger verarbeitet werden.

Hybride Suche verbindet beide Ansätze. Aktuelle Analysen zeigen, dass die Kombination aus lexikalischem und semantischem Retrieval besonders dann sinnvoll ist, wenn ein Datenbestand sowohl präzise Bezeichnungen als auch natürlich formulierte Inhalte enthält. Die beste Gewichtung hängt vom jeweiligen Korpus und Anwendungsfall ab.²

3. Veraltete Inhalte verdrängen aktuelle Informationen

Ein Dokument kann thematisch passen und dennoch ungeeignet sein.

Typische Beispiele sind:

• eine alte Produktbeschreibung
• eine überholte Preisliste
• eine frühere Version einer Richtlinie
• eine technische Anleitung für ein nicht mehr verwendetes System
• ein Vertragstemplate mit veralteten Angaben

Wenn Aktualität nicht in die Bewertung einfließt, können ältere Inhalte weit oben erscheinen. Besonders kritisch wird dies, wenn Dokumente ähnliche Titel tragen oder frühere Versionen nicht eindeutig gekennzeichnet sind.

Eine Suchplattform benötigt deshalb mehr als einen Volltextindex. Sie muss den Status, das Veröffentlichungsdatum, die Version und gegebenenfalls die Gültigkeit eines Dokuments berücksichtigen können.

Dabei sollte Aktualität nicht pauschal jedes andere Signal überstimmen. Bei historischen Analysen kann ein älteres Dokument genau das richtige Ergebnis sein. Die Gewichtung muss zur jeweiligen Domäne passen.

4. Filter helfen nicht bei der Orientierung

Filter sollen große Ergebnismengen überschaubar machen. In vielen Suchanwendungen bleiben sie jedoch statisch, unvollständig oder schlecht auf die aktuelle Anfrage abgestimmt.

Eine Produktsuche nach „Schuhe“ benötigt andere Filter als eine Suche nach „Notebook“. Auch bei einer internen Dokumentensuche sollten sich die verfügbaren Kategorien am Inhalt orientieren. Bei Verträgen können Laufzeit, Vertragspartner und Status relevant sein. Bei technischen Unterlagen sind Modell, Version und Sprache wichtiger.

Dynamic Faceting passt die angebotenen Filter an die Suchanfrage und die vorhandenen Ergebnisse an. Dadurch werden nur Auswahlmöglichkeiten angezeigt, die im aktuellen Kontext sinnvoll sind.

Schlechte Filter führen häufig zu einem paradoxen Effekt: Die Suche liefert viele Treffer, aber Nutzer können die Ergebnismenge nicht sinnvoll eingrenzen. Formal ist die Suche erfolgreich. Praktisch bleibt sie unbrauchbar.

5. Nutzer müssen ihre Anfrage immer wieder umformulieren

Eine einzelne Neuformulierung ist normal. Wiederholt sich dieses Verhalten jedoch regelmäßig, kann es auf ein grundlegendes Qualitätsproblem hinweisen.

Typische Verläufe sind:

Reisekosten
Reisekosten Richtlinie
Reisekosten Richtlinie Deutschland
aktuelle Reisekosten Richtlinie Deutschland PDF

Die Person konkretisiert ihre Anfrage schrittweise, weil die Suche den ursprünglichen Bedarf nicht ausreichend versteht oder passende Filter fehlen.

Solche Suchketten sind für die Qualitätsanalyse wertvoll. Sie zeigen, an welchen Stellen Nutzer zusätzliche Begriffe ergänzen, Synonyme verwenden oder die Suche vollständig neu beginnen.

Ein Management Dashboard sollte deshalb nicht nur einzelne Anfragen betrachten. Auch aufeinanderfolgende Suchvorgänge, Nulltreffer, Klickpfade und Abbrüche liefern wichtige Hinweise.

Wie lässt sich schlechte Suche erkennen?

Eine einzelne Kennzahl reicht selten aus. Nulltrefferquoten sind wichtig, bilden aber nur einen Teil der Nutzererfahrung ab.

Eine umfassendere Bewertung kann folgende Signale verbinden:

Signal	Mögliche Bedeutung
Keine Treffer	Inhalt fehlt oder Anfrage wird nicht verstanden
Viele Treffer, keine Auswahl	Ranking oder Ergebnismenge ist ungeeignet
Mehrfache Neuformulierung	Suchabsicht wird nicht ausreichend erkannt
Auswahl eines weit unten stehenden Treffers	Relevanter Inhalt wird zu niedrig bewertet
Schnelle Rückkehr zur Ergebnisliste	Der gewählte Treffer erfüllt die Erwartung nicht
Häufige manuelle Filterwechsel	Facetten passen nicht zum Suchkontext

Für einen objektiven Vergleich sollte zusätzlich ein Goldstandard aufgebaut werden. Dabei wird für repräsentative Anfragen festgelegt, welche Ergebnisse relevant sind und auf welchen Positionen sie erscheinen sollten.

Die Bewertung darf nicht allein einem Sprachmodell überlassen werden. NIST weist darauf hin, dass Large Language Models als alleinige Quelle für Relevanzurteile problematisch sind, da die Bewertung dadurch vom verwendeten Modell abhängig wird und bessere Systeme benachteiligt werden können.³

Fachliche Bewertungen durch Personen aus der Zielgruppe bleiben deshalb ein wichtiger Bestandteil der Qualitätskontrolle.

Fazit: Suchqualität beginnt dort, wo die Trefferquote endet!

Eine Suche ist nicht gut, nur weil sie Ergebnisse liefert. Entscheidend ist, ob sie die richtigen Inhalte erkennt, sinnvoll sortiert und für den jeweiligen Kontext zugänglich macht.

Relevanz, Aktualität, Filter, Suchabsicht und Nutzerverhalten müssen gemeinsam betrachtet werden. Erst dadurch wird sichtbar, ob eine Suchfunktion tatsächlich unterstützt oder lediglich Dokumente auflistet.

Die Quasiris Search Cloud verbindet lexikalische und semantische Suchverfahren, automatische Neubewertung, dynamische Filter und Managementfunktionen. Bestehende Suchmaschinen können eingebunden und schrittweise erweitert werden. Welche Komponenten sinnvoll sind, richtet sich nach Datenbestand, Domäne und Geschäftsziel.

Welche AI Features dabei den größten Mehrwert schaffen können, zeigen wir Ihnen in unserem Überblick zu den AI Features der Quasiris Search Cloud.