Wie KI Suchergebnisse automatisch verbessert: Technologien, Verfahren und Qualitätskontrolle

Eine Suchmaschine kann technisch einwandfrei funktionieren und trotzdem schlechte Ergebnisse liefern. Sie findet zwar Dokumente oder Produkte, platziert die wirklich hilfreichen Treffer jedoch zu weit unten. Für Nutzer entsteht dadurch schnell der Eindruck, die gesuchte Information sei nicht vorhanden.

Das grundlegende Problem besteht darin, dass Relevanz keine feste Eigenschaft eines Dokuments ist. Ein Inhalt ist nicht allgemein relevant, sondern nur in Bezug auf eine konkrete Suchanfrage, eine bestimmte Situation und das Ziel des Nutzers. Eine technische Dokumentation kann für einen Servicetechniker besonders wichtig sein, während ein Einkäufer bei derselben Suchanfrage eher Produktdaten, Verfügbarkeit oder Lieferzeiten benötigt.

Künstliche Intelligenz erweitert die Möglichkeiten klassischer Suchsysteme. Sie hilft dabei, Anfragen besser zu verstehen, unterschiedliche Suchmethoden zu kombinieren, Treffer neu zu bewerten und aus Qualitätsdaten zu lernen. Automatische Optimierung bedeutet dabei nicht, dass ein Sprachmodell eigenständig und unkontrolliert über die Reihenfolge aller Ergebnisse entscheidet. Leistungsfähige Systeme arbeiten mit einer mehrstufigen Sucharchitektur, definierten Geschäftszielen und messbaren Qualitätskriterien.

Warum klassische Relevanzbewertung weiterhin wichtig bleibt

Klassische Volltextsuchmaschinen bewerten unter anderem, wie häufig ein Suchbegriff in einem Dokument vorkommt, wie selten dieser Begriff im gesamten Datenbestand ist und wie lang das jeweilige Dokument ausfällt. Ein verbreitetes Verfahren dafür ist BM25. Es basiert auf dem probabilistischen Information Retrieval und eignet sich besonders gut für exakte Begriffe, Produktnummern, Modellbezeichnungen, Namen und technische Abkürzungen. BM25 und seine Varianten bilden deshalb weiterhin eine wichtige Grundlage moderner Suchsysteme.

Sucht ein Nutzer beispielsweise nach der Produktnummer „QSC 4107“, ist eine exakte lexikalische Übereinstimmung meist wertvoller als ein Dokument, das lediglich ein inhaltlich ähnliches Produkt beschreibt. Dasselbe gilt für Fehlercodes, Vertragsnummern oder gesetzliche Referenzen.

Klassische Verfahren stoßen jedoch an Grenzen, sobald Nutzer andere Begriffe verwenden als die Autoren der Inhalte. Wer nach „Motor wird bei Dauerbetrieb zu heiß“ sucht, erwartet auch ein Dokument, das von einem „Temperaturanstieg des Antriebsaggregats unter kontinuierlicher Last“ spricht. Die Wörter stimmen kaum überein, die Bedeutung ist jedoch ähnlich.

Genau an dieser Stelle ergänzen KI gestützte Verfahren die klassische Suche.

Stufe 1: Die Suchanfrage verstehen

Bevor eine Suchmaschine passende Dokumente auswählen kann, muss sie möglichst genau erfassen, was der Nutzer meint. Diese Aufgabe wird häufig unter den Begriffen Query Understanding oder Natural Language Understanding zusammengefasst.

Ein modernes System kann eine Suchanfrage in mehrere Bestandteile zerlegen:

• Was ist das zentrale Thema?

• Welche Objekte, Produkte oder Personen werden genannt?

• Welche Handlung oder Information wird erwartet?

• Gibt es einschränkende Angaben wie Zeitraum, Standort oder Produktversion?

• Ist eine exakte Übereinstimmung oder ein inhaltlich ähnliches Ergebnis erforderlich?

Bei der Frage „Welche Wartung ist für die Hydraulikpumpe der Baureihe X nach 2.000 Betriebsstunden erforderlich?“ kann das System unter anderem das Bauteil, die Baureihe, den Wartungskontext und das zeitliche Kriterium erkennen.

Auf dieser Grundlage lassen sich Suchanfragen automatisch korrigieren oder erweitern. Typische Funktionen sind Rechtschreibkorrekturen, Synonyme, Abkürzungsauflösungen, Übersetzungen und die Erkennung von Produktbeziehungen. Ein Unternehmen kann beispielsweise definieren, dass „Hydraulikpumpe“, „Pumpenaggregat“ und eine interne Artikelbezeichnung auf dieselbe Produktgruppe verweisen.

Generative Modelle können zudem Suchanfragen umformulieren oder in mehrere Teilanfragen zerlegen. Diese Verfahren sollten jedoch kontrolliert eingesetzt werden. Eine zu starke Erweiterung kann die ursprüngliche Absicht verändern und zusätzliche, aber irrelevante Treffer erzeugen. Moderne Forschung betrachtet Sprachmodelle daher als Komponenten innerhalb einer Retrieval Architektur, etwa als Query Rewriter, Retriever, Re Ranker oder Reader, nicht als vollständigen Ersatz der Suchmaschine.

Stufe 2: Semantische Suche ergänzt exakte Treffer

Semantische Suche vergleicht nicht ausschließlich Wörter, sondern die inhaltliche Bedeutung von Anfragen und Dokumenten. Dafür werden Texte durch Embedding Modelle in numerische Vektoren übersetzt. Inhalte mit ähnlicher Bedeutung liegen im Vektorraum näher beieinander, auch wenn sie unterschiedliche Formulierungen verwenden.

Ein Nutzer könnte nach „Rückgabe eines defekten Geräts“ suchen, während die relevante Richtlinie den Vorgang als „Reklamation mangelhafter Hardware“ beschreibt. Eine semantische Suche kann diese Beziehung erkennen. Google beschreibt Semantic Search entsprechend als Suchverfahren, das Kontext und Nutzerabsicht berücksichtigt, statt sich allein auf wortgleiche Treffer zu verlassen.¹

Vektorsuche ist dennoch nicht automatisch besser als Volltextsuche. Ihre Qualität hängt unter anderem vom verwendeten Embedding Modell, der Sprache, dem fachlichen Vokabular, der Aufbereitung der Inhalte und der gewählten Ähnlichkeitsmetrik ab. Fachbegriffe, Nummern und kurze Abkürzungen werden von allgemeinen Modellen nicht immer zuverlässig abgebildet. Bei domänenspezifischen Daten muss deshalb geprüft werden, ob das Modell das relevante Vokabular angemessen repräsentiert.

Stufe 3: Hybrid Search verbindet Präzision und Bedeutung

In professionellen Suchanwendungen werden lexikalische und semantische Verfahren häufig kombiniert. Diese Verbindung wird als Hybrid Search bezeichnet.

Dabei laufen mindestens zwei Suchvorgänge parallel. Die Volltextsuche identifiziert exakte Begriffe und Wortkombinationen. Die Vektorsuche findet Inhalte mit ähnlicher Bedeutung. Anschließend werden beide Ergebnislisten zu einem gemeinsamen Ranking zusammengeführt.

Ein etabliertes Verfahren dafür ist Reciprocal Rank Fusion, kurz RRF. Der Algorithmus berücksichtigt die Position eines Dokuments in mehreren Ergebnislisten und erzeugt daraus einen gemeinsamen Wert. Dokumente, die in unterschiedlichen Suchverfahren gut abschneiden, erhalten dadurch eine hohe Gesamtplatzierung. Das ursprüngliche RRF Verfahren wurde bereits 2009 wissenschaftlich beschrieben² und wird heute unter anderem von Azure AI Search und Elasticsearch für Hybrid Search eingesetzt.³

Hybrid Search ist besonders hilfreich, wenn ein Datenbestand sehr unterschiedliche Suchmuster aufweist. In einem Ersatzteilkatalog müssen Artikelnummern exakt gefunden werden. Bei Problembeschreibungen und Supportfragen ist dagegen das semantische Verständnis entscheidend. Ein hybrides Verfahren kann beide Anforderungen innerhalb derselben Plattform abdecken.

Stufe 4: Re Ranking bewertet die besten Kandidaten genauer

Die erste Suchstufe muss sehr schnell arbeiten. Sie durchsucht möglicherweise Millionen von Dokumenten und stellt innerhalb weniger Millisekunden eine Kandidatenliste zusammen. Dabei kann sie jedoch nicht jedes Dokument tiefgehend analysieren.

Deshalb verwenden moderne Systeme häufig eine zweite Bewertungsstufe. Ein Re Ranker erhält nur die bereits vorausgewählten Treffer und untersucht genauer, wie gut jeder Inhalt die konkrete Frage beantwortet. Im Unterschied zu einfachen Embedding Vergleichen kann ein Re Ranking Modell Anfrage und Dokument gemeinsam verarbeiten.

Frühe Arbeiten zum Passage Re Ranking mit BERT zeigten, dass solche Modelle die Reihenfolge einer zuvor durch klassische Retrieval Verfahren erzeugten Kandidatenliste deutlich verbessern können..⁴ Das Prinzip der mehrstufigen Suche ist bis heute relevant: Eine schnelle erste Stufe sorgt für ausreichende Abdeckung, eine rechenintensivere zweite Stufe verbessert die Präzision an den obersten Positionen.⁵

Aktuelle Suchplattformen stellen semantische Re Ranker als eigene Komponente bereit. Microsoft beschreibt seinen Semantic Ranker als Sprachmodell, das eine bestehende Ergebnisliste anhand der Bedeutung neu bewertet. Die Ranking API von Google verfolgt ein ähnliches Prinzip und bewertet, wie gut einzelne Dokumente eine Anfrage beantworten. Auch Elasticsearch unterstützt semantische Re Ranking Verfahren als nachgelagerte Bewertungsstufe.⁶

Ein Re Ranker sollte jedoch nur eine begrenzte Anzahl von Dokumenten prüfen. Wird die Kandidatenliste zu klein gewählt, können relevante Inhalte bereits in der ersten Stufe verloren gehen. Ist sie zu groß, steigen Rechenaufwand, Kosten und Antwortzeit. Die richtige Konfiguration hängt vom Datenbestand, der Nutzungssituation und den Anforderungen an die Latenz ab.

Stufe 5: Geschäftsspezifische Signale einbeziehen

Relevanz besteht nicht nur aus sprachlicher Ähnlichkeit. In einer produktiven Suche spielen häufig weitere Kriterien eine Rolle:

• Aktualität eines Dokuments

• Gültigkeitsstatus

• Produktverfügbarkeit

• Nutzerrolle

• Standort oder Sprache

• Qualität und Vollständigkeit der Metadaten

• Beliebtheit oder Nutzungshäufigkeit

• Unternehmensspezifische Prioritäten

• Sicherheitsfreigaben und Zugriffsrechte

Ein älteres Dokument kann sprachlich perfekt zur Anfrage passen und trotzdem nicht mehr gültig sein. Eine neue Richtlinie mit einer leicht abweichenden Formulierung muss in diesem Fall höher platziert werden. Ebenso kann ein Shop verfügbare Produkte gegenüber nicht lieferbaren Varianten priorisieren, sofern dies mit der Suchintention vereinbar ist.

Viele Suchlösungen ermöglichen es heute, semantische und lexikalische Signale mit dokumentbezogenen Kriterien wie Aktualität, Gültigkeitsstatus oder individuellen Feldern zu verbinden. Vergleichbare Gewichtungen lassen sich über konfigurierbare Relevanzprofile oder Regeln umsetzen, die das Ranking an fachliche und geschäftliche Anforderungen anpassen.

Diese Regeln sind kein Widerspruch zu künstlicher Intelligenz. Sie stellen sicher, dass das System fachliche und geschäftliche Anforderungen berücksichtigt, die ein allgemeines Sprachmodell nicht zuverlässig kennen kann.

Stufe 6: Learning to Rank nutzt Qualitätsdaten

Learning to Rank bezeichnet Verfahren, bei denen ein maschinelles Lernmodell aus Beispielen lernt, wie Suchergebnisse angeordnet werden sollen. Das Training basiert typischerweise auf Suchanfragen, Dokumenten und einer Bewertung ihrer Relevanz.

Diese Bewertungen können aus unterschiedlichen Quellen stammen:

• Fachliche Bewertungen durch Experten

• Historische Such und Klickdaten

• Käufe, Downloads oder erfolgreiche Supportvorgänge

• Explizites Nutzerfeedback

• Kontrollierte Experimente

• Automatisch erzeugte Vorbewertungen, die anschließend geprüft werden

Learning to Rank Modelle kombinieren mehrere Merkmale. Dazu können BM25 Werte, semantische Ähnlichkeit, Aktualität, Dokumententyp, Klickwahrscheinlichkeit oder Produktverfügbarkeit gehören. Das Modell lernt, welche Kombination für eine bestimmte Art von Anfrage besonders aussagekräftig ist. In aktuellen Suchplattformen wird Learning to Rank meist als zweite Rankingstufe eingesetzt.

Nutzerdaten dürfen dabei nicht unkritisch übernommen werden. Ein Klick bedeutet nicht zwangsläufig, dass ein Ergebnis relevant war. Nutzer klicken häufiger auf Treffer, die ohnehin weit oben erscheinen. Dieser Positionseffekt kann ein System verstärken, wenn Klickdaten ohne Korrektur als objektive Wahrheit behandelt werden.

Zudem kann eine zu starke Personalisierung wichtige Alternativen ausblenden. Im Unternehmensumfeld sollte Personalisierung deshalb nachvollziehbar, datenschutzkonform und an klar definierte Rollen oder Nutzungssituationen gebunden sein.

Automatische Filter und Klassifikation

KI kann Suchergebnisse nicht nur sortieren, sondern auch ihre Struktur verbessern. Automatische Klassifikationsmodelle ordnen Dokumente Kategorien zu, erkennen Entitäten oder ergänzen fehlende Metadaten.

Dadurch lassen sich dynamische Filter erzeugen. Bei der Suche nach einer Industriepumpe könnten beispielsweise Filter für Hersteller, Werkstoff, Druckbereich und Einsatzgebiet angezeigt werden. Bei einer Suche nach Verträgen wären dagegen Vertragsart, Laufzeit, Abteilung und Status sinnvoll.

Die Qualität solcher Funktionen hängt stark von der Datenbasis ab. Automatisch erzeugte Kategorien sollten überprüfbar sein. In sicherheitskritischen Anwendungen dürfen fehlerhafte Klassifikationen keine Berechtigungen verändern oder vertrauliche Inhalte sichtbar machen.

Smart Snippets und direkte Antworten

Auch eine gute Ergebnisreihenfolge hilft nur begrenzt, wenn Nutzer jedes Dokument einzeln öffnen müssen. Smart Snippets zeigen deshalb relevante Textpassagen direkt in der Trefferliste. Question Answering Systeme gehen noch einen Schritt weiter und formulieren aus gefundenen Inhalten eine direkte Antwort.

Bei generativen Antworten bleibt die Suchqualität entscheidend. Ein Sprachmodell kann nur dann eine belastbare Antwort erzeugen, wenn die Retrieval Stufe passende und aktuelle Quellen liefert. Retrieval Augmented Generation verbindet deshalb einen Suchindex mit einem Sprachmodell, damit die Antwort auf vorhandenen Unternehmensdaten basiert.

Das System sollte die verwendeten Quellen sichtbar machen und klar kommunizieren, wenn keine ausreichende Grundlage vorliegt. Eine plausible Formulierung ohne belastbare Fundstelle ist im Unternehmenskontext kein gutes Suchergebnis.

Wie lässt sich feststellen, ob die Suche wirklich besser wird?

Automatische Optimierung ist nur dann sinnvoll, wenn Verbesserungen messbar sind. Einzelne beeindruckende Beispiele reichen nicht aus. Teams benötigen einen repräsentativen Testsatz aus realen Suchanfragen und bewerteten Dokumenten.

Ein solcher Goldstandard enthält für jede ausgewählte Anfrage eine fachliche Einschätzung, welche Ergebnisse sehr relevant, teilweise relevant oder irrelevant sind. Mit diesen Bewertungen lassen sich unterschiedliche Suchkonfigurationen objektiv vergleichen.

Häufig verwendete Kennzahlen sind:

Precision at K: Welcher Anteil der ersten K Treffer ist relevant?

Recall: Welcher Anteil aller relevanten Dokumente wurde gefunden?

Mean Reciprocal Rank: Wie weit oben erscheint der erste relevante Treffer?

NDCG: Wie gut entspricht die Reihenfolge der Ergebnisse einer abgestuften fachlichen Relevanzbewertung?

Relevanzurteile und abgestufte Metriken gehören seit vielen Jahren zum Standard der Information Retrieval Evaluation. Aktuelle Werkzeuge wie die OpenSearch Search Relevance Workbench organisieren dafür Anfragesätze, Bewertungslisten und vergleichbare Suchkonfigurationen.

Automatische Bewertungen durch Sprachmodelle können den Aufbau von Testsätzen beschleunigen. Sie sollten jedoch nicht als vollständig objektiver Ersatz für Fachexperten betrachtet werden, sondern vor allem als Ergänzung zu manuell bewerteten Relevanzurteilen dienen. Moderne Suchplattformen integrieren solche Verfahren zunehmend in ihre Relevanz-Workflows; OpenSearch unterstützt in aktuellen Versionen etwa Hybrid Search mit RRF und verwandte Relevance-Tuning-Funktionen.⁷

Nach erfolgreichen Offline Tests sollte eine neue Rankingkonfiguration zunächst nur für einen begrenzten Teil des Traffics eingesetzt werden. Dabei lassen sich Suchabbrüche, Klicks, Conversions, Folgeanfragen oder erfolgreiche Prozessabschlüsse vergleichen. Eine Verbesserung der technischen Relevanzmetriken muss sich letztlich auch im tatsächlichen Nutzungserlebnis zeigen.

Warum menschliche Kontrolle notwendig bleibt

Eine selbstoptimierende Suche darf nicht mit einer vollständig autonomen Suche verwechselt werden. Unternehmen benötigen weiterhin klare Verantwortlichkeiten für Datenqualität, Rankingziele, Datenschutz und fachliche Korrektheit.

Besonders kritisch sind vier Bereiche:

Berechtigungen: Die Rankinglogik darf niemals Inhalte berücksichtigen oder anzeigen, für die der Nutzer keine Freigabe besitzt.

Aktualität: Veraltete Dokumente müssen zuverlässig erkannt, gekennzeichnet oder ausgeschlossen werden.

Nachvollziehbarkeit: Änderungen an Modellen, Regeln und Gewichtungen müssen protokolliert werden.

Regressionen: Eine Verbesserung bei einer Anfragegruppe darf nicht unbemerkt zu schlechteren Ergebnissen in einem anderen Bereich führen.

Aktuelle Systeme zur automatisierten Relevanzoptimierung setzen deshalb zunehmend auf kontrollierte Evaluationsschleifen und Human in the Loop Verfahren. Der Mensch bleibt für die Festlegung der Ziele und die Freigabe produktiver Änderungen verantwortlich.

Wie Quasiris die Optimierung bestehender Suchsysteme unterstützt

Unternehmen müssen ihre vorhandene Suchtechnologie nicht zwangsläufig ersetzen, um KI gestützte Optimierungen einzuführen. Eine modulare Plattform kann bestehende Engines um Query Understanding, Semantic Search, Hybrid Search, automatische Neusortierung, dynamische Filter und Analysefunktionen ergänzen.

Die Quasiris Search Cloud unterstützt nach Angaben des Anbieters unter anderem Elasticsearch, OpenSearch, Solr und Lucene sowie unterschiedliche KI und Embedding Modelle. Unternehmen können eine bestehende Engine anbinden oder die von Quasiris bereitgestellte Suchlösung verwenden. Die Plattform bietet außerdem Funktionen für Hybrid Search, automatische Neusortierung, Intent Detection, Personalisierung und domänenspezifische Modellkonfiguration.

Ein besonders sinnvoller Bestandteil ist der Vergleich mehrerer Suchkonfigurationen anhand eines Goldstandards. Quasiris beschreibt dafür einen dreistufigen Benchmarkprozess: Zunächst wird ein Referenzdatensatz mit erwarteten Ergebnissen definiert. Anschließend werden verschiedene Suchkandidaten ausgewählt. Abschließend erzeugt das System einen Vergleichsbericht.

Dieser Ansatz vermeidet Optimierungen nach Bauchgefühl. Eine Suchkonfiguration gilt erst dann als besser, wenn sie bei repräsentativen Anfragen messbar bessere Ergebnisse liefert.

Praxisbeispiel: Vom schlechten Treffer zur passenden Antwort

Ein Maschinenbauer verwaltet mehrere Millionen technische Dokumente. Ein Servicetechniker sucht nach „Antrieb stoppt nach langer Laufzeit“.

Eine moderne AI Search Plattform kann die Anfrage wie folgt verarbeiten:

• Das System erkennt, dass ein technisches Fehlerbild und keine Produktbestellung gemeint ist.

• Synonyme und interne Begriffe werden berücksichtigt.

• BM25 sucht nach exakten Begriffen wie „Antrieb“ und „Laufzeit“.

• Die semantische Suche findet zusätzlich Dokumente zum Thema Überhitzung unter Dauerlast.

• Metadaten beschränken die Ergebnisse auf die betroffene Maschinenbaureihe.

• Hybrid Search verbindet beide Ergebnislisten.

• Ein Re Ranker bewertet, welche Passage das beschriebene Problem am genauesten behandelt.

• Veraltete Handbücher werden niedriger bewertet oder ausgeschlossen.

• Die Trefferliste zeigt den relevanten Abschnitt mit Dokumentversion und Quelle.

• Ein Question Answering Modul formuliert eine kurze Antwort auf Basis des freigegebenen Wartungshandbuchs.

Keiner dieser Schritte löst das Problem allein. Erst das Zusammenspiel aus klassischer Suche, semantischen Modellen, Unternehmensregeln und Qualitätskontrolle erzeugt ein belastbares Ergebnis.

Fazit

KI verbessert Suchergebnisse nicht durch einen einzelnen Algorithmus. Gute AI Search entsteht aus mehreren aufeinander abgestimmten Stufen.

Die klassische Volltextsuche findet exakte Begriffe. Semantische Modelle erkennen inhaltliche Zusammenhänge. Hybrid Search kombiniert beide Ergebniswelten. Re Ranker bewerten die besten Kandidaten genauer. Learning to Rank nutzt fachliche Bewertungen und kontrollierte Nutzersignale. Metadaten, Berechtigungen und Geschäftsregeln sorgen dafür, dass die Ergebnisse nicht nur sprachlich passend, sondern auch aktuell, sicher und praktisch nutzbar sind.

Der entscheidende Erfolgsfaktor ist die Messbarkeit. Unternehmen sollten vor jeder automatischen Optimierung definieren, was ein gutes Ergebnis für ihren konkreten Anwendungsfall bedeutet. Erst ein belastbarer Goldstandard macht sichtbar, ob ein neues Modell tatsächlich besser arbeitet oder lediglich überzeugender wirkt.

Eine moderne Suchplattform wird damit nicht zu einer unkontrollierten Blackbox. Sie entwickelt sich zu einem lernfähigen System, dessen Entscheidungen überprüft, verglichen und gezielt an die Anforderungen des Unternehmens angepasst werden können.