Eine Suche nach einer Bestellnummer benötigt kein leistungsstarkes Reasoning-Modell. Eine technische Auswirkungsanalyse über mehrere Dokumente, Produkte und Vertragsstände möglicherweise schon.
Trotzdem behandeln viele AI-Search-Systeme alle Anfragen gleich: dieselbe Datenquelle, dieselbe Retrieval-Konfiguration, dieselbe Anzahl von Dokumenten und dasselbe Sprachmodell.
Das ist einfach zu implementieren, aber selten wirtschaftlich. Ein großes Modell verursacht auch dann Kosten und Wartezeit, wenn eine kleinere Lösung dieselbe Aufgabe zuverlässig erledigen könnte. Gleichzeitig kann ein zu schwaches Modell bei komplexen oder risikoreichen Fragen entscheidende Zusammenhänge übersehen.
Model Routing soll deshalb für jede Anfrage den passenden Verarbeitungsweg auswählen.
Was bedeutet Model Routing in AI Search?
Model Routing bezeichnet die dynamische Auswahl eines geeigneten KI-Modells anhand der jeweiligen Anfrage. Dabei können beispielsweise Komplexität, Fachgebiet, Risiko, Antwortzeit, Kosten und Datenschutz berücksichtigt werden.
Für AI Search sollte Routing jedoch weiter gefasst werden. Ein Router kann nicht nur das Sprachmodell auswählen, sondern auch entscheiden:
- ob überhaupt ein generatives Modell erforderlich ist,
- welche Datenquellen durchsucht werden,
- welcher Suchindex verwendet wird,
- ob Keyword-, Vektor- oder hybride Suche geeignet ist,
- welche Metadatenfilter gelten,
- ob ein Reranker aktiviert wird,
- wie viele Quellen abgerufen werden,
- ob ein kleines oder großes Sprachmodell antwortet,
- und wann eine menschliche Prüfung notwendig ist.
Routing wird damit zur Steuerzentrale der gesamten Search-Pipeline.
Warum eine einheitliche Pipeline nicht optimal ist
Enterprise Search verarbeitet sehr unterschiedliche Anfragearten:
- „Zeige die Rechnung mit der Nummer 4711.“
- „Welches Ersatzteil passt zu dieser Produktversion?“
- „Fasse die Änderungen der letzten Vertragsfassung zusammen.“
- „Welche Kunden könnten von der neuen Sicherheitsrichtlinie betroffen sein?“
- „Erstelle eine Handlungsempfehlung aus Tickets, Produktdaten und Projektdokumenten.“
Die erste Anfrage benötigt vor allem exakte Suche und Filterung. Die letzte Anfrage verlangt möglicherweise mehrere Retrieval-Schritte, ein leistungsstarkes Reasoning-Modell und eine sorgfältige Quellenprüfung.
Eine einheitliche Pipeline erzeugt deshalb zwei Arten von Verschwendung:
- Einfache Aufgaben werden unnötig teuer und langsam.
- Komplexe Aufgaben erhalten möglicherweise zu wenig Kontext oder die falsche Retrieval-Strategie.
Ein guter Router muss beide Fehler vermeiden.
Forschung zeigt relevantes Einsparpotenzial
RouteLLM untersucht die dynamische Auswahl zwischen einem stärkeren und einem kostengünstigeren Sprachmodell. Die Router werden anhand menschlicher Präferenzdaten trainiert und sollen vorhersagen, für welche Anfragen das kleinere Modell ausreicht.
In den untersuchten öffentlichen Benchmarks konnten die Routing-Verfahren die Modellkosten um mehr als den Faktor zwei reduzieren, ohne die gemessene Antwortqualität zu verschlechtern.¹
Dieses Ergebnis ist kein pauschales Einsparversprechen für jede Unternehmensanwendung. Es zeigt jedoch, warum die standardmäßige Weiterleitung aller Anfragen an das leistungsstärkste Modell nicht automatisch die beste Architektur ist.
Routing beginnt bereits vor dem Sprachmodell
Die Modellwahl ist nur ein Teil der Entscheidung. Häufig entsteht der größte Qualitätsunterschied bereits beim Retrieval.
Eine Anfrage zu einer Produktnummer benötigt kleine, präzise Textabschnitte und exakte Metadatenfilter. Eine historische oder regulatorische Recherche kann größere Kontexte und mehrere Datenquellen erfordern.
Das 2026 veröffentlichte ORDER-Verfahren passt deshalb nicht nur das Modell, sondern Indexierung und Retrieval an die Anfrageart an. Je nach semantischem Cluster werden unterschiedliche Chunking-Strategien, Metadatenfilter, Quellen und Reranking-Konfigurationen ausgewählt. In den untersuchten historischen Archiven übertraf das anfrageabhängige Verfahren feste RAG-Konfigurationen.²
Für Enterprise Search folgt daraus ein wichtiger Grundsatz: Nicht jede Anfrage sollte durch denselben Index und dieselbe Retrieval-Pipeline laufen.
Fünf Routing-Ebenen für Enterprise Search
1. Intent Routing
Zunächst wird erkannt, welche Aufgabe der Nutzer lösen möchte:
- Dokument finden,
- Fakten abrufen,
- Produkte vergleichen,
- Zusammenhänge analysieren,
- Inhalte zusammenfassen,
- oder eine Handlung vorbereiten.
Eine Navigationsanfrage benötigt einen anderen Prozess als eine offene Recherchefrage.
2. Source Routing
Anschließend wird entschieden, welche Datenquellen relevant und zulässig sind.
Eine Supportfrage kann Produktdokumentation und Tickets benötigen. Eine Vertragsfrage darf möglicherweise ausschließlich auf freigegebene Vertragsbestände zugreifen.
3. Retrieval Routing
Der Router wählt die geeignete Suchstrategie:
- exakte Keyword Search,
- semantische Vektorsuche,
- Hybrid Search,
- Graph Retrieval,
- multimodales Retrieval,
- Federated Search,
- oder mehrstufige agentische Recherche.
Auch Chunk-Größe, Filter, Reranking und Retrieval-Tiefe können an die Anfrage angepasst werden.
4. Model Routing
Erst danach wird entschieden, welches Modell den gefundenen Kontext verarbeitet.
Ein kleines, lokal betriebenes Modell kann für Klassifikation, Extraktion oder einfache Zusammenfassungen genügen. Ein stärkeres Modell wird nur aktiviert, wenn die Aufgabe mehrstufiges Reasoning oder eine anspruchsvolle Synthese erfordert.
5. Risk Routing
Besonders sensible Anfragen benötigen zusätzliche Kontrollen. Der Router kann eine Antwort an ein stärkeres Modell, eine zweite Prüfung oder einen Menschen eskalieren.
Das betrifft beispielsweise:
- rechtliche Aussagen,
- technische Sicherheit,
- personenbezogene Daten,
- medizinische Informationen,
- Vertragsinterpretationen,
- oder Entscheidungen mit hoher finanzieller Wirkung.
Mehr Modelle bedeuten nicht automatisch besseres Routing
Ein großes Modellportfolio klingt zunächst attraktiv. Je mehr Modelle verfügbar sind, desto genauer könnte der Router theoretisch auswählen.
Die aktuelle Forschung relativiert diese Annahme. LLMRouterBench umfasst mehr als 400.000 Instanzen aus 21 Datensätzen und 33 Modellen. Die Untersuchung bestätigt zwar, dass Modelle unterschiedliche Stärken besitzen. Viele Routing-Verfahren erzielten unter einheitlichen Bedingungen jedoch sehr ähnliche Ergebnisse. Einige komplexe Router konnten einfache Vergleichsverfahren nicht zuverlässig übertreffen.³
Die Autoren beobachten außerdem abnehmenden Zusatznutzen bei immer größeren Modellpools. Eine sorgfältig ausgewählte Modellkombination kann sinnvoller sein als ein Router, der zwischen möglichst vielen Modellen entscheidet.
Für Unternehmen heißt das: Routing sollte nicht mit einem Modellmarktplatz verwechselt werden. Entscheidend sind wenige, klar differenzierte Optionen und nachvollziehbare Auswahlregeln.
Ein möglicher Routing-Pfad in der Praxis
Eine Anfrage lautet:
„Welche Installationen unseres Produkts sind von der neuen Sicherheitsanforderung betroffen?“
Ein produktives System könnte folgendermaßen vorgehen:
- Die Anfrage wird als technische Auswirkungsanalyse klassifiziert.
- Zugriffsrechte auf Produkt-, Kunden- und Compliance-Daten werden geprüft.
- Produktdokumentation, installierte Versionen und Richtlinien werden als Quellen ausgewählt.
- Hybrid Search identifiziert relevante Produkte und Regelwerke.
- Graph- oder Multi-Hop-Retrieval verbindet Produktversionen mit Kundeninstallationen.
- Ein leistungsstarkes Modell formuliert eine belegte Zusammenfassung.
- Wegen des hohen Risikos wird eine fachliche Freigabe verlangt.
Eine Anfrage nach einer einzelnen Installationsnummer würde dagegen direkt über Keyword Search und Metadatenfilter beantwortet – ohne aufwendiges Reasoning-Modell.
Welche Vorteile Routing für Unternehmen bietet
Niedrigere Betriebskosten
Kostspielige Modelle werden nur für Anfragen verwendet, bei denen ihr Leistungsniveau tatsächlich benötigt wird.
Kürzere Antwortzeiten
Einfache Such- und Klassifikationsaufgaben können durch kleinere Modelle oder klassische Search-Komponenten schneller verarbeitet werden.
Höhere Antwortqualität
Komplexe Anfragen erhalten eine umfangreichere Retrieval- und Reasoning-Pipeline, anstatt durch dieselbe Konfiguration wie einfache Suchanfragen zu laufen.
Mehr Datenschutz und Souveränität
Vertrauliche Anfragen können an lokal betriebene Modelle und interne Datenquellen geleitet werden. Weniger sensible Aufgaben können andere Dienste verwenden.
Höhere Ausfallsicherheit
Ist ein Modell oder Provider nicht verfügbar, kann der Router auf eine freigegebene Alternative wechseln.
Bessere Steuerbarkeit
Routing-Entscheidungen lassen sich mit Kosten-, Qualitäts- und Risikoregeln verbinden und im Audit Log dokumentieren.
Routing benötigt klare Governance
Ein Router trifft operative Entscheidungen über Daten, Modelle und Kosten. Diese Entscheidungen dürfen nicht vollständig unsichtbar bleiben.
Unternehmen sollten mindestens festlegen:
- welche Modelle für welche Datenklassen zugelassen sind,
- welche Anfragen das Unternehmen verlassen dürfen,
- wann eine Eskalation erforderlich ist,
- welche Mindestqualität pro Anfragetyp gilt,
- welche Kosten- und Latenzbudgets bestehen,
- welche Fallback-Modelle verwendet werden,
- und wie Routing-Entscheidungen protokolliert werden.
Besonders wichtig ist die Trennung zwischen technischer Komplexität und geschäftlichem Risiko. Eine sprachlich einfache Anfrage kann sensible Vertrags- oder Personaldaten betreffen und deshalb eine strengere Route benötigen.
Wie sich ein Router evaluieren lässt
Die Gesamtqualität einer AI Search sollte um spezifische Routing-Kennzahlen ergänzt werden:
- Routing Accuracy: Wurde die passende Pipeline gewählt?
- Escalation Precision: Wurden tatsächlich schwierige Fälle eskaliert?
- Under-Routing Rate: Wie oft wurde eine zu schwache Route gewählt?
- Over-Routing Rate: Wie oft wurde unnötig eine teure Route aktiviert?
- Retrieval Quality: Hat die gewählte Suchstrategie die richtige Evidenz gefunden?
- Answer Quality: Ist die abschließende Antwort korrekt und vollständig?
- Cost per Resolved Query: Was kostet eine erfolgreich beantwortete Anfrage?
- End-to-End Latency: Wie lange dauert der gesamte Prozess?
- Fallback Success Rate: Funktioniert die Alternative bei Ausfällen?
- Policy Compliance: Wurden Daten- und Modellrichtlinien eingehalten?
Die wichtigste Vergleichsbasis ist nicht der theoretisch beste Router, sondern eine nachvollziehbare Baseline: beispielsweise immer das starke Modell, immer das kleine Modell oder eine feste hybride Search-Pipeline.
Ein realistischer Einstieg
Model Routing muss nicht mit zehn Modellen und zahlreichen Spezialindizes starten.
Ein praktikabler erster Schritt besteht aus drei Routen:
- Direkte Suche: Keyword Search, Filter und vorhandene Trefferanzeige.
- Standard-AI-Search: Hybrid Retrieval und ein kosteneffizientes Modell.
- Expert Route: erweitertes Retrieval, stärkeres Modell und gegebenenfalls menschliche Prüfung.
Anschließend wird gemessen, welche realen Anfragen in welcher Route erfolgreich gelöst werden. Erst auf dieser Datengrundlage sollten weitere Modelle oder Spezialpfade ergänzt werden.
Fazit: Die beste AI Search nutzt nicht immer die stärkste KI
Model Routing für AI Search verbindet Qualität, Kosten, Geschwindigkeit und Governance. Der Router entscheidet nicht nur, welches Sprachmodell antwortet, sondern welche Datenquellen, Indizes und Retrieval-Verfahren für eine Anfrage geeignet sind.
Damit wird Routing zu einer zentralen Architekturschicht zwischen Nutzerintention und technischer Ausführung.
Unternehmen sollten dabei nicht möglichst viele Modelle integrieren. Entscheidend ist eine kleine, belastbare Auswahl klar differenzierter Routen, deren Qualität und wirtschaftlicher Nutzen kontinuierlich gemessen werden.
Quasiris Impuls: Eine modulare Search-Plattform schafft die Voraussetzung, Retrieval, Reranking, Datenquellen und Sprachmodelle abhängig vom Anwendungsfall zu kombinieren – statt jede Anfrage durch dieselbe kostenintensive Pipeline zu schicken.
Sprechen Sie mit unseren Search-Experten darüber, wie sich Ihre Anfragen nach Komplexität, Risiko und Business-Nutzen klassifizieren und auf passende Search- und KI-Komponenten verteilen lassen.
💡 Wie gut ist Ihre Suche wirklich?
Unpassende Treffer, hohe Nulltrefferquoten und aufwendige manuelle Rankingregeln sind häufig ein Hinweis darauf, dass eine Suche ihr Potenzial noch nicht vollständig ausschöpft.
Mit unserem kostenlosen Search Review erhalten Sie eine erste Einschätzung zur Qualität Ihrer bestehenden Suche und zu möglichen Optimierungspotenzialen.
↓ Jetzt kostenloses Search Review anfragen ↓
Quellen
¹ Ong, I., Almahairi, A., Wu, V., Chiang, W.-L., Wu, T., Gonzalez, J. E., Kadous, M. W., & Stoica, I. (2025). RouteLLM: Learning to route LLMs from preference data. International Conference on Learning Representations 2025. https://proceedings.iclr.cc/paper_files/paper/2025/hash/5503a7c69d48a2f86fc00b3dc09de686-Abstract-Conference.html
² Pellet, A., Puren, M., & Perez, J. (2026). ORDER: Task-conditioned routing for retrieval-augmented generation. In Findings of the Association for Computational Linguistics: EMNLP 2026 (S. 43092–43126). Association for Computational Linguistics. https://doi.org/10.18653/2026.findings-emnlp.2026
³ Li, H., Zhang, Y., Guo, Z., Wang, C., Tang, S., Zhang, Q., Chen, Y., Qi, B., Ye, P., Bai, L., Wang, Z., & Hu, S. (2026). LLMRouterBench: A massive benchmark and unified framework for LLM routing [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2601.07206