Multimodale Enterprise Search: Wenn wichtige Informationen nicht nur im Text stehen

Unternehmensdokumente bestehen selten nur aus Fließtext.

Technische Handbücher enthalten Zeichnungen und Tabellen. Produktdatenblätter kombinieren Kennzahlen mit Diagrammen. Präsentationen vermitteln Informationen durch die Position und Beziehung einzelner Elemente. Wartungsanleitungen arbeiten mit Explosionszeichnungen und beschrifteten Abbildungen.

Für eine klassische Suchmaschine entsteht daraus ein Problem.

Wenn ein Dokument ausschließlich in Text umgewandelt wird, können Informationen über Layout, Tabellenstruktur und visuelle Beziehungen verloren gehen. Genau deshalb gewinnt multimodale Enterprise Search an Bedeutung.

Sie betrachtet Dokumente nicht nur als Textsammlung, sondern berücksichtigt zusätzlich visuelle Elemente und Dokumentstrukturen.

Warum OCR allein nicht immer genügt

Optical Character Recognition ist für die Digitalisierung von Dokumenten äußerst wichtig. OCR erkennt Zeichen und macht gescannte Inhalte textuell durchsuchbar.

Damit ist aber nicht automatisch verstanden, wie Informationen auf einer Seite zusammengehören.

Bei einer Tabelle ist beispielsweise entscheidend, welcher Wert zu welcher Zeile und Spalte gehört. Bei einem technischen Diagramm kann die Position eines Labels bestimmen, auf welches Bauteil es sich bezieht.

Aktuelle Forschungen bestätigen diese Herausforderung. Das 2025 bei der ICLR vorgestellte ColPali Verfahren setzt deshalb direkt auf Bilder vollständiger Dokumentseiten. Es wird gezeigt, dass visuelle Dokumentrepräsentationen klassische Retrieval Pipelines bei visuell komplexen Dokumenten deutlich übertreffen können.¹

Multimodale Suche bedeutet deshalb nicht einfach, zusätzlich Bilder zu indexieren. Entscheidend ist, unterschiedliche Informationsformen gemeinsam für das Retrieval nutzbar zu machen.

Visuelle Informationen beeinflussen die Suchqualität

Besonders deutlich wird das bei langen Unternehmensdokumenten.

Der 2025 veröffentlichte MMDocIR Benchmark umfasst 1.685 von Experten annotierte Fragen sowie 173.843 weitere Fragen mit automatisch erzeugten Labels. Die Untersuchungen zeigen, dass visuelle Retriever in den getesteten Szenarien signifikant besser abschnitten als reine Textretriever. Außerdem erzielten Textretriever bessere Ergebnisse, wenn die textuelle Darstellung durch ein Vision Language Model erzeugt wurde statt ausschließlich durch OCR.²

Das ist für Enterprise Search relevant.

Die Frage:

„Welche Sicherung muss vor dem Austausch des Motors entfernt werden?“

kann beispielsweise nur zuverlässig beantwortet werden, wenn das System nicht nur den beschreibenden Text findet, sondern auch die zugehörige technische Abbildung berücksichtigt.

Ähnlich verhält es sich mit Tabellen.

Eine Frage wie:

„Welches Modell unterstützt 400 Volt und gleichzeitig Schutzklasse IP67?“

erfordert das Verständnis der Beziehungen zwischen Spalten und Zeilen. Eine rein lineare Extraktion des Tabellentextes kann diese Struktur verwischen.

Multimodales RAG erweitert die klassische Dokumentensuche

Das Thema wird besonders relevant, wenn Enterprise Search mit generativer KI kombiniert wird. Beim klassischen RAG werden relevante Textabschnitte gesucht und anschließend einem Sprachmodell als Kontext bereitgestellt.

Multimodales RAG erweitert diesen Ansatz um weitere Informationstypen wie Tabellen, Bilder, Charts und Layoutinformationen. Eine umfassende Übersicht der aktuellen Forschung beschreibt genau diese Entwicklung. Es wird darauf hingewiesen, dass klassische OCR basierte Pipelines strukturelle Informationen verlieren können und dass Dokumentverständnis deshalb zunehmend multimodale Retrieval Verfahren benötigt.³

Für Unternehmen bedeutet das, dass die Qualität einer KI gestützten Dokumentensuche bereits bei der Aufbereitung und beim Retrieval entschieden wird. Ein multimodales Sprachmodell kann nur dann sinnvoll über eine technische Abbildung argumentieren, wenn die richtige Abbildung zuvor überhaupt gefunden wurde.

Struktur ist genauso wichtig wie Semantik

Neben der visuellen Ebene gewinnt auch die Struktur eines Dokuments an Bedeutung.

Ein 300 Seiten langes Handbuch besteht beispielsweise aus Kapiteln, Unterkapiteln, Tabellen, Hinweisen und Abbildungen. Wird dieses Dokument lediglich in gleich große Textblöcke zerlegt, können logische Beziehungen verloren gehen.

Eine aktuelle ACL Arbeit aus dem Jahr 2026 untersuchte deshalb hierarchisches multimodales Retrieval für große Dokumentbestände. Das vorgestellte HiKEY Verfahren verbesserte in den untersuchten Benchmarks den Retrieval Recall gegenüber den Vergleichsverfahren um bis zu 12,9 Prozent und die End to End Question Answering Performance um bis zu 6,8 Prozent.⁴

Für Enterprise Search lässt sich daraus ein wichtiger Grundsatz ableiten:

Nicht jeder Inhalt sollte auf dieselbe Weise indexiert werden.

Überschriften, Kapitelstrukturen, Tabellen, Abbildungen und Metadaten können zusätzliche Signale für das Ranking liefern.

Besonders relevant für Industrie und technische Dokumentation

In industriellen Anwendungsfällen ist multimodale Suche besonders interessant.

Techniker arbeiten mit Bedienungsanleitungen, Schaltplänen, Maschinenprotokollen, Ersatzteilinformationen und technischen Datenblättern. Genau solche Informationsbestände nennt Quasiris auch als zentrale Anwendungsfälle für Search im Bereich Automation und Robotics.

Eine moderne Suchplattform kann beispielsweise unterschiedliche Informationsebenen kombinieren:

• Text liefert die Beschreibung eines Bauteils.

• Eine Tabelle enthält Grenzwerte oder technische Parameter.

• Eine Abbildung zeigt die genaue Position.

• Metadaten definieren Maschinentyp, Modellgeneration und Version.

• Die Suchanfrage kann anschließend gegen diese unterschiedlichen Signale geprüft werden.

Multimodal bedeutet nicht automatisch besser

Auch multimodale Verfahren müssen systematisch getestet werden. Nicht jede Anfrage benötigt visuelle Informationen. Bei einer eindeutigen Dokumentnummer kann eine klassische lexikalische Suche weiterhin besonders effizient und präzise sein.

Die sinnvolle Architektur hängt deshalb vom Anwendungsfall ab. In vielen Enterprise Szenarien bietet sich eine Kombination an. Klassische Volltextsuche, semantisches Retrieval, Metadatenfilter und visuelle Retrieval Verfahren können abhängig von der Anfrage unterschiedlich gewichtet werden.

Genau deshalb bleibt Hybrid Search relevant. Der technische Fortschritt besteht nicht darin, ein Verfahren vollständig durch ein anderes zu ersetzen. Die Stärke liegt darin, für unterschiedliche Informationsarten den geeigneten Retrieval Ansatz zu wählen.

Wie Unternehmen multimodale Suche testen sollten

Ein realistischer Testdatensatz sollte bewusst Fragen enthalten, deren Antworten an unterschiedlichen Stellen liegen.

Dazu gehören reine Textfragen, Fragen zu Tabellen, Fragen zu Bildern und Anfragen, die Informationen aus mehreren Bereichen kombinieren. Gemessen werden sollte zunächst, ob die richtige Seite oder der richtige Abschnitt gefunden wird. Erst danach sollte die Qualität einer generierten Antwort bewertet werden.

Damit lässt sich unterscheiden, ob ein Fehler bei der Informationssuche oder bei der anschließenden Verarbeitung durch das Sprachmodell entstanden ist.

Fazit: Unternehmenswissen ist mehr als Text

Viele Enterprise Search Systeme wurden ursprünglich für Text entwickelt. Unternehmenswissen ist jedoch multimodal. Tabellen, Diagramme, technische Zeichnungen und Seitenstrukturen tragen häufig entscheidende Informationen. Moderne AI Search muss deshalb zunehmend verstehen, wie Informationen in einem Dokument organisiert sind und nicht nur, welche Wörter darin vorkommen.

Gerade für Industrie, Service, technische Dokumentation und komplexe Produktdaten eröffnet multimodales Retrieval neue Möglichkeiten. Die Voraussetzung bleibt jedoch dieselbe wie bei jeder professionellen Suche: Die Qualität muss anhand realer Fragen und erwarteter Ergebnisse überprüft werden.