Große und heterogene Datenbestände sind meist schwer zu überblicken und konnten bisher nicht effektiv mit einer automatischen Klassifikation strukturiert werden. Mit Hilfe manueller Annotation (insbesondere einer aufwendigen Verschlagwortung) mussten Dokumente mit Zusatz-Informationen versehen werden. Die Suche nach diesen Daten erforderte das Anlegen von Synonymlisten, da die Text-basierte Suche sich ausschließlich auf in den Dateien enthaltene Inhalte stützten kann. Über Synonymlisten (z.B. CEO, GF = Geschäftsführer) oder Thesauri umging man dieses Problem teilweise. Sind die Suchbegriffe nicht direkt in den Dateien enthalten, erhöhen synonyme Suchbegriffe die Chance, diese Inhalte zu finden.
Als integraler Teil der INTERGATOR SMART SEARCH ermöglicht eine automatische Verschlagwortung von Inhalten wesentliche Begriffe automatisch zu extrahieren und deren Sinnzusammenhang zu erschließen. Die Fortschritte im Bereich künstlicher Intelligenz (und Machine Learning im Speziellen) eröffnen neue Möglichkeiten die eben erwähnten, kuratierten Listen obsolet werden zu lassen. Stattdessen erkennt ein trainiertes Modell Begriffe und deren Bedeutung und bringt Inhalte in einen Sinnzusammenhang. Die bisherige strikte (oder lexikalische) Suche nach enthaltenen Stichwörtern wird um eine semantisch-assoziative Suche erweitert, die Dokumente findet, die den Such-Begriff nicht zwingend enthalten, allerdings thematisch den gesuchten Informationen ähnlich sind.
Das trainierte Machine Learning-Modell gruppiert autonom anhand enthaltener Begriffsbeziehungen Dokumente zu Clustern und setzt diese in Beziehung zum Gesamtbestand. Enthält ein Dokument bspw. Begriffe wie „Rad“, „Pedal“ und „Sattel“, ist davon auszugehen, dass es sich um ein „Fahrrad“ handelt. Diese automatische Clusterung wird durch den Einsatz moderner künstlich neuronaler Netze unterstützt, in deren Lernergebnis Inhalte mathematisch in einen Vektorraum übertragen werden. Dabei entstehen räumliche Zusammenhänge, die für Ähnlichkeitssuchen genutzt werden können.
Mit der KI-basierten SMART SEARCH von INTERGATOR lassen sich noch weitere Problemstellungen elegant lösen. Menschliche Sprache ist, anders als die Mathematik, wenig exakt. Mehrdeutigkeiten, Homonyme oder Polyseme erschweren das Verständnis und es bedurfte bisher immer menschlicher Expertise, um daraus resultierende „Missverständnisse“ aufzulösen. Der Mensch erschließt die Bedeutung eines Wortes aus dem Kontext seiner Verwendung in einem Text. Maschinen fehlte bisher diese Fähigkeit. Eine „Bank“ ist mit unterschiedlichen Bedeutungen aus dem Zusammenhang heraus für einen Menschen erfassbar. Für Computer ist dieser Begriff von seiner Zeichenfolge her gleich, egal, ob dabei die Sitzgelegenheit oder das Finanzinstitut gemeint ist.
Bereits seit den 1950er Jahren sind die linguistischen Grundlagen für die Bedeutungsanalyse natürlicher Sprache bekannt. Seit dem wurden die Methoden des maschinellen Lernen für eine computergestützte NLP stetig weiterentwickelt. Aber erst seit wenigen Jahren ist eine zielführende Umsetzung technisch möglich und findet in der INTERGATOR SMART SEARCH seine Anwendung. Kommen in den Texten z. B. Begriffe wie „Kredit“, „Geld“ oder „Zinsen“ vor, ordnet die SMART SEARCH diese automatisch in den Kontext Finanzen ein.
Die INTERGATOR SMART SEARCH visualisiert die erkannten inhaltlichen Zusammenhänge durch eine interaktive Kontext-Map, bei der Begriffe und Dokumente zu Clustern zusammengefasst werden. Über die so visualisierten Begriffszusammenhänge können die gewünschten Ergebnisse gezielt mit wenigen Klicks besser eingrenzt werden. Im oben skizzierten „Bank“-Such-Beispiel liefert ein Klick auf den Clusters mit Finanz-Themen ausschließlich Ergebnisse aus diesem Bereich. Alle anderen Dokumente zu „Bank“, die nicht finanzrelevant sind, bleiben außen vor. Auf diesem Weg erhalten Nutzer bessere, weil relevantere Ergebnisse, die ohne gepflegte Schlagwörter, Listen oder ähnliches auskommen.