Innerhalb der SupraWorx Umgebung haben wir unser unternehmensinternes Wissen an eine KI angebunden - supraAgent. Dabei wurden Daten aus Tickets, Confluence und Jira so aufbereitet, dass sie über semantische Suchzugriffe der KI abrufbar sind. Ein zentrales Ziel war es, die Ergebnisqualität transparent zu evaluieren und Rückschlüsse auf den Originaldatensatz zu ermöglichen. Der klassische KI-Chatbot wurde somit erweitert, um auch Fragen zu beantworten, die bisher ausschließlich durch unternehmensinternes Wissen abgedeckt wurden.
Herausforderungen
- Technische Daten: Die korrekte Interpretation komplexer technischer Daten durch die KI stellt eine besondere Herausforderung dar.
- Sprachspezifik: Da herkömmliche KI-Modelle primär auf Englisch trainiert wurden, musste die Anpassung an die deutsche Sprache erfolgen, ohne die Qualität der Ergebnisse zu beeinträchtigen.
- Kosteneffizienz: Die Integration der Daten erfolgte, ohne kostspielige Modifikationen am bestehenden Modell vorzunehmen.
- Vermeidung von Halluzinationen: Es war essenziell, ein System zu implementieren, das keine falschen oder erfundenen Informationen (Halluzinationen) liefert.
Lösung
Mittels der Retrieval Augmented Generation (RAG) Technologie konnte ein Large Language Model (LLM) an externes Wissen angebunden werden, ohne es aufwendig neu trainieren zu müssen. Das Konzept basiert auf folgenden Kernkomponenten:
- Hochdimensionaler Vektorraum: Unternehmensdaten aus Tickets, Confluence und Jira werden in einem Vektorraum organisiert, was eine effiziente semantische Suche ermöglicht.
- Embedding Modell: Ein selbst entwickeltes Modell, das speziell auf die Einbettung deutscher und komplexer technischer Sachverhalte optimiert ist.
- Mehrstufiger Retrieval-Prozess: Dieser Prozess stellt sicher, dass die relevanten Textbausteine als Kontext für das KI-Modell bereitgestellt werden, wodurch präzise und nachvollziehbare Antworten generiert werden können.
Ergebnisse
Mit dem neuen RAG-System und der Entwicklung von SupraAgent in SupraWorx haben wir die Grundlage für hochmoderne KI-Systeme geschaffen. Diese Systeme sind in der Lage, umfangreiches Unternehmenswissen nutzbar zu machen und dabei folgende Vorteile zu bieten:
- Verbesserte Antwortqualität: Durch die Einbindung semantisch organisierter Daten werden präzisere und nachvollziehbare Antworten ermöglicht.
- Transparenz und Rückverfolgbarkeit: Die Herkunft der Daten kann stets zurückverfolgt werden, was die Evaluierung der Ergebnisse erleichtert.
- Effiziente Integration: Die Lösung wurde implementiert, ohne das zugrunde liegende KI-Modell kostspielig verändern zu müssen, und bewältigt die Herausforderungen der deutschen Sprache sowie komplexer technischer Daten.
