Wie Sie das Copilot-Sprachmodell um externe Datenquellen mit GraphRAG erweitern

Wenn das Wissen eines Sprachmodells nicht ausreicht zur umfänglichen Beantwortung von Fragen, dann bietet sich das Hinzuziehen zusätzlicher Datenquellen an. Für diesen Zweck kommt Retrieval Augmented Generation (RAG) ins Spiel, das die Verbindung zu Datenquellen außerhalb des trainierten Sprachmodells herstellt. Der Microsoft 365 Copilot arbeitete bereits mit RAG, und erfährt nun mit der GraphRAG eine Erweiterung, um noch umfangreicheres Wissen zu erschließen.

Copilot-Sprachmodell erweitern mit Retrieval-Augmented Generation ( RAG)

Die Retrieval Aumented Generation (RAG) bedeutet auf Deutsch in etwa „per Informationsabruf ergänzte Textgenerierung“. Als Analogie lässt sich der Begriff der Metasuchmaschine heranziehen.  Diese leitet eine Suchanfrage an mehrere andere Suchmaschinen weiter und präsentiert dem Nutzer ein aus allen Quellen aufbereitetes Ergebnis. Bei KI-Anfragen funktioniert das so, dass einerseits die Daten aus einem großen Sprachmodell (Large Language Model – LLM) herangezogen werden, und zusätzlich per RAG weitere Quellen.

Copilot verbindet per RAG an zusätzliche Datenquellen

Auch der Microsoft 365 Copilot nutzt RAG, um neben vortrainierten Daten auch Informationen aus verschiedenen Datenquellen abzurufen und diese in die Antwortgenerierung zu integrieren. Auf diese Weise ist es möglich, präzisere und relevantere Antworten zu generieren.

Als Quellen werden dabei auch Daten aus dem eigenen Microsoft 365 Tenant genutzt. Technisch erfolgt der Zugriff über den Microsoft Graphen. Das dient auch dem Datenschutz, denn so ist sichergestellt, dass die KI immer die jeweiligen Berechtigungen auf die Inhalte berücksichtigt.

Funktionsweise von RAG im Microsoft 365 Copilot

Microsoft 365 Copilot nutzt RAG dazu, Antworten auf Benutzeranfragen zu verbessern. Dabei stehen dem Copilot innerhalb des Tenants auf verschiedene Datenquellen zur Verfügung, um präzise Antworten zu liefern, zum Beispiel Dokumente, E-Mails, Teams Chats und dergleichen.

Die RAG-Funktionen des Copilot unterschieden sich je nach Microsoft 365-App. Hier einige Beispiele:

• Word: RAG ermöglicht das Generieren von Text mit und ohne Formatierung in neuen oder vorhandenen Dokumenten.
• Excel: Vorschläge für Formeln, Diagrammtypen und Erkenntnisse zu Daten im Excel Sheet.
• PowerPoint: Erstellen von Präsentationen aus einem Prompt oder einer Word-Datei.

Die Funktionen variieren je nach App. Microsoft hat das in einer tabellarischen Übersicht zusammengefasst:

GraphRAG kann komplexe Fragen besser beantworten

Microsoft Research hat auf der Basis von RAG eine erweiterte Technik entwickelt, um mit großen Sprachmodelle auf eigenen Daten zuzugreifen und diese zu analysieren, die GraphRAG. Unlocking LLM discovery on narrative private data

GraphRAG kombiniert LLM-generierte Wissensgraphen mit maschinellem Lernen, um zum Beispiel die Leistung bei der Dokumentenanalyse zu verbessern. Dabei geht es laut Microsoft vor allem darum, die Erschließung interner, privater Datensätze zu erweitern.

Diese Methode zeigt erhebliche Verbesserungen bei der Beantwortung komplexer Fragen im Vergleich zu herkömmlichen Ansätzen. Ein Hauptvorteil von GraphRAG ist die Fähigkeit, Themen und Konzepte in großen Datensätzen zu identifizieren und zu verstehen, selbst wenn diese Daten dem LLM vorher nicht bekannt waren.

Hier einige praktische Anwendungsfälle für diese Technologie: 

• Informationsextraktion: GraphRAG kann spezifische Informationen aus großen Dokumentensammlungen oder Datenbanken extrahieren.
• Inhaltsgenerierung: GraphRAG hilft bei der Erstellung von Inhalten, die tiefgehendes Kontextwissen erfordern.
• Kundensupport: GraphRAG kann den Kundensupport verbessern, indem es auf eine Wissensdatenbank zugreift und präzise Antworten auf Kundenanfragen liefert.
• Wissensmanagement: In großen Organisationen kann GraphRAG helfen, das vorhandene Wissen effizient zu nutzen, indem es relevante Informationen aus verschiedenen Abteilungen und Dokumenten abruft und zusammenführt.

Einfacher Einstieg in GraphRAG

Aktuell stehen bereits einige Tools zur Verfügung, die beim Einstieg in GraphRAG helfen. Das Solution Accelerator-Paket auf Github beispielsweise bietet eine benutzerfreundliche End-to-End- Lösung auf der Basis von Azure-Ressourcen. Der Microsoft-Slogan dazu lautet: One-click deploy of a Knowledge Graph powered RAG (GraphRAG) in Azure.

Folgende Datenquellen für eigene Lösungen mit GraphRAG sind aktuell verfügbar:

• Azure Blob Storage
• Cosmos DB
• Azure OpenAI
• Azure AI Search / Vectorstore
• Container Registry
• Application Insights 

Wie auf der GitHub Seite von GraphRAG beschrieben, können dann auch Prompt Tuning-Optionen genutzt werden, um die Lösung so auf die Bedürfnisse und UseCases anzupassen: