Die Microsoft-Copilot-Vielfalt erklärt: App-Assistenten, Auskunft und technische Hintergründe

Die vielen Microsoft Copilot-Varianten bringt viele Anwender ins Grübeln: Was genau unterscheidet den Microsoft 365 Copilot von den parallelen Angeboten wie Copilot für Word oder Copilot in Edge? Gibt man zum Testen die gleiche Frage in den verschiedenen Apps ein, dann erhält man tatsächlich unterschiedliche Antworten. Allerdings liegt das weniger an technischen Unterschieden, als an anwendungsspezifischen Ausprägungen. Hier die Erklärung:

Wenn Sie herausfinden möchten, was genau den Unterschied ausmacht zwischen den diversen Copilot-Instanzen, brauchen Sie das nur über die KI-Prompts ausprobieren. Zum Beispiel mit folgender direkter Fragen im Copilot in Word: „Was unterscheidet dich von Copilot in Microsoft 365?“. Das ist gleich an zwei Stellen möglich, nämlich im Copilot Add-In in der rechten Spalte und über die Funktion „Entwurf mit Copilot“.

Microsoft Copilot-Varianten: Vom App-Assistenten zur Auskunft

Sie erhalten dann folgende Antwort:

Die Antwort liefert deutliche Hinweise auf seine Charakteristik: „Ich bin ein intelligenter Schreibassistent, der Dir hilft, elegante und sprachlich kreative Dokumente zu erstellen.“ Copilot in Word identifiziert sich also als Schreibassistent. Diese inhaltliche Orientierung erfolgt übrigens automatisch, ohne der Prompt irgendwelche Eingrenzung oder Präzisierungen verlangen würde.

Der App-Kontext entscheidet über den Fokus der Antwort

Würde man eine vergleichbare Frage im ChatGPT-Prompt eingeben, welcher ja Fachgebiets-unspezifisch arbeitet, wären weitere Angaben zur Präzisierung erforderlich. So müsste man etwa die Rolle „Reiseführer“ mitgeben, wenn man nach Tipps für ein Wochenende in Rom fragt.

Die Microsoft Copiloten hingegen liefern Antworten im jeweiligen App-Kontext. Für den Word-Copilot heißt das, dass er in der rechten Chat-Spalte mit dem Hinweis aufwartet: „Fragen Sie mich etwas zu diesem Dokument“:

Copilot in Word bezieht also seine Antworten immer explizit auf das aktuelle Dokument.

Retrieval Augmented Generation füttert KI mit Zusatzwissen

Immer wenn ein KI-Chat-Bot um detaillierte fachliche Informationen angefragt wird, bietet sich die Zuschaltung von Retrieval Augmented Generation (RAG) an. RAG ist ein technischer Ansatz, mit dem sich Informationsdefizite von Large Language Models (LLMs) beheben lassen. Dabei werden externe Quellen wie Datenbanken in die Antwortgenerierung mit einbezogen.

Diese Erweiterung ist notwendig, weil Sprachmodelle in der Regel nicht über aktuelle oder fachlich vertiefende Informationen verfügen. Ohne RAG erhält man dann entweder zu oberflächliche oder auch erfundene Antworten, man spricht dann vom Halluzinieren.

Grounding bereitet Prompt für LLM-Verarbeitung auf

Wie die Verarbeitung mit den einzelnen Schritten und Funktionsinstanzen beim Microsoft Copilot abläuft, zeigt das Architekturbild von Microsoft. Jeder Prompt, den ein Benutzer eingibt (1), wird über die Copilot Orchestration zunächst einmal unter verschiedenen Kriterien vorverarbeitet, bevor er an das LLM weitergereicht wird.

In dieser Phase kommt auch die RAG zum Einsatz. Zwar wird dieser Schritt im Architekturschaubild nicht ausdrücklich genannt, Details dazu finden sich jedoch in einem Erklärvideo von Mary Pasch (Microsoft): How Copilot for Microsoft 365 works: A deep dive

Der Oberbegriff für diese Vorphase lautet „Grounding“, er meint das Anpassen des vom Benutzer eingegebenen Prompts an kontextspezifische Kriterien. In unserem Fall geht es um die Berücksichtigung des jeweiligen App-Kontexts sowie bei Bedarf einer Kombination dieser Faktoren, um das bestmögliche Ergebnis zu erzielen.

Übersicht: Funktionen der Copiloten für Microsoft 365-Apps

Was mit dem App-Kontext bei den Microsoft-Copiloten gemeint ist, und worauf der Fokus der jeweiligen Microsoft 365 Apps liegt, zeigt diese Übersichtstabelle:

RAG, Suche und Copilot-Orchestrierung

RAG bildet eine Art Weiche, die abhängig von der App, aus der der Prompt gesendet wird, auf die zu verwendende Informationsquellen verzweigt. Danach geht die Anfrage an das LLM, wo die entsprechende Antwort generiert wird. Dieser Vorgang, der auch Information Retrieval System genannt wird, lässt sich auch in Verbindung mit Azure AI Search nutzen. Der Artikel Retrieval Augmented Generation (RAG) in Azure AI Search beschreibt wie die Technik funktioniert, die auch von der Copilot-Orchestrierung genutzt wird.

Wie Copilot für Microsoft 365 das passende Plugin wählt

Diese Mechanismen sind beim Einsatz von Zusatz-Plugins für Copilot zu berücksichtigen. Um die Copilot-Orchestrierung zu beeinflussen, können Entwickler Konfigurationstexte, sogenannte Manifeste, erstellen. Darin sind Informationen hinterlegt, die der Orchestrierung den Kontext eines Plugins übermitteln. Je nach Kontext, den diese identifiziert, entscheidet sie dann, ob das Plugin für einen Prompt genutzt wird.

Wie das Erstellen solcher Plugins funktioniert, und wie diese in die Copilot Orchestration eingebunden werden, beschreibt der Artikel How Copilot for Microsoft 365 decides which plugin to use.

Als technisches Details wäre noch zu erwähnen, dass für die App-Beschreibung immer ein App-Manifest nach folgendem Muster zu erstellen ist:

Fazit: Alle Copiloten teilen sich die Basis-Engine

Die am Anfang gestellte Frage, wie viele Copiloten es unter dem Microsoft-Dach gibt, ist damit zwar nicht beantwortet, allerdings ist klar, dass es weit weniger sind, als man vermuten könnte. Egal, ob Sie Copilot in Microsoft 365, Copilot in Word, Copilot in Outlook und dergleichen verwenden – Sie haben es immer mit derselben Basis-Engine zu tun. Lediglich die Orchestrierung sowie das Pre- und Post-Processing unterscheiden sich, da diese mit jeweils unterschiedlichen Datenquellen und modifizierten Prozeduren genutzt werden. Im Vergleich dazu sind Lösungen wie der Copilot in GitHub eigenständige Lösungen.