Interagieren mit Dokumenten in Microsoft 365-Apps mit einem deklarativen Agent

Wenn deklarative Agents in der Copilot-Erfahrung in Microsoft 365-Apps verwendet werden, können sie mit dem geöffneten Dokument interagieren. Standardmäßig können Agents das gesamte geöffnete Dokument lesen. Benutzer können dem Agent nur einen ausgewählten Abschnitt des geöffneten Dokuments zur Verfügung stellen, und Agenten können Bilder in das geöffnete Dokument einfügen.

In diesem Artikel wird die Dokumentinteraktion durch deklarative Agents behandelt, nicht die Unterstützung für das vollständige Plug-In-Paket in Word oder PowerPoint. Informationen zum umfassenderen Plug-In-Modell finden Sie unter Plug-Ins für Microsoft 365 Copilot.

Hinweis

Der Zugriff auf die Dokumentauswahl wird nur in Word unterstützt. Der Zugriff auf das gesamte geöffnete Dokument und das Einfügen von Bildern wird in Word und PowerPoint unterstützt.

Auf das gesamte geöffnete Dokument zugreifen

Wenn der Benutzer in seiner Eingabeaufforderung auf das geöffnete Dokument verweist, wird der Inhalt des Dokuments automatisch der Eingabeaufforderung hinzugefügt, sodass der Agent ohne weitere Benutzeraktion darauf zugreifen kann. Der Benutzer könnte den Agent beispielsweise mit "Fasse dieses Dokument zusammen" oder "Aktionselemente in dieser Datei suchen" auffordern.

Dokumentformat

Das Format der Informationen, die dem Agent zur Verfügung gestellt werden, variiert je nach Dateityp.

Bei Word-Dokumenten besteht der Kontext, der dem Agent zur Verfügung gestellt wird, ausschließlich aus Nur-Text-Inhalten, einschließlich Überschriften, Textabsätzen und Listenelementen. Der logische Fluss des Dokuments wird durch sequenzielles Chunking beibehalten, sodass der Agent die Dokumentstruktur basierend auf Textmustern ableiten kann. Nicht-textuelle Elemente wie Tabellen, Diagramme, Bilder, Seitenformatierungen und Formatvorlagen werden nicht erfasst. Erwähnungen solcher visueller Objekte zusammen mit angrenzenden Metadaten sind als Teil des Kontexts verfügbar, aber der Agent hat keinen Zugriff auf deren tatsächlichen Inhalt.

Bei PowerPoint-Präsentationen enthält der Kontext, der dem Agent zur Verfügung gestellt wird, alle sichtbaren Folientitel, den Fließtext und vereinfachte Beschreibungen von Tabellen und Bildern, sofern verfügbar. Der Folienfluss und die logische Erzählung werden durch sequenzielle Indizierung beibehalten. Nicht-textuelle Elemente wie Bilder, komplexe Diagramme, Hintergrunddesigns, Übergänge, Links und detaillierte Sprechernotizen werden nicht erfasst. Infolgedessen kann der Agent zwar den Textinhalt und die allgemeinen Beschreibungen visueller Elemente analysieren, hat jedoch keinen Zugriff auf Rich Media, detaillierte visuelle Layouts und strukturierte grafische Daten.

Verwenden des geöffneten Dokuments im Agent

Deklarative Agents haben standardmäßig Zugriff auf das geöffnete Dokument. Es sind keine Änderungen an Ihrem Agent erforderlich, um die Unterstützung für dieses Feature zu aktivieren.

Verwenden des geöffneten Dokuments in API-Plug-Ins

Wenn Ihr Agent API-Plug-Ins als benutzerdefinierte Aktionen enthält, entscheidet der Agent basierend auf Ihrer API-Beschreibung und den Anweisungen, die er dem Agent gegeben hat, wie viel des geöffneten Dokuments an die API gesendet werden soll. Weitere Informationen finden Sie unter Überlegungen zu API-Plug-Ins für Dokumentinhalte.

Zugriff auf Dokumentauswahl

Mit dem Feature "Dokumentauswahl" können Benutzer dem deklarativen Bearbeiter den aktuell ausgewählten Abschnitt des geöffneten Dokuments zur Verfügung stellen. Der Benutzer kann den Agent nach der Auswahl fragen oder ihn bitten, auf dieser Grundlage Maßnahmen zu ergreifen.

Beispiel: Ein Benutzer arbeitet an einem Dokument mit einer Stellenbeschreibung und möchte dem Dokument ein von KI generiertes Bild hinzufügen, um es visuell ansprechender zu gestalten. Der Benutzer wählt zunächst einen Abschnitt des Dokuments als Kontext für das Bild aus. Durch Auswählen eines Abschnitts des Dokuments wird die Schaltfläche "Auswahl hinzufügen " im Copilot-Chatbereich aktiviert.

Screenshot von Copilot in Word, der die Option

Der Benutzer wählt Auswahl hinzufügen aus und fordert den Agent dann auf, basierend auf der Auswahl ein Image zu generieren .

Screenshot von Copilot in Word mit der Benutzeraufforderung einschließlich der Dokumentauswahl

Der Agent generiert Bilder und antwortet dem Benutzer.

Screenshot von Copilot in Word mit den generierten Bildern

Verwenden der Dokumentauswahl in Ihrem Agent

Deklarative Agents haben standardmäßig Zugriff auf die Dokumentauswahl. Es sind keine Änderungen an Ihrem Agent erforderlich, um die Unterstützung für dieses Feature zu aktivieren.

Verwenden der Dokumentauswahl in API-Plug-Ins

Wenn Ihr Agent API-Plug-Ins als benutzerdefinierte Aktionen enthält, kann der Agent die Dokumentauswahl für die API bereitstellen. Der Agent übersetzt die Dokumentauswahl basierend auf Ihrer API-Spezifikation.

Überlegungen zu API-Plug-Ins für Dokumentinhalte

Für das gesamte Dokument oder die Benutzerauswahl entscheidet der Agent, wie die Daten am besten an ein API-Plugin übergeben werden. Sie sollten sicherstellen, dass das Dokument oder die Benutzerauswahl für Ihre API angemessen übersetzt ist.

  1. Testen Sie zunächst Ihren Agenten, ohne ihm spezielle Anweisungen hinzuzufügen. In den meisten Fällen sollte der Agent den Dokumentinhalt oder die Benutzerauswahl ohne zusätzliche Konfiguration entsprechend Ihrer API übersetzen.
  2. Wenn Ihr Agent nicht entsprechend für Ihre API übersetzt wird, fügen Sie Anweisungen im Statusobjekt des Plug-In-Manifests reasoning hinzu, um den Agent anzuweisen, welches Formular er auswählen soll.
  3. Testen Sie verschiedene Auswahlmöglichkeiten, um sicherzustellen, dass Ihr Agent unterschiedliche Inhaltstypen und -längen angemessen verarbeitet.

Hier sind einige Beispiele für Anweisungen, wie der Agent den Dokumentinhalt oder die Benutzerauswahl übersetzt. Die tatsächlichen Anweisungen, die erforderlich sind, um das gewünschte Ergebnis zu erhalten, hängen von Ihrem Agent und Ihrer API ab.

Ausführliches Pass-Through-Beispiel
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
Zusammenfassung/Transformationsbeispiel
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
Beispiel für strukturierte Extraktion
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

Einfügen von Bildern

Mit dem Feature zum Einfügen von Bildern können Benutzer Bilder aus dem Agent in das geöffnete Dokument einfügen. Das Bild kann an der aktuellen Cursorposition, am oberen Rand des Dokuments oder am unteren Rand des Dokuments eingefügt werden.

Beispielsweise kann ein Agent, der Images aus einem externen Imagerepository abruft, dem Benutzer eine Schaltfläche zum Einfügen des Images anzeigen.

Screenshot von Copilot in Word, der einen Agenten mit der Funktion

Einfügen von Bildern aus Ihrem Agent

Das Aktivieren der Bildeinfügung in einem deklarativen Agent erfordert ein API-Plug-In, das Adaptive Card-Antwortvorlagen verwendet. Die adaptive Kartenvorlage enthält eine Action.InsertImage Aktion, die der Benutzer zum Einfügen des Bildes auswählt.

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

Hinweis

Unterstützte Bildtypen sind .bmp, .gif, .jpeg, .jpg und .png.