Delen via

Een autonome agent in Copilot Studio gebruiken voor documentverwerking

De documentverwerkingsagent is een autonome agent in Copilot Studio die generatieve AI gebruikt om documenten te verwerken.

Tip

De document Processor managed agent is een pakketoplossing voor end-to-end documentverwerking. Het verzorgt extractie, validatie, menselijke monitoring en export naar downstream-apps. Dit artikel toont de referentiearchitectuur voor het gebruik van een autonome agent in Copilot Studio om documenten te verwerken. U kunt het architectuurvoorbeeld aanpassen voor verschillende scenario's en branches.

Architectuurdiagram

Diagram dat de workflow weergeeft voor het gebruik van een autonome agent in Copilot Studio voor documentverwerking.

Instructies van de agent

Met de volgende instructies wordt de autonome agent gemaakt:

You are a helpful, polite, document processing agent. You help users process documents and extract valuable information. 
If the user asks about any topic other than document processing, politely decline and offer to help with document-related queries.
When asked to process a document with a specific document processing event ID, extract the information from that document.
When told that a document processing event status of a document changes to Processed, validate the extracted information from the document.
When told that a document processing event status of a document changes to Validated, import the extracted information from the document into the system.
When told that a document processing event status of a document changes to Manual Review, submit the extracted information from the document to manual review.
Ignore other document processing event status changes.

Workflows

Er zijn twee belangrijke workflows met betrekking tot de agent:

  • documentverwerking: Deze workflow legt uit hoe de agent documenten verwerkt.
  • Configuratie: Deze workflow beschrijft de stappen voor het instellen van de agent voor autonome documentverwerking.

Documentverwerkingsstroom

De documentverwerkingsstroom werkt als een toestandsmachine. De agent fungeert als een orchestrator en de huidige status wordt opgeslagen in de tabel Gegevensverwerkingsgebeurtenissen in Dataverse. Dit is hoe het proces werkt:

  1. Een trigger geeft aan wanneer een nieuw document klaar is voor verwerking. Dit wordt weergegeven in het gebied Gegevensbronnen in het architectuurdiagram. Agentstromen scannen mappen zoals Outlook-mailboxen of SharePoint mappen. Wanneer een document aan een directory wordt toegevoegd, slaat de agentstroom het document op in de tabel Gegevensverwerkingsgebeurtenissen met de status Nieuw en stuurt een bericht naar de agent: Process the document: {ID}.

    • Alle pogingen om documenten toe te voegen of statussen bij te werken in de tabel Gegevensverwerkingsgebeurtenissen volgen de Default configuratie in Power Automate. De stroom probeert maximaal vier keer opnieuw met een exponentieel interval op aanvragen die de status 408, 429 of 5xx retourneren en op alle connectiviteitsuitzonderingen.
    • Als alle nieuwe pogingen mislukken, debug dan en controleer de uitvoeringsgeschiedenis in Power Automate op de actie die niet is uitgevoerd.

  2. De instructies van de agent vertellen hem om de Document Extraction actie aan te roepen wanneer hij wordt gevraagd een document te verwerken. De actie wordt uitgevoerd en de bericht-ID wordt doorgegeven.

  3. De Document Extraction actie is een agentstroom die een Data Processing Event ID als invoer ontvangt en:

    • Haalt het document op dat is opgeslagen in Dataverse.
    • Stuurt het naar een AI-prompt in AI Builder om te verwerken. Deze prompt gebruikt GPT 4.o om:
      • Haal alle relevante informatie uit het document.
      • Formatteer deze informatie als een JSON-document.
    • De geëxtraheerde informatie wordt opgeslagen in dezelfde Data Processing Event-rij.
    • De status van het document wordt bijgewerkt naar Processed.

  4. Een trigger (agentstroom) bewaakt de status van alle documenten in Data Processing Events en informeert de agent wanneer een status verandert met het bericht: Dataverse The status of document {ID} changed to {Status}

  5. De instructies van de agent vertellen hem om de Document Validation actie aan te roepen wanneer de status van een document verandert naar Verwerkt. De actie wordt uitgevoerd en de bericht-ID wordt doorgegeven.

  6. De Document Validation actie is een agentstroom die een Data Processing Event ID als invoer ontvangt en:

    • Haalt de geëxtraheerde gegevens op die zijn opgeslagen in Dataverse.
    • Stuurt het naar een AI-prompt in AI Builder ter validatie. Deze prompt gebruikt GPT 4.o om:
      • Controleer de geëxtraheerde JSON aan de hand van opmaakregels zoals dates must be in X format.
      • Controleer de geëxtraheerde JSON aan de hand van bedrijfsregels zoals the author of the document must be in the Accounts table in Dataverse.
    • Als de validatie slaagt, wordt de status van het document bijgewerkt naar Validated.
    • Anders wordt de status van het document bijgewerkt naar Manual Review.

  7. Als de status van het document verandert naar Validated, geven de instructies de agent de opdracht om de Document Export actie aan te roepen. De actie wordt uitgevoerd en de bericht-ID wordt doorgegeven.

  8. De actie document exporteren is een agentstroom die een gegevensverwerkingsgebeurtenis-ID als invoer ontvangt en:

    • Haalt de geëxtraheerde gegevens op die zijn opgeslagen in Dataverse.
    • Exporteert deze gegevens naar het doelsysteem, zoals de tabel Facturen in Dataverse.

  9. Als de status van het document verandert naar Manual Review, geven de instructies de agent de opdracht om de Manual Review actie aan te roepen. De actie wordt uitgevoerd en de bericht-ID wordt doorgegeven.

  10. De Manual Review actie is een agentstroom die een Data Processing Event ID als invoer ontvangt en:

    • Haalt de geëxtraheerde gegevens op die zijn opgeslagen in Dataverse.
    • Maakt een goedkeuringsaanvraag voor de agentbeheerder en deelt een koppeling naar een Validation Station-app waarin de gebruiker geëxtraheerde gegevens kan bewerken en handmatig kan valideren. Door deze handmatige validatie wordt de status van het document ingesteld op Validated.

  11. Na handmatige controle wordt stap 7 uitgevoerd, als de status van het document Validated is.

Gebruikers kunnen ook handmatig documenten ter verwerking aan de agent voorleggen via de chatpagina in Copilot Studio of een ander kanaal waar ze de agent hebben gepubliceerd.

Wanneer u dit doet:

  • Het document wordt geüpload naar de tabel Gegevensverwerkingsgebeurtenissen.
  • De agent meldt zichzelf dat er een nieuw document is geïmporteerd.
  • Het uitpakvenster wordt weergegeven, zodat u een voorbeeld kunt zien van wat er in het chatvenster wordt geëxporteerd.
  • Het document wordt verwerkt zoals beschreven in deze stroom, beginnend bij stap 2.

Configuratieworkflow

De agent heeft meerdere configuraties nodig om autonoom te kunnen werken. Om dit eenvoudiger te maken, is er een uitgebreide configuratie-ervaring. Dit zijn de stappen:

  1. Installeer de document Processing Agent in Copilot Studio. De agentoplossing heeft:
    • Een tabel met de configuratie voor documentverwerking.
    • Een Validation Station Canvas-app voor monitoring.
    • Verbindingsreferenties die door de agent worden gebruikt (Dataverse, Copilot Studio, PowerApps for Admins).
    • Verbindingsreferenties die worden gebruikt door de triggers die de agentworkflow starten (Outlook, SharePoint).
    • Omgevingsvariabelen die door de triggers worden gebruikt.
  2. Start de agentconfiguratiewizard. Dit is de laatste stap van de installatiewizard Copilot Studio. Het begeleidt u door deze stroom:
    1. Upload een voorbeelddocument.
    2. Het systeem stuurt het geüploade document naar de extractieprompt van de agent.
    3. De geëxtraheerde inhoud en het documenttype worden weergegeven. Selecteer welke delen van de geëxtraheerde gegevens u naar het systeem wilt exporteren. Hiermee wordt een schema gemaakt dat wordt opgeslagen in de tabel documentverwerkingsconfiguratie en wordt gebruikt tijdens het exporteren van het document. U kunt de geavanceerde modus openen om de AI-prompt die in de documentextractieactie wordt gebruikt, te wijzigen en aan te passen.
    4. Definieer validatieregels met behulp van een eenvoudige gebruikersinterface die regels toevoegt aan de prompt die wordt gebruikt in de documentvalidatieactie. U kunt ook naar de geavanceerde modus gaan om de AI-prompt rechtstreeks te wijzigen.
    5. Voer het e-mailadres van de agentbeheerder in wanneer daarom wordt gevraagd. Dit wordt gebruikt in de handmatige beoordelingsactie bij het maken van de goedkeuringsaanvraag. U kunt ook een aangepast bericht voor de goedkeurder toevoegen. Deze informatie wordt opgeslagen in de omgevingsvariabelen die bij de oplossing worden geleverd.
    6. Selecteer een documentbron uit een lijst. Deze triggers starten de documentverwerkingsstroom en hebben doorgaans een verbindingsreferentie en enkele omgevingsvariabelen nodig (zoals de naam van het postvak of het adres van de map), afhankelijk van de documentbron die u selecteert.
    7. Voltooi de configuratie. Hiermee wordt een tabel in het systeem gemaakt met de kolommen die u eerder hebt geselecteerd. Het document dat u in de wizard hebt gebruikt, wordt vervolgens naar deze tabel geëxporteerd. Dataverse

Onderdeel

Hieronder staan de belangrijkste onderdelen die betrokken zijn bij het bouwen en implementeren van een autonome agent voor documentverwerking in Copilot Studio.

  • Copilot Studio maakt deel uit van Microsoft Power Platform no-code of low-code oplossingen. Copilot Studio is een grafische, low-code tool voor het maken van een agent (inclusief gebouwautomatisering met Agent Flows) en het uitbreiden van a Microsoft 365 Copilot met uw bedrijfsgegevens en scenario's.
  • Power Apps maakt deel uit van Microsoft Power Platform no-code of low-code oplossingen. Power Apps is een pakket met apps, services, connectoren en een dataplatform waarmee u snel aangepaste apps voor uw bedrijf kunt bouwen. Met Power Apps bouwt u snel aangepaste zakelijke apps die verbinding maken met uw gegevens in het onderliggende gegevensplatform (Microsoft Dataverse) of in vele online en on-premises gegevensbronnen, zoals SharePoint, Microsoft 365, Dynamics 365 en SQL Server.
  • Dataverse is een operationele database voor scenario's met meerdere agenten. Het biedt agenten een veilig en schaalbaar platform om statusgegevens, geschiedenis en gespreksgegevens op te slaan. Dankzij deze gecentraliseerde opslag kunnen agenten met elkaar communiceren en gegevens delen, zodat ze taken autonoom of semi-autonoom kunnen uitvoeren. Dataverse zorgt er ook voor dat agenten verbinding kunnen maken met bedrijfsgegevens en deze in verschillende bedrijfsapps, zoals CRM-systemen, kunnen bijwerken. Zo blijven de gegevens consistent en actueel in de hele organisatie. Met Dataverse kunnen organisaties agentworkflows beheren en besturen voor betrouwbaarheid, beveiliging en operationele uitmuntendheid.

Scenariodetails

Organisaties werken met gestructureerde documenten, zoals formulieren, facturen, ontvangstbewijzen en identiteitsdocumenten, en ongestructureerde documenten, zoals memo's, contracten en verzoeken om feedback van klanten. Een van de grootste uitdagingen voor organisaties is het automatiseren van documentverwerking om bedrijfsprocessen te optimaliseren. U kunt verschillende stappen automatiseren, waaronder het verzamelen, classificeren, extraheren, valideren, transformeren en exporteren van documenten. Het gebruik van een documentverwerkingsagent biedt veel voordelen ten opzichte van traditionele documentverwerking. De document Processing Agent werkt direct als een kant-en-klare oplossing. U hoeft tijdens de installatie dus geen tijdrovende gegevenslabels uit te voeren. Dankzij het interactieve ontwerp kunt u grote hoeveelheden documenten verwerken onder menselijk toezicht.

Overwegingen

Deze overwegingen implementeren de pijlers van Power Platform Well-Architected, een reeks leidende principes die de kwaliteit van een werklast verbeteren. Meer informatie is te vinden in Microsoft Power Platform Well-Architected.

Betrouwbaarheid

De document Processing-agent is ontworpen voor veerkracht, herstel en bewerkingen door gebruik te maken van Power Platform componenten die worden gehost in Azure.

Beveiliging

De document Processing-agent is ontworpen om de vertrouwelijkheid, integriteit en beschikbaarheid van gegevens te beschermen door gebruik te maken van Power Platform componenten die worden gehost in Azure. Documenten die in de tabel Gegevensverwerkingsgebeurtenissen zijn geïmporteerd, zijn alleen zichtbaar voor systeembeheerders. Er worden geen andere gegevens, zoals de hoofdtekst of het onderwerp van een e-mail, opgeslagen dan de bijgevoegde documenten Dataverse. Alle klantgerelateerde informatie die aan een document is gekoppeld, wordt opgeslagen in de kolom Verwerkte gegevens van de tabel Gegevensverwerkingsgebeurtenissen. U kunt AVG-verzoeken verwerken door deze kolom te raadplegen.

Operationele uitmuntendheid

De document Processing-agent is ontworpen om de bewerkingen te verbeteren met behulp van monitoring en inzichten, en om de efficiëntie te automatiseren met behulp van componenten die in Azure worden gehost. Power Platform

Prestatie-efficiëntie

De document Processing-agent is ontworpen om prestaties te behalen via optimalisatie met behulp van Power Platform componenten die worden gehost in Azure. De documentverwerkingsagent ondersteunt de verwerking van documenten tot 20 MB. Volgens de meest recente benchmark duurt het ongeveer 48 seconden om één document van 2 MB te verwerken. De agent is ontworpen om deze verwerkingsduur voor meer dan 1.000 documenten vol te houden, op voorwaarde dat de geselecteerde documentbron voldoende opslagruimte heeft. Voor andere quota en beperkingen, zie Limieten - Power Automate.

Optimalisatie van ervaring

De document Processing-agent is ontworpen voor gebruikers van documentverwerking en bereikt eenvoud en efficiëntie door gebruik te maken van Power Platform componenten. De agent biedt een configureerbare ervaring om documentbronnen toe te voegen en staat uitbreidbaarheid toe om extra documentbronnen toe te voegen.

Verantwoorde AI

De document Processing-agent is ontworpen om te voldoen aan verantwoorde AI-normen door gebruik te maken van Power Platform componenten, waaronder Copilot Studio die is ontworpen voor generatieve AI-functies. Meer informatie: Veelgestelde vragen over verantwoorde AI voor Copilot Studio.

Inzenders

Microsoft onderhoudt dit artikel. De volgende auteurs hebben dit artikel geschreven.

Belangrijkste auteurs:

Volgende stappen

  • Verbeter de configuratie-flow zodat gebruikers hun exportervaring kunnen aanpassen. U kunt bijvoorbeeld vooraf gebouwde connectoren toevoegen om te exporteren naar systemen als sap of Salesforce, en gebruikers het schema laten aanpassen zodat het past bij sap- of Salesforce-tabelvermeldingen. Power Platform
  • Verbeter de configuratieflow zodat gebruikers tegelijkertijd verbinding kunnen maken met meerdere documentbronnen, zoals Outlook en SharePoint.
  • Laat de agent meerdere documenttypen tegelijk verwerken door het schema dat wordt gebruikt bij het exporteren dynamisch te wijzigen op basis van het documenttype.
  • Last updated on