Copilot Studio-Agent-Bereitstellungen für Durchsatz- und Ratenbegrenzungen planen

Copilot Studio-Agenten für den produktiven Einsatz benötigen mehr als nur Lizenzierung und Planung des gesamten Nachrichtenvolumens. Sie benötigen auch Durchsatzplanung. Die Durchsatzplanung umfasst, wie schnell der Datenverkehr eintrifft, welche Plattformdienste die Lösung aufruft und welche Grenzen für die gesamte Lösung gelten.

Dieser Artikel hilft Lösungsarchitekten, Erstellenden und Power Platform-Admins bei der Vorbereitung von Copilot Studio-Bereitstellungen für Produktionsdatenverkehr, Benutzerakzeptanztests (UAT), Auslastungstests, Business-to-Customer(B2C)-Szenarien und autonome Workloads.

Die Durchsatzbereitstellung ist getrennt von der Lizenzbereitstellung

Die Planung von Copilot Studio für den produktiven Einsatz unterscheidet zwei verwandte, aber getrennte Arbeitsströme:

  • Lizenzbereitstellung umfasst kommerzielle Berechtigungen und Verbrauch, wie Lizenzen, Gutschriften, Prepaid-Kapazitäten, Nachrichtenpakete und nutzungsbasierte Bezahlung.
  • Tarifbereitstellung regelt, wie schnell der DatenDatenverkehr verarbeitet werden kann, bevor Drosselung oder Serviceschutzmaßnahmen angewendet werden.

Anmerkung

Microsoft verwendet den Begriff Quoten für Copilot Studio-Tarifbegrenzungen. Im weiteren Branchenkontext wird diese Planungstätigkeit oft als Ratenbereitstellung bezeichnet. Prüfen Sie die veröffentlichten Grenzwerte, kalkulieren Sie die Spitzenanforderungsraten und planen Sie, bevor der Produktionsbetrieb beginnt.

Nutzungsbasierte Bezahlung kann die verfügbaren Grenzwerte im Vergleich zu Konfigurationen mit geringerer Kapazität erhöhen, aber der Durchsatz ist nicht unendlich. Prüfen Sie die aktuellen Copilot Studio Grenzwerte, die Power Platform Anforderungszuweisungen, die Power Automate Grenzwerte, die Dataverse Service-SchutzGrenzwerts, die Connector-Drosselung-Regeln und die Downstream-API-Grenzwerts.

Was passiert bei einer Drosselung?

Drosselung ist ein Service-Schutzmechanismus. Es schützt gemeinsame Dienste vor Datenverkehrsmustern, die veröffentlichte Grenzen, Burst-Kontrollen oder Servicekapazitäten überschreiten. Das genaue Symptom hängt davon ab, welcher Dienst einer Drosselung unterliegt.

Wenn eine Grenze erreicht wird, ist die Folge mehr als nur ein Planungsproblem. Anfragen können gedrosselt, verzögert, blockiert oder abgelehnt werden. In benutzerseitigen Chats kann dieses Verhalten als temporäre Dienstunterbrechung auftreten. Der Benutzer kann beispielsweise möglicherweise keine weitere Nachricht senden, erhält eine Nachricht über die Nichtverfügbarkeit des Agenten oder das Erreichen des NutzungsGrenzwerts oder ein Schritt schlägt fehl, weil ein Flow, ein Connector, ein Dataverse-Aufruf, ein KI-Dienst oder eine nachgelagerte API ihr Grenzwert erreicht hat.

Weitere Informationen zu Copilot Studio-spezifischen Symptomen und Fehlermeldungen finden Sie unter Beheben von Nutzungsgrenzenfehlern in Agents.

Wie Ratengrenzen gemessen werden

Ratengrenzwerte geben an, wie viel DatenDatenverkehr ein Dienst in einem bestimmten Zeitfenster akzeptieren kann. Betrachten Sie diese Zeitfenster aufgeschlüsselt: pro Minute, pro 5 Minuten, pro 10 Minuten, pro Stunde, pro Tag, pro Woche und pro Monat. Das monatliche oder wöchentliche Volumen hilft dabei, die Gesamtnachfrage abzuschätzen, aber für die Bereitstellung der Rate sind kürzere Zeitfenster wichtig, weil Drosselung häufig durch gebündelten Datenverkehr verursacht wird.

Z. B. kann ein B2C-Unternehmen den größten Teil seines Agenten-Traffics während einer gezielten Kampagnenstunde erhalten. Der wöchentliche Durchschnitt könnte niedrig aussehen, aber diese einzelne Stunde kann dennoch genügend Durchsatzdruck erzeugen, um Drosselungen oder Dienstunterbrechungen zu verursachen. Ein Design, das auf Wochen- oder Monatsebene sicher erscheint, kann während einer Spitzenstunde dennoch die Grenzwerte überschreiten.

Geltungsbereich der Grenzwerte verstehen

Grenzwerte gelten nicht nur auf der Ebene einzelner Agenten. Je nach Dienst können sie auf der Umgebungsebene, Tool-Ebene, API-Ebene, Connector-Ebene, Kanalebene oder auf der Ebene des Downstream-Services gelten.

Beispielsweise gelten die Grenzwerte für Nachrichten an Agents in Copilot Studio pro Dataverse-Umgebung. Berücksichtigen Sie bei der Abschätzung des Datenverkehrs alle Quellen, die Nachrichten an Agenten in dieser Umgebung senden, einschließlich benutzerseitiger Kanäle, Integrationen, autonomer Workloads und Azure Bot Framework Skills. Prüfen Sie die aktuellen Werte und den Geltungsbereich unter Copilot Studio-Quoten und -Grenzen.

Entscheiden Sie, ob die Tarifbereitstellung für Ihren Mandant gilt

Nicht jeder Agent benötigt großen Aufwand für die Ratenbereitstellung. Ein einfacher interner FAQ-Agent mit einer kleinen Zielgruppe, vorhersehbarer Nutzung und wenigen oder keinen nachgelagerten Aufrufen wird voraussichtlich keine Rategrenzwerte überschreiten. Die Ratenbereitstellung gewinnt an Bedeutung, wenn ein Agent die Grenzwerte für Anfragen pro Minute oder pro Stunde überschreiten könnte, selbst wenn sein monatliches Volumen gering erscheint.

Berücksichtigen Sie das erwartete Nachrichtenaufkommen früh im Projekt, parallel zum Lösungsdesign. Bevor Benutzerakzeptanztests (UAT) und Lasttests beginnen, sollte das Team sicherstellen, dass das Agentendesign, die Umgebung, die verbundenen Dienste und die nachgelagerten Systeme das erwartete Durchsatzprofil unterstützen können.

Diese Empfehlung ist besonders wichtig für größere, leistungsintensive Unternehmensagenten, bei denen der Datenverkehr schubweise eintreffen kann, viele Benutzer oder Ereignisse den Agenten gleichzeitig aufrufen können oder jede Interaktion von mehreren Plattformdiensten abhängt. Dies kann auch für kleinere Agenten mit konzentrierten Nutzungsmustern gelten, wie etwa ein kurzes Startfenster, ein abteilungsweites Ereignis, einen geplanten Prozess oder einen Workflow, der viele Anfragen in wenigen Minuten generiert.

B2C- und autonome Agenten erfordern eine frühzeitige Tarifbereitstellung

Kundenorientierte B2C-Agents können Anfragen aus Kampagnen, öffentlichen Websites, Kundenportalen, der Kommunikation zu Vorfällen, Produkteinführungen oder aufgrund saisonaler Nachfrage erhalten. Autonome Agents können hochfrequenten Datenverkehr aus Zeitplänen, Ereignissen, Hintergrundprozessen oder durch das Aufrufen mehrerer Tools und Workflows generieren.

Trinkgeld

Behandle B2C- und autonome Anwendungsfälle als erstklassige Provisioning-Szenarien. Sie können schneller Burst-Traffic, mehrere gleichzeitige Anfragen und hochfrequente Hintergrundaktivitäten erzeugen als viele mitarbeiternahe Chat-Erlebnisse.

Berücksichtigen Sie Spitzenzeitfenster, nicht nur monatliches Gesamtvolumen

Fragen Sie, ob der Agent in einer Minute oder Stunde konzentrierte Anfragen erstellen kann. Auch ein kleineres Szenario kann eine Durchsatzplanung benötigen, wenn ein Lasttest, eine Kampagne, eine Reaktion auf einen Ausfall oder ein automatisierter Trigger innerhalb eines kurzen Zeitfensters zu viele Nachrichten, generative KI-Aufrufe, Workflow-Aktionen, Connector-Aufrufe oder Dataverse-Anfragen durch die Umgebung schickt.

Das monatliche Volumen ist nützlich zur Schätzung der Gesamtnachfrage, reicht aber für die Durchsatzplanung nicht aus. Unterteilen Sie die erwartete Nutzung in kleinere Zeitfenster, damit Sie das Design mit den aktuellen Anfragen pro Minute (RPM), Anfragen pro Stunde (RPH), Spitzenlast und täglichen Grenzwerte der verlinkten Seiten vergleichen können.

Erstelle sowohl ein durchschnittliches Nutzungsprofil als auch ein Spitzenlastprofil. Wenn zum Beispiel der größte Teil des Datenverkehrs jeden Tag zwischen 17:00 Uhr und 18:00 Uhr stattfindet, sollte die stündliche Spitzenlast diese Konzentration widerspiegeln. Die Tagesschätzung muss nicht 24-mal so hoch sein wie die Spitzenstunde, wenn die Nutzung in einem Zeitfenster konzentriert ist.

Wann kann sonst eine Drosselung stattfinden?

Drosselung kann auch wann stattfinden:

  • Eine große Mitarbeiterschaft nutzt den Agenten während eines vorhersehbaren Spitzenzeitraums, wie etwa bei einer abteilungsweiten Veranstaltung oder Schulung.
  • Eine Marketingkampagne, ein Ausfall, eine Produkteinführung oder ein geplantes geschäftliches Ereignis verursacht einen kurzen Anstieg des Datenverkehrs.
  • Power Automate-Flows umfassen Schleifen, Wiederholungen, Paginierung oder untergeordnete Flows, die das Anforderungsvolumen erhöhen.
  • Berichterstellung, Überwachung, Telemetrieexport oder Transkripterfassung werden synchron im Pfad der Benutzerinteraktion ausgeführt.
  • Mehrere Agenten oder Workloads teilen sich dieselbe Umgebung, Identität, Connector oder Downstream-API-Kapazität.
  • Lasttests fahren schneller hoch, als die Produktionsarchitektur oder der Support-Prozess darauf vorbereitet waren, damit umzugehen.

Wo kann man relevante TarifGrenzwerte nachschlagen

Copilot Studio hat eigene Grenzwerte und der Laufzeitpfad des Agenten kann weitere Dienste mit jeweils eigenen Grenzwerte beinhalten. Überprüfen Sie alle relevanten Grenzwerte für die Dienste, die Ihr Agent nutzt.

Copilot Studio Grenzwerte

Bereich für Durchsatzbereitstellung Was gesucht werden sollte Wo Sie aktuelle Werte überprüfen können Verwendung
Nachrichten an einen Agenten Aktuelles RPM/RPH-Limit und Geltungsbereich für an den Agenten gesendete Nachrichten. Kontingente und Grenzwerte für Copilot Studio Vergleichen Sie die erwartete Anzahl von Nachrichten pro Minute und pro Stunde für die Ziel-Dataverse-Umgebung.
Generative KI-Nachrichten Aktueller Grenzwert für generative Orchestrierung, Agentenaktionen, KI-Tools, Agenten-Workflow-Aktionen und generative Antworten. Generative KI-Nachrichten an einen Agent Modelliere KI-lastige und autonome Szenarien anhand der aktuell veröffentlichten Grenzwerte.
Autonome Triagetriggerknoten Aktuelle Grenzwerte, die gelten, wenn ein autonomer Agent durch Ereignisse, Zeitpläne oder Hintergrundprozesse ausgelöst wird. Kontingente und Grenzwerte für Copilot Studio Modellieren Sie ereignisgesteuerte und geplante Workloads getrennt vom interaktiven Chat-Verkehr.
Grenzwertanfragen für Copilot Studio-Abonnements Aktuelle Power Platform-Anfragebeschränkungen, die für die Nutzung von Copilot Studio gelten. Grenzwerte für Copilot Studio-Abonnements Verwenden Sie diese Werte bei der Planung von Rate-Grenzwerte für Flows, Dataverse und angeschlossene Dienste.

Weitere Plattformgrenzwerte zu berücksichtigen

Der niedrigste Grenzwert im Laufzeitpfad bestimmt das Nutzererlebnis. Ein Copilot Studio-Agent kann innerhalb seiner eigenen Grenzwerte liegen, während ein Flow, Connector, Dataverse-Aufruf, Sprachdienst oder eine externe API gedrosselt wird.

Anmerkung

Andere Plattform-Grenzwerte können Ihren Agenten beeinflussen, wenn er andere Komponenten im Agentenanfragepfad nutzt. Berücksichtigen Sie diese Grenzwerte ebenfalls, einschließlich Power Platform, Power Automate, Dataverse, Konnektoren, Sprachdienste und Downstream-Systeme.

Laufzeitbereich Auf was zu achten ist Fragen zur Ratenbereitstellung Wo die aktuellen Grenzwerte überprüft werden können
Power Platform Anforderungsplan Anforderungen in Power Automate, Copilot Studio-Workflowaufrufen, bei der Dataverse-Nutzung, Power Apps und Dynamics 365. Welcher Benutzer, welche Verbindung, welcher Anwendungsnutzer oder welcher Serviceprinzipal erzeugt die Anfragen? Reichen Anforderungszuweisungen für die erwartete Tages- und Höchstlast aus? Grenzwerte und Zuteilungen für -Anforderungen
Power Automate-Flow Trigger, Aktionen, Schleifen, untergeordnete Flows, HTTP-Aktionen, Konnektoraktionen, Wiederholungen, Paginierung und Parallelität. Wie viele Aktionen werden pro Agentendurchlauf erstellt? Sind Burst-, Nebenläufigkeits-, Trigger- und Connector-Grenzwerte relevant? Plattformgrenzen verstehen und Drosselung vermeiden

Grenzwerte für automatisierte, geplante und -Direktflows
Dataverse CRUD-Operationen, Plug-ins, Workflows, Assign/Share-Operationen, Connector-Aufrufe und Systemoperationen, die zum Abschluss von Transaktionen erforderlich sind. Welche Benutzer, Anwendungsbenutzer oder Service-Principals verursachen Dataverse-Aufrufe? Ist es wahrscheinlich, dass Dienstschutzlimits oder Wiederholversuche zur Anwendung kommen? API-Grenzwerte für den Serviceschutz

Dataverse API-Grenzwerte – Übersicht
Konnektoren Standard-Konnektoren, Premium-Konnektoren, benutzerdefinierte Konnektoren, connector-spezifische Drosselung und Downstream-APIs. Welcher Connector ist der Engpass? Erzwingt der nachgelagerte Dienst sein eigenes Ratenlimit? API-Durchsatzbeschränkungen für Connectors

Power Automate-Konnektorreferenz
Conversational Language Understanding (CLU) und KI-Services CLU-Aufrufe, AI-Prompts, Such- und Zusammenfassungsoperationen, modellgestützte Werkzeuge, Payload-Größe und dienstspezifische Grenzwerte. Wird bei jedem Nutzervorgang ein Sprach- oder KI-Dienst aufgerufen? Werden diese Aufrufe bei erneuten Versuchen oder während der Orchestrierung erneut ausgeführt? Azure Conversational Language Understanding (CLU)

Kontingente und Grenzwerte für Copilot Studio
Externe APIs und Geschäftssysteme Anbieter-APIs, interne APIs, Datenbanken, Middleware, Gateways und benutzerdefinierte Dienste. Welches Limit setzt der nachgelagerte Dienstanbieter durch? Gibt es eine Strategie für Wiederholungsmechanismen, Warteschlangen oder Gegendruck? Nutzen Sie die aktuellen Grenzwerte des Dienstanbieters, das Service Level Agreement (SLA) und den Supportprozess.

Entwurf zur Reduzierung des Durchsatzdrucks

Machen Sie Ratenerhöhungen nicht zu Ihrer ersten Designreaktion. Zunächst das Agentendesign überprüfen und die Effizienz optimieren. Wenn der Agent etwas nachschlagen muss, sollten externe Aufrufe gezielt erfolgen, API-Aufrufe optimiert werden und unnötiges Anfragevolumen über Copilot Studio, Power Automate, Dataverse, Connectoren und nachgelagerte Systeme vermieden werden.

Nachdem das Design effizient gestaltet wurde, steuern Sie den Durchsatz, damit der Datenverkehr die Plattform in vorhersehbarer Weise erreicht:

  • Bei Umgebungsgrenzen sollten Sie in Betracht ziehen, Agenten auf mehrere Umgebungen aufzuteilen, wenn dieser Ansatz zu Ihrem operativen Design passt. Dieser Ansatz kann dazu beitragen, dass hochvolumige Agenten, Geschäftseinheiten, Regionen oder autonome Arbeitslasten nicht mit nicht verwandten Arbeitslasten um die gleichen umgebungsbezogenen Grenzen konkurrieren.
  • Verwenden Sie für autonome Agents Warteschlangen, Stapelverarbeitung, Triggerfilter, geplante Verarbeitung, Steuerung von Wiederholversuchen und Überwachung, damit Hintergrundarbeit nicht als unkontrollierte Lastspitze anfällt.
  • Verschieben Sie geplante, Berichts-, Audit-Export- und Telemetrieprozesse nach Möglichkeit außerhalb des interaktiven Chatdialogs.
  • Überprüfen Sie die Ergebnisse von Lasttests und die Produktions-Telemetrie, um zu erkennen, wo sich Anfragen konzentrieren. Optimieren Sie anschließend den Agenten, die Flows, die Connectors und die Downstream-APIs, bevor Sie höhere Grenzwerte beantragen.

Autonome Agents sind optimal aufgestellt, um ihre zugewiesene Kapazität mit hoher Vorhersagbarkeit und Beobachtbarkeit maximal zu nutzen, indem sie Anfragen in Warteschlangen stellen und ihre Trigger-Raten steuern.

Was ist zu tun, wenn die Standardratenbeschränkungen nicht ausreichen?

Wenn die Schätzung des Spitzenverkehrs zeigt, dass der Agent oder ein verbundener Dienst die aktuell veröffentlichten Limits überschreiten könnte, starten Sie den Supportprozess für die Ratenbereitstellung vor Benutzerakzeptanztests, Auslastungstests oder dem Produktivstart. Warten Sie nicht auf den ersten Fehler im Produktionsbetrieb.

Anmerkung

Copilot Studio ist ein SaaS-Dienst mit Rate Grenzwerte zum Schutz aller Kunden. Mit entsprechender Begründung kann das Engineering-Team benutzerdefinierte Grenzwerte für genehmigte Szenarien freigeben.

Supportanfrage öffnen

Admiistratorne können Supportanfrage vom Power Platform Admin Center.

Öffnen Sie das Ticket frühzeitig und fügen Sie die bestmöglichen verfügbaren Schätzwerte hinzu. Je mehr Details Sie bereitstellen, desto reibungsloser verläuft die Überprüfung. Aktualisieren Sie die Anfrage, sobald das Design verfeinert wird oder Lasttests beobachtete Daten liefern.

Kerninformationen, die enthalten sein sollten

Informationen Beschreibung des Dataflows
Umgebungs-ID Die Dataverse-Umgebung, in der der Agent ausgeführt wird.
Name oder Kennung des Agenten Der Agent, der von der Anfrage betroffen ist.
Auswirkungen auf das Geschäft Kritische Auswirkung, wenn die StandardGrenzwerte nicht ausreichen.
Bekannte Informationen Was ist über das Szenario, den Kanal, den Einführungskontext, die Geschäftskritikalität und darüber bekannt, ob es sich um B2C, einen autonomen Agenten, mitarbeiterorientiert oder nur für interne Nutzung handelt?
Momentaufnahme Agent Ein Snapshot oder Export, der Prüfern hilft, die Agentenkonfiguration, das Design, die verbundenen Dienste und die relevanten Einstellungen zu verstehen.
Design-Agent Beschreibung auf hoher Ebene der Themen, der Nutzung generativer KI, der Wissensquellen, der Aktionen, Abläufe, Konnektoren, Dataverse-Aufrufe und externen APIs, die vom Agenten verwendet werden.
Schätzung des durchschnittlichen Datenverkehrs Erwarteter durchschnittlicher Datenverkehr pro Stunde, Tag, Woche oder Monat.
Schätzung des Datenverkehrs zu Spitzenzeiten Erwartete Spitzen-Nachrichten, Sitzungen, generative KI-Aufrufe, Flow-Aktionen, Connector-Aufrufe, Dataverse-Anfragen und externe API-Aufrufe, sofern bekannt.

Weitere Details, die helfen können

Informationen Beschreibung des Dataflows
Datumsbereich Start- und Enddatum für die beantragte Erhöhung. Getrennte Zeiträume für Lasttest, Nutzerakzeptanztest und Produktion, sofern diese unterschiedlich sind.
Spitzenlastmuster Spitzenzeiten, Zeitzonen, erwartete Auslöser für Lastspitzen und ob sich der Datenverkehr auf ein kurzes tägliches Zeitfenster konzentriert.
Sitzungsprofil Gleichzeitige Sitzungen, durchschnittliche und maximale Sitzungsdauer, Nachrichten pro Sitzung und Fragen pro Sitzung.
Typische Sitzungsbeispiele Repräsentative Benutzerpfade, typische Schritte, verwendete Werkzeuge und Beispiel-Sitzungs-IDs, wo verfügbar.
Ausführungspfad Flows, Aktionen, KI-Prompts, Knowledge Calls, Dataverse-Anfragen, Connectors und APIs pro Interaktion.
Spitzenwerte auf Funktionenebene Spitzenwerte pro Agent, Feature, Benutzer, Umgebung, Connector, Minute, Stunde und Tag, sofern bekannt.
Zu prüfende Produkte Ob die Anfrage Copilot Studio, Power Platform-Anfragekontingente, Power Automate, Connectoren, Dataverse, CLU/AI-Dienste oder externe APIs betrifft.
Beweise Beispiel-Sitzungs-IDs, Fehler, Korrelations-IDs, Protokolle, Lasttest-Ergebnisse oder Produktionsbeobachtungen.
Gegenmaßnahmen Fassen Sie zusammen, was Sie bereits versucht haben, um den Durchsatzdruck zu senken. Verweisen Sie auf die Design to reduce throughput pressure-Empfehlungen, einschließlich Designüberprüfung, optimierte externe Aufrufe, Segmentierung der Umgebung, Batch-Verarbeitung, Warteschlangenbildung, Trigger-Filterung, Zeitplanung, Verteilung der Arbeitslast und andere bereits implementierte Optimierungen.

Wichtig

Eine Erhöhung des Durchsatzes ist nicht garantiert. Microsoft-Support prüft Anfragen basierend auf Szenario, Umgebung, angefordertem Datumsbereich, erwartetem Datenverkehr, Berechtigung, aktuellen Grenzwerte und Dienstkapazität.

  • Last updated on