Planowanie wdrożeń agentów programów Copilot Studio na potrzeby przepływności i limitów szybkości

Agenty programu Copilot Studio gotowe do wdrożenia w środowisku produkcyjnym wymagają czegoś więcej niż tylko licencji i planowania całkowitego wolumenu komunikatów. Potrzebują też planowania przepustowości. Planowanie przepływności obejmuje kwestie, takie jak: jak szybko dociera ruch, które usługi platformy wywołuje rozwiązanie i które limity mają zastosowanie w całym rozwiązaniu.

Ten artykuł pomaga architektom rozwiązań, twórcom i administratorom platformy Power Platform przygotować wdrożenia w usłudze Copilot Studio obsługujące duży wolumen do obsługi ruchu produkcyjnego, testów akceptacyjnych użytkowników (UAT), testowania obciążenia, scenariuszy B2C (business-to-customer) oraz obciążeń autonomicznych.

Ustalanie stawek jest odrębne od przydziału licencji

Planowanie produkcyjnego Copilot Studio obejmuje dwa powiązane, ale odrębne strumienie pracy:

  • Aprowizacja licencji obejmuje uprawnienia komercyjne i zużycie, takie jak licencje, kredyty, pojemność opłacona z góry, pakiety komunikatów i rozliczenia z płatnością zgodnie z rzeczywistym użyciem.
  • Rate provisioning określa, jak szybko ruch może być przetwarzany, zanim zostaną zastosowane mechanizmy ograniczania lub zabezpieczenia usług.

Notatka

Microsoft używa terminu kwoty w odniesieniu do limitów stawek Copilot Studio. W szerszym terminologii branżowym ta działalność planistyczna nazywana jest często rezerwowaniem stawek. Przejrzyj opublikowane limity, oszacuj szczytowe natężenie żądań i zaplanuj działania zanim pojawi się ruch produkcyjny.

Płatność zgodnie z rzeczywistym użyciem może zwiększyć dostępne limity w porównaniu z konfiguracjami o niższej pojemności, ale przepływność nie jest nieograniczona. Sprawdź bieżące limity programu Copilot Studio, alokacje żądań Power Platform, limity usługi Power Automate, limity ochrony usługi Dataverse, reguły ograniczania przepustowości łączników i limity podrzędnego interfejsu API.

Co się stanie w przypadku wystąpienia ograniczania?

Throttling to mechanizm ochrony usług. Chroni współdzielone usługi przed wzorcami ruchu, które przekraczają opublikowane limity, mechanizmy kontroli burstów lub pojemność usług. Dokładny objaw zależy od tego, która usługa jest ograniczana.

Gdy zostanie osiągnięty limit, konsekwencje są czymś więcej niż tylko kwestią planowania. Żądania mogą być ograniczane, opóźniane, blokowane lub odrzucane. W czatach skierowanych do użytkowników takie zachowanie może się objawiać jako tymczasowe przerwanie usługi. Na przykład użytkownik może nie być w stanie wysłać kolejnej wiadomości, otrzymać komunikat o niedostępności agenta lub o ograniczeniu użycia, albo napotkać nieudany krok, ponieważ przepływ, konektor, wywołanie Dataverse, usługa AI lub downstream API osiągnęły swój limit.

Dowiedz się o specyficznych objawach i komunikatach o błędach Copilot Studio w Rozwiązanie problemów związanych z przekroczeniem limitów użytkowania w agentach.

Jak mierzy się limity stawek

Limity ruchu mierzą, jak dużo ruchu może obsłużyć usługa w określonym oknie czasowym. Rozważ te okna czasowe szczegółowo: minuta, pięć minut, 10 minut, godzina, dzień, tydzień i miesiąc. Miesięczny lub tygodniowy wolumen pomaga oszacować całkowite zapotrzebowanie, ale krótsze okna mają znaczenie dla przydzielania stawek, ponieważ ograniczanie często wynika z skoncentrowanego ruchu.

Na przykład firma B2C może otrzymać większość ruchu agentów podczas jednej skoncentrowanej godziny kampanii. Średnia tygodniowa może wyglądać na niską, ale ta jedna godzina nadal może stworzyć wystarczającą ilość presji na przepływność, aby spowodować ograniczanie przepustowości lub przerwy w działaniu usługi. Projekt, który wydaje się bezpieczny na poziomie tygodniowym lub miesięcznym, może nadal przekroczyć limity podczas jednogodzinnego szczytu.

Zrozum zakres ograniczeń

Limity nie dotyczą tylko poziomu indywidualnego agenta. W zależności od usługi, limity mogą obowiązywać na poziomie środowiska, narzędzia, API, konektora, kanału lub usługi zależnej.

Na przykład limity wiadomości do agentów w Copilot Studio są określone na poziomie środowiska Dataverse. Szacując ruch, uwzględnij wszystkie źródła wysyłające wiadomości do agentów w tym środowisku, w tym kanały użytkownika, integracje, autonomiczne obciążenia oraz Azure Bot Framework skills. Sprawdź aktualne wartości i zakres w sekcji Limity i ograniczenia w Copilot Studio.

Zdecyduj, czy aprowizacja szybkości dotyczy Twojego agenta

Nie każdy agent wymaga szczegółowej aprowizacji stawek. Prosty wewnętrzny agent często zadawanych pytań (FAQ) z małą grupą odbiorców, o przewidywalnym użyciu i z niewielką liczbą wywołań podrzędnych lub bez nich raczej nie osiągnie limitów szybkości. Aprowizacja limitów staje się ważna, gdy agent może przekroczyć limity liczby żądań na minutę lub na godzinę, nawet jeśli miesięczny wolumen wydaje się niewielki.

Pomyśl o spodziewanym ruchu na początku projektu, równocześnie z projektowaniem rozwiązania. Przed rozpoczęciem testów akceptacyjnych przez użytkowników (UAT) i testów obciążeniowych, zespół powinien być pewien, że projekt agenta, środowisko, usługi połączone oraz systemy downstream mogą wspierać oczekiwany profil przepustowości.

Te wskazówki są najważniejsze dla większych, bardziej zaawansowanych agentów klasy korporacyjnej, gdzie ruch może napływać w seriach, wielu użytkowników lub zdarzeń może jednocześnie wywoływać agenta, a każda interakcja zależy od usług na wielu platformach. Może również dotyczyć mniejszych agentów o skoncentrowanych wzorcach użytkowania, takich jak krótkie okno uruchomienia, wydarzenie obejmujące cały dział, zaplanowany proces czy workflow, który generuje wiele żądań w ciągu kilku minut.

Agenci B2C oraz autonomiczni wymagają wczesnego przydziału limitów ruchu

Agenci B2C obsługujący klientów mogą otrzymywać ruch z kampanii, publicznych stron internetowych, portali klienta, powiadomień o incydentach, premier produktów lub sezonowego zapotrzebowania. Agenci autonomiczni mogą generować ruch o wysokiej częstotliwości z harmonogramów, zdarzeń, procesów w tle lub gdy wywołają wiele narzędzi i przepływów pracy.

Wskazówka

Traktuj scenariusze B2C i autonomiczne jako priorytetowe pod względem przydziału limitów przepustowości. Mogą one generować gwałtowny wzrost ruchu, wiele jednoczesnych żądań oraz częstą aktywność w tle szybciej niż wiele środowisk czatów używanych przez pracowników.

Używaj szczytowych przedziałów czasowych, a nie tylko miesięcznych wolumenów

Zapytaj, czy agent może wygenerować skoncentrowane żądania w ciągu minuty lub godziny. Mniejszy scenariusz może nadal wymagać przydzielania limitów ruchu, jeśli test obciążeniowy, kampania, reakcja na awarię lub automatyczny wyzwalacz przepuszcza zbyt wiele komunikatów, wywołań generatywnej AI, akcji workflow, wywołań konektorów lub żądań Dataverse przez środowisko w krótkim oknie czasowym.

Miesięczny wolumen jest przydatny do szacowania całkowitego zapotrzebowania, ale nie wystarcza do ustalania limitów ruchu. Przekonwertuj przewidywane użycie na mniejsze przedziały czasu, aby porównać założenia projektu z bieżącymi limitami żądań na minutę (RPM), żądań na godzinę (RPH), gwałtownym wzrostem ruchu oraz limitami dziennymi z połączonych stron.

Opracuj zarówno profil średniego ruchu, jak i profil szczytu ruchu. Na przykład, jeśli większość ruchu przypada każdego dnia między 17:00 a 18:00, godzinowy szczyt powinien odzwierciedlać tę koncentrację. Dzienne oszacowanie nie musi wynosić 24 razy w godzinach szczytu, jeśli ruch jest skoncentrowany w jednym przedziale.

Kiedy jeszcze może wystąpić ograniczanie?

Ograniczanie może również wystąpić, gdy:

  • Znaczna grupa pracowników korzysta z agenta podczas przewidywalnego okresu szczytu, na przykład w trakcie ogólnowydziałowego wydarzenia lub szkolenia.
  • Kampania marketingowa, przerwa w działaniu, uruchomienie lub zaplanowane wydarzenie biznesowe powodują krótkotrwały skok ruchu.
  • Przepływy usługi Power Automate obejmują pętle, ponowne próby, dzielenie na strony lub przepływy podrzędne, które zwiększają liczbę żądań.
  • Raportowanie, inspekcje, eksport telemetrii lub przechwytywanie transkrypcji odbywają się synchronicznie na ścieżce tury użytkownika.
  • Wielu agentów lub obciążeń korzysta ze wspólnego środowiska, tożsamości, konektora lub pojemności API systemów zewnętrznych.
  • Zakres testów obciążeniowych zwiększa się szybciej niż zakres, do którego obsługi była przygotowana architektura produkcyjna lub proces pomocy technicznej.

Gdzie szukać odpowiednich limitów szybkości

Program Copilot Studio ma własne limity, a ścieżka środowiska uruchomieniowego agenta może obejmować inne usługi z własnymi limitami. Przejrzyj wszystkie istotne limity dla usług, z których korzysta Twój agent.

Limity Copilot Studio

Obszar aprowizacji szybkości Czego szukać Gdzie sprawdzić bieżące wartości Korzystanie
Wiadomości do agenta Aktualny limit RPM/RPH oraz zakres dla wiadomości wysyłanych do agenta. Limity i przydziały Copilot Studio Porównaj spodziewaną liczbę wiadomości na minutę i na godzinę dla docelowego środowiska Dataverse.
Generatywne komunikaty AI Bieżący limit dla orkiestracji generatywnej, akcji agenta, narzędzi AI, akcji przepływu pracy agenta i odpowiedzi generatywnych. Generatywne wiadomości AI do agenta Modeluj scenariusze oparte na AI i autonomiczne w kontekście obecnie opublikowanych limitów.
Autonomiczne węzły wyzwalające Aktualne limity obowiązujące w przypadku uruchamiania agenta autonomicznego przez zdarzenia, harmonogramy lub procesy w tle. Limity i przydziały Copilot Studio Analizuj obciążenia wyzwalane przez zdarzenia i zaplanowane oddzielnie od interakcji czatu.
Limity wniosków o subskrypcję Copilot Studio Obowiązujące limity żądań Power Platform podczas korzystania z Copilot Studio. Limity subskrypcji Copilot Studio Używaj tych wartości wraz z planowaniem limitów przepustowości dla przepływów, Dataverse i usług połączonych.

Inne ograniczenia platform do rozważenia

Najniższy limit w ścieżce środowiska uruchomieniowego określa środowisko użytkownika. Agent programu Copilot Studio może pozostawać w granicach swoich limitów, podczas gdy przepływ, łącznik, wywołanie usługi Dataverse, usługa językowa lub zewnętrzny interfejs API podlega ograniczaniu.

Notatka

Inne ograniczenia platformy mogą wpływać na agenta, jeśli używa on innych składników w ścieżce żądania agenta. Uwzględnij również te ograniczenia, w tym Power Platform, Power Automate, Dataverse, konektory, usługi językowe oraz systemy poniżej w ścieżce przetwarzania.

Obszar wykonawczy Na co patrzeć Pytania dotyczące przydziału przepustowości Gdzie sprawdzić aktualne limity
Płaszczyzna żądań Power Platform Żądania w usłudze Power Automate, wywołaniach przepływów pracy programu Copilot Studio, użyciu usługi Dataverse oraz usługach Power Apps i Dynamics 365. Który użytkownik, połączenie, użytkownik aplikacji lub service principal generuje żądania? Czy alokacje żądań są wystarczające dla oczekiwanego obciążenia dziennego i szczytowego? Limity i alokacje żądań
Przepływy usługi Power Automate Wyzwalacze, akcje, pętle, przepływy podrzędne, akcje HTTP, akcje konektora, ponowienia, paginacja i konkurencyjność. Ile akcji jest tworzonych na turę agenta? Czy limity gwałtownego wzrostu, współbieżności, wyzwalacza i łącznika należą do zakresu? Informacje o limitach platformy i unikanie ograniczania przepustowości

Limity odpowiednie dla automatycznych, planowanych i błyskawicznych przepływów
Dataverse Operacje CRUD, wtyczki, przepływy pracy, operacje przypisywania/udostępniania, wywołania konektora oraz operacje systemowe wymagane do zakończenia transakcji. Którzy użytkownicy, użytkownicy aplikacji lub service principals generują wywołania Dataverse? Czy mogą obowiązywać limity ochrony usług lub zachowanie przy ponownym próbowaniu? Limity API ochrony usługi

Omówienie limitów interfejsu AP usługi Dataverse
Łączniki Standardowe złącza, łączniki premium, złącza niestandardowe, specyficzne dla konektorów ograniczanie oraz API downstream. Który łącznik jest wąskim gardłem? Czy usługa po stronie odbiorcy egzekwuje własny limit liczby żądań? Limity przepustowości API na złączach

Informacje o łącznikach Power Automate
Rozpoznawanie mowy w kontekście konwersacyjnym (CLU) i usługi oparte na sztucznej inteligencji Wywołania CLU, polecenia AI, operacje wyszukiwania i podsumowywania, narzędzia obsługiwane przez model, rozmiar ładunku danych oraz limity specyficzne dla usługi. Czy każda wypowiedź użytkownika wywołuje usługę językową lub AI? Czy te wywołania są powtarzane podczas ponownych prób czy podczas koordynacji? Ograniczenia w rozumieniu języka potocznego

Limity i przydziały Copilot Studio
Zewnętrzne API oraz systemy biznesowe API dostawców, wewnętrzne API, bazy danych, middleware, bramki i usługi niestandardowe. Jaki limit egzekwuje właściciel usługi docelowej? Czy istnieje mechanizm ponawiania, kolejka lub strategia ograniczania przeciążenia? Stosuj się do aktualnych limitów, umowy o poziomie usług (SLA) oraz procesu wsparcia właściciela usługi docelowej.

Zaprojektuj system tak, aby zmniejszyć presję na przepustowość

Nie traktuj zwiększenia limitów jako pierwszego rozwiązania projektowego. Po pierwsze, przeanalizuj projekt agenta i zoptymalizuj jego wydajność. Jeśli agent musi coś wyszukać, wykonuj wywołania zewnętrzne tylko wtedy, gdy są potrzebne, optymalizuj wywołania API i unikaj zbędnych żądań w Copilot Studio, Power Automate, Dataverse, konektorach i systemach downstream.

Po zoptymalizowaniu projektu agenta, kontroluj przepustowość tak, aby ruch docierał do platformy w sposób przewidywalny:

  • W przypadku ograniczeń środowiskowych rozważ podział agentów na wiele środowisk, jeśli takie podejście odpowiada Twojemu projektowi operacyjnemu. Takie podejście może pomóc zapobiec konkurowaniu agentów przetwarzających duże wolumeny, jednostek biznesowych, regionów lub autonomicznych obciążeń z niepowiązanymi obciążeniami o te same limity obowiązujące w zakresie środowiska.
  • W przypadku agentów autonomicznych należy stosować kolejki, przetwarzanie wsadowe, filtry wyzwalaczy, zaplanowane przetwarzanie, mechanizmy ponawiania prób i monitorowanie, aby zadania w tle nie powodowały niekontrolowanego gwałtownego wzrostu.
  • W miarę możliwości przenieś zaplanowane, raportowe, eksport audytu oraz zadania telemetryczne poza interaktywną ścieżkę czatu.
  • Przejrzyj wyniki testów obciążeniowych i telemetrię produkcyjną, aby zidentyfikować, gdzie koncentrują się żądania, a następnie wprowadź optymalizacje agenta, przepływów, złączy i API, zanim wystąpisz o podwyższenie limitów.

Agenci autonomiczni są wyjątkowo przygotowani, by maksymalizować wykorzystanie przydzielonej przepustowości dzięki solidnej przewidywalności i obserwowalności poprzez kolejkowanie żądań i kontrolowanie ich częstotliwości wyzwalania.

Co zrobić, jeśli domyślne limity przepustowości są niewystarczające

Jeśli oszacowanie szczytowego ruchu pokazuje, że agent lub dowolna usługa połączona może przekroczyć bieżące opublikowane limity, uruchom proces obsługi aprowizacji szybkości przed uruchomieniem funkcji UAT, testowania obciążenia lub środowiska produkcyjnego. Nie czekaj na pierwszą awarię w produkcji.

Notatka

Copilot Studio to usługa SaaS z limitami przepustowości, które chronią usługę dla wszystkich klientów. Przy odpowiednim uzasadnieniu zespół inżynieryjny może wprowadzić niestandardowe limity dla zatwierdzonych scenariuszy.

Otwórz żądanie pomocy technicznej

Administratorzy mogą zwrócić się o pomoc do centrum administracyjnego Power Platform.

Zgłoś zgłoszenie jak najwcześniej i dołącz najlepsze dostępne szacunki. Im więcej szczegółów podasz, tym łatwiejszy będzie proces przeglądu. Aktualizuj zgłoszenie w miarę udoskonalania projektu lub gdy testy obciążeniowe dostarczają zaobserwowane dane.

Podstawowe informacje do uwzględnienia

Informacja Podpis
Identyfikator środowiska Środowisko Dataverse, w którym działa agent.
Nazwa agenta lub identyfikator Agent, którego dotyczy żądanie.
Wpływ na firmę Krytyczny wpływ, jeśli domyślne limity okażą się niewystarczające.
Znane informacje Co wiadomo na temat scenariusza, kanału, kontekstu uruchomienia, krytyczności biznesowej oraz tego, czy jest to agent B2C, autonomiczny, skierowany do pracowników czy wyłącznie wewnętrzny.
Migawka agenta Migawka lub eksport, które pomagają osobom oceniającym zrozumieć konfigurację agenta, jego projekt, usługi połączone i istotne ustawienia.
Projekt agenta Ogólny opis tematów, wykorzystania generatywnej AI, źródeł wiedzy, akcji, przepływów, łączników, wywołań Dataverse oraz zewnętrznych interfejsów API używanych przez agenta.
Średni szacowany ruch Oczekiwany średni ruch w podziale na godzinę, dzień, tydzień lub miesiąc.
Szacowany ruch szczytowy Przewidywana szczytowa liczba komunikatów, sesji, wywołań generatywnej AI, akcji przepływu, wywołań łączników, żądań usługi Dataverse i wywołań zewnętrznego interfejsu API, jeśli są znane.

Więcej szczegółów, które mogą pomóc

Informacja Podpis
Zakres dat Data rozpoczęcia i zakończenia żądanego zwiększenia limitu. Oddziel zakresy dat dla testów obciążeniowych, testów akceptacyjnych użytkowników i produkcji, jeśli są różne.
Wzorzec szczytu Okresy szczytowe, strefy czasowe, oczekiwane czynniki powodujące gwałtowny wzrost oraz to, czy ruch koncentruje się w krótkim oknie w ciągu dnia.
Profil sesji Równoległe sesje, średnia i szczytowa długość sesji, wiadomości na sesję oraz pytania na sesję.
Typowe przykłady sesji Reprezentatywne ścieżki użytkowników, typowe wykonywane kroki, używane narzędzia oraz przykładowe identyfikatory sesji, jeśli są dostępne.
Ścieżka wykonania Przepływy, akcje, polecenia AI, wywołania dotyczące wiedzy, żądania usługi Dataverse, łączniki i interfejsy API na interakcję.
Szczyty na poziomie funkcji Szczytowa liczba na agenta, funkcję, użytkownika, środowisko, konektor, minutę, godzinę i dzień, jeśli wiadomo.
Produkty wymagające przeglądu Niezależnie od tego, czy żądanie obejmuje program Copilot Studio, alokacje żądań w usłudze Power Platform, usługę Power Automate, łączniki, usługę Dataverse, usługi CLU/AI czy zewnętrzne interfejsy API.
Dowody Przykładowe identyfikatory sesji, błędy, identyfikatory korelacji, logi, wyniki testów obciążeniowych lub obserwacje produkcyjne.
Środki zaradcze Podsumuj działania, które już zostały podjęte w celu zmniejszenia obciążenia przepustowości. Należy zapoznać się z wytycznymi Projektowanie mające na celu zmniejszenie obciążenia przepustowości, w tym z przeglądem projektu, zoptymalizowanymi wywołaniami zewnętrznymi, segmentacją środowiska, przetwarzaniem wsadowym, kolejkowaniem, filtrowaniem wyzwalaczy, planowaniem, rozkładaniem obciążenia oraz innymi już wdrożonymi optymalizacjami.

Ważne

Zwiększenie przepustowości nie jest gwarantowane. Zespół wsparcia Microsoft rozpatruje prośby na podstawie scenariusza, środowiska, planowanego okresu, oczekiwanego ruchu, uprawnień, obecnych limitów oraz zdolności obsługi usług.

  • Last updated on