Udostępnij za pośrednictwem

Typy wdrożeń dla modeli usługi Azure AI Foundry

Modele Azure AI Foundry udostępniają modele przy użyciu koncepcji wdrażania modelu w usługach Azure AI Foundry Services (wcześniej znanych jako Azure AI Services). Wdrożenia modelu są również zasobami platformy Azure, a po ich utworzeniu zapewniają dostęp do danego modelu w ramach niektórych konfiguracji. Taka konfiguracja obejmuje infrastrukturę wymaganą do przetwarzania żądań.

Modele rozwiązania Azure AI Foundry zapewniają klientom wybór struktury hostingu, która pasuje do wzorców biznesowych i użycia. Te opcje są tłumaczone na różne typy wdrożeń (lub jednostki SKU), które są dostępne w czasie wdrażania modelu w zasobie usługi Azure AI Foundry. Usługa oferuje dwa główne typy wdrożeń: standardowe i aprowizowane. W przypadku danego typu wdrożenia klienci mogą dostosować swoje obciążenia do wymagań dotyczących przetwarzania danych, wybierając lokalizację geograficzną platformy Azure (Standard lub Provisioned-Managed), określoną strefę danych firmy Microsoft (DataZone-Standard lub DataZone Provisioned-Managed), lub opcje przetwarzania globalnego (Global-Standard lub Global Provisioned-Managed).

W przypadku dostrojonych modeli dodatkowy Developer typ wdrożenia oferuje opłacalną metodę oceny niestandardowego modelu, ale bez przechowywania danych.

Wszystkie wdrożenia mogą wykonywać dokładnie te same operacje predykcyjne, jednak rozliczenia, skala i wydajność są znacznie odmienne. W ramach projektu rozwiązania należy podjąć dwie kluczowe decyzje:

  • Lokalizacja przetwarzania danych
  • Głośność wywołań

Lokalizacje przetwarzania danych wdrożenia usługi Azure AI Foundry

W przypadku wdrożeń standardowych dostępne są trzy opcje typu wdrożenia — lokalizacja geograficzna, strefa danych i lokalizacja geograficzna platformy Azure. W przypadku wdrożeń aprowizowanych dostępne są dwie opcje typu wdrożenia — lokalizacja geograficzna globalna i geograficzna platformy Azure. Globalny standard jest zalecanym punktem wyjścia.

Globalne wdrożenia wykorzystują globalną infrastrukturę platformy Azure do dynamicznego kierowania ruchu klientów do centrum danych, które zapewnia najlepszą dostępność dla żądań wnioskowania klienta. Oznacza to, że uzyskasz najwyższe początkowe limity przepustowości i najlepszą dostępność modelu z Global, jednocześnie zapewniając naszą umowę SLA dotyczącą dostępności oraz niskie opóźnienia. W przypadku obciążeń o dużej ilości powyżej określonych warstw użycia w warstwie Standardowa i globalnej może wystąpić zwiększona zmienność opóźnień. W przypadku klientów, którzy wymagają mniejszej wariancji opóźnienia w przypadku dużego użycia obciążeń, zalecamy korzystanie z naszych aprowizowanych typów wdrożeń.

Nasze wdrożenia globalne będą pierwszą lokalizacją dla wszystkich nowych modeli i funkcji. W zależności od liczby połączeń, klienci z dużymi wymaganiami co do ilości przesyłanych danych i małej zmienności opóźnień powinni rozważyć nasze przydzielone typy wdrożeń.

Wdrożenia stref danych wykorzystują globalną infrastrukturę platformy Azure do dynamicznego kierowania ruchu klientów do centrum danych o najlepszej dostępności dla żądań wnioskowania klienta w strefie danych określonej przez Microsoft. Rozmieszczone między naszą lokalizacją geograficzną platformy Azure a globalnymi ofertami wdrożeniowymi, wdrożenia strefy danych zapewniają podwyższone limity przydziału, jednocześnie utrzymując przetwarzanie danych w określonej przez Microsoft strefie danych. Dane przechowywane w spoczynku będą nadal znajdować się w lokalizacji geograficznej zasobu usługi Azure AI Foundry (np. dla zasobu rozwiązania AI Foundry utworzonego w regionie Szwedzkiej Środkowej platformy Azure, lokalizacja geograficzna platformy Azure to Szwecja).

Jeśli zasób usługi Azure AI Foundry używany we wdrożeniu strefy danych znajduje się w Stanach Zjednoczonych, dane zostaną przetworzone w Stanach Zjednoczonych. Jeśli zasób usługi Azure AI Foundry używany we wdrożeniu strefy danych znajduje się w kraju członkowskim Unii Europejskiej, dane będą przetwarzane w lokalizacjach geograficznych narodu członkowskiego Unii Europejskiej. W przypadku wszystkich typów wdrożeń usługi Azure AI Foundry wszystkie dane przechowywane w spoczynku będą nadal znajdować się w lokalizacji geograficznej zasobu usługi Azure AI Foundry. Zobowiązania dotyczące przetwarzania danych i zgodności platformy Azure pozostają stosowane.

W przypadku dowolnego typu wdrożenia oznaczonego jako "Globalny" monity i odpowiedzi mogą być przetwarzane w dowolnej lokalizacji geograficznej, w której wdrożono odpowiedni model usługi Azure AI Foundry (dowiedz się więcej o dostępności modeli w regionie). W przypadku dowolnego typu wdrożenia oznaczonego jako "DataZone" monity i odpowiedzi mogą być przetwarzane w dowolnej lokalizacji geograficznej w określonej strefie danych, zgodnie z definicją przez firmę Microsoft. Jeśli utworzysz wdrożenie DataZone w zasobie usługi Azure AI Foundry znajdującym się w Stanach Zjednoczonych, monity i odpowiedzi mogą być przetwarzane w dowolnym miejscu w Stanach Zjednoczonych. Jeśli utworzysz wdrożenie DataZone w zasobie Azure AI Foundry znajdującym się w kraju członkowskim Unii Europejskiej, monity i odpowiedzi mogą być przetwarzane w tym samym kraju lub innym kraju członkowskim UE. W przypadku typów wdrożeń Global i DataZone wszystkie dane przechowywane w spoczynku, takie jak przekazane dane, są przechowywane w lokalizacji geograficznej wyznaczonej przez klienta. Dotyczy to tylko lokalizacji przetwarzania, gdy klient używa globalnego typu wdrożenia lub typu wdrożenia DataZone w zasobie usługi Azure AI Foundry; Zobowiązania dotyczące przetwarzania danych i zgodności platformy Azure pozostają stosowane.

Uwaga / Notatka

W przypadku standardowych globalnych typów wdrożeń i typów wdrożeń standardów stref danych, jeśli wystąpi przerwa w działaniu usługi w regionie podstawowym, cały ruch początkowo kierowany do tego regionu będzie miał wpływ. Aby dowiedzieć się więcej, zapoznaj się z przewodnikiem dotyczącym ciągłości działania i odzyskiwania po awarii.

Globalny standard

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane na potrzeby wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry. Dowiedz się więcej na temat lokalizacji danych.

nazwa jednostki SKU w kodzie:GlobalStandard

Wdrożenia globalne są dostępne w tych samych zasobach usługi Azure AI Foundry co typy wdrożeń innych niż globalne, ale umożliwiają dynamiczne kierowanie ruchu do centrum danych z najlepszą dostępnością dla każdego żądania za pomocą globalnej infrastruktury platformy Azure. Globalny standard zapewnia najwyższy limit przydziału domyślnego i eliminuje konieczność równoważenia obciążenia w wielu zasobach.

Klienci o dużym stałym wolumenie mogą doświadczać większej zmienności opóźnień. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę przydziałów. W przypadku aplikacji, które wymagają niższej wariancji opóźnienia przy dużym obciążeniu roboczym, zalecamy zakup przepustowości z rezerwacją.

Globalne przydzielenie zasobów

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane na potrzeby wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry. Dowiedz się więcej na temat lokalizacji danych.

nazwa jednostki SKU w kodzie:GlobalProvisionedManaged

Wdrożenia globalne są dostępne w tych samych zasobach usługi Azure AI Foundry co typy wdrożeń innych niż globalne, ale umożliwiają dynamiczne kierowanie ruchu do centrum danych z najlepszą dostępnością dla każdego żądania za pomocą globalnej infrastruktury platformy Azure. Globalne wdrożenia z przydzieloną pojemnością zapewniają zarezerwowaną pojemność przetwarzania modeli dla wysokiej i przewidywalnej przepustowości, korzystając z globalnej infrastruktury Azure.

Partia globalna

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane na potrzeby wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry. Dowiedz się więcej na temat lokalizacji danych.

Globalna partia jest zaprojektowana do wydajnego obsługiwania zadań przetwarzania na dużą skalę i o dużej objętości. Przetwarzaj asynchroniczne grupy żądań z oddzielnym limitem kwoty, z docelowym czasem realizacji wynoszącym 24 godziny, przy koszcie o 50% mniejszym niż w przypadku globalnego standardu. W przypadku przetwarzania wsadowego zamiast wysyłać jedno żądanie jednocześnie wysyłasz dużą liczbę żądań w jednym pliku. Globalne żądania wsadowe mają odrębny limit tokenów w kolejce, co zapobiega zakłóceniom w Twoich operacjach online.

nazwa jednostki SKU w kodzie:GlobalBatch

Najważniejsze przypadki użycia:

  • Przetwarzanie danych na dużą skalę: szybko analizuj obszerne zestawy danych równolegle.

  • Generowanie zawartości: Utwórz duże ilości tekstu, takie jak opisy produktów lub artykuły.

  • Przegląd dokumentów i podsumowanie: Automatyzowanie przeglądu i podsumowywania długich dokumentów.

  • Automatyzacja obsługi klienta: Obsługa wielu zapytań jednocześnie w celu uzyskania szybszych odpowiedzi.

  • Wyodrębnianie i analiza danych: Wyodrębnianie i analizowanie informacji z ogromnych ilości danych bez struktury.

  • Zadania przetwarzania języka naturalnego (NLP): wykonaj zadania, takie jak analiza tonacji lub tłumaczenie dużych zestawów danych.

  • Marketing i personalizacja: Generowanie spersonalizowanej zawartości i rekomendacji na dużą skalę.

Standard strefy danych

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry w określonej strefie danych firmy Microsoft. Dowiedz się więcej na temat lokalizacji danych.

nazwa jednostki SKU w kodzie:DataZoneStandard

Standardowe wdrożenia strefy danych są dostępne w tym samym zasobie usługi Azure AI Foundry co wszystkie inne typy wdrożeń usługi Azure AI Foundry, ale umożliwiają korzystanie z globalnej infrastruktury platformy Azure w celu dynamicznego kierowania ruchu do centrum danych w strefie danych zdefiniowanej przez firmę Microsoft z najlepszą dostępnością dla każdego żądania. Standard strefy danych zapewnia wyższe domyślne limity przydziału niż typy wdrożeń opartych na lokalizacji geograficznej platformy Azure.

Klienci o dużym stałym wolumenie mogą doświadczać większej zmienności opóźnień. Próg jest ustawiany dla modelu. Zobacz stronę Limity i przydziały, aby dowiedzieć się więcej. W przypadku obciążeń, które wymagają małej zmienności opóźnień przy dużej skali, zalecamy korzystanie z ofert wdrożeń dedykowanych.

Przygotowana strefa danych

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry w określonej strefie danych firmy Microsoft. Dowiedz się więcej na temat rezydencji danych.

nazwa jednostki SKU w kodzie:DataZoneProvisionedManaged

Wdrożenia aprowizowane w strefie danych są dostępne w tym samym zasobie usługi Azure AI Foundry co wszystkie inne typy wdrożeń usługi Azure AI Foundry, ale umożliwiają wykorzystanie globalnej infrastruktury Azure do dynamicznego kierowania ruchu do centrum danych w określonej przez Microsoft strefie danych, zapewniając najlepszą dostępność dla każdego żądania. Wdrożenia przydzielone w strefie danych zapewniają zarezerwowaną pojemność przetwarzania modelu na potrzeby dużej i przewidywalnej przepustowości przy użyciu infrastruktury Azure w określonej strefie danych firmy Microsoft.

Partia danych strefowych

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry w określonej strefie danych firmy Microsoft. Dowiedz się więcej na temat lokalizacji danych.

nazwa jednostki SKU w kodzie:DataZoneBatch

Wdrożenia wsadowe strefy danych zapewniają wszystkie te same funkcje co globalne wdrożenia wsadowe, jednocześnie pozwalając na wykorzystywanie globalnej infrastruktury Azure do dynamicznego kierowania ruchu wyłącznie do centrów danych w strefach danych zdefiniowanych przez Microsoft, zapewniających najlepszą dostępność dla każdego żądania.

Standard

nazwa jednostki SKU w kodzie:Standard

Standardowe wdrożenia oferują model rozliczeń za połączenie w ramach wybranego modelu. Zapewnia najszybszy sposób rozpoczęcia pracy, ponieważ płacisz tylko za to, co zużywasz. Modele dostępne w każdym regionie, a także przepływność mogą być ograniczone.

Wdrożenia w standardowej konfiguracji są zoptymalizowane pod kątem obciążeń o małych i średnich wolumenach, które charakteryzują się wysoką zmiennością intensywności. Klienci o dużym stałym wolumenie mogą doświadczać większej zmienności opóźnień.

Zasoby regionalne

nazwa jednostki SKU w kodzie:ProvisionedManaged

Regionalnie aprowizowane wdrożenia umożliwiają określenie wymaganej przepustowości dla wdrożenia. Następnie usługa przydziela niezbędną pojemność do przetwarzania modeli i upewnia się, że jest ona gotowa do użycia. Przepływność jest definiowana pod względem aprowizowanej jednostki przepływności (PTU), która jest znormalizowanym sposobem reprezentowania przepływności dla danego wdrożenia. Każda para wersji modelu wymaga różnych ilości jednostek PTU do wdrożenia oraz zapewnia różną przepływność na jednostkę PTU. Dowiedz się więcej z artykułu Koncepty dotyczące aprowizowanej przepustowości.

Jak wyłączyć dostęp do wdrożeń globalnych w ramach subskrypcji

Usługa Azure Policy pomaga wymuszać standardy organizacyjne i oceniać zgodność na dużą skalę. Za pośrednictwem panelu zgodności udostępnia zagregowany widok umożliwiający ocenę ogólnego stanu środowiska, z możliwością szczegółowej analizy na poziomie zasobów i polityk. Pomaga również zapewnić zgodność zasobów dzięki korygowaniu zbiorczemu istniejących zasobów i automatycznemu korygowaniu nowych zasobów. Dowiedz się więcej o usłudze Azure Policy i określonych wbudowanych kontrolkach dla usług sztucznej inteligencji.

Poniższe zasady umożliwiają wyłączenie dostępu do dowolnego typu wdrożenia usługi Azure AI Foundry. Aby wyłączyć dostęp do określonego typu wdrożenia, zastąp GlobalStandard nazwą SKU typu wdrożenia, do którego chcesz wyłączyć dostęp.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Deweloper (w przypadku dostosowanych modeli)

Ważne

Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej platformy Azure, podczas gdy dane mogą być przetwarzane na potrzeby wnioskowania w dowolnej lokalizacji usługi Azure AI Foundry. Dowiedz się więcej na temat lokalizacji danych.

nazwa jednostki SKU w kodzie:Developer

Dostosowane modele obsługują wdrożenie dla deweloperów specjalnie zaprojektowane do obsługi niestandardowej oceny modelu. Nie oferuje żadnych gwarancji rezydencji danych ani nie oferuje umowy SLA. Aby dowiedzieć się więcej na temat używania typu wdrożenia dla deweloperów, zobacz przewodnik dostrajania.

Wdrażanie modeli

Zrzut ekranu przedstawiający okno dialogowe wdrażania modelu w portalu Azure AI Foundry z wyróżnionymi trzema typami wdrożenia.

Aby dowiedzieć się więcej o tworzeniu zasobów i wdrażaniu modeli, zapoznaj się z przewodnikiem tworzenia zasobów.

Zobacz także