Zarządzanie i zwiększanie limitów przydziału zasobów za pomocą usługi Azure AI Studio
Uwaga
Usługa Azure AI Studio jest obecnie dostępna w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Limit przydziału zapewnia elastyczność aktywnego zarządzania alokacją limitów szybkości we wdrożeniach w ramach subskrypcji. W tym artykule przedstawiono proces zarządzania limitem przydziału dla maszyn wirtualnych usługi Azure AI Studio i modeli azure OpenAI.
Platforma Azure używa limitów i przydziałów, aby zapobiegać przekraczaniu budżetu z powodu oszustw oraz przestrzegać ograniczeń wydajności platformy Azure. Jest to również dobry sposób kontrolowania kosztów dla administratorów. Uwzględnij te limity podczas skalowania obciążeń produkcyjnych.
Z tego artykułu dowiesz się więcej o:
- Domyślne limity zasobów platformy Azure
- Tworzenie przydziałów na poziomie zasobów centrum sztucznej inteligencji platformy Azure.
- Wyświetlanie limitów przydziału i limitów
- Żądanie zwiększenia limitu przydziału i limitu
Specjalne uwagi
Limity przydziału są stosowane do każdej subskrypcji na koncie. Jeśli masz wiele subskrypcji, musisz zażądać zwiększenia limitu przydziału dla każdej subskrypcji.
Limit przydziału to limit środków na zasoby platformy Azure, a nie gwarancja pojemności. Jeśli potrzebujesz wydajności w dużej skali, skontaktuj się z pomocą techniczną platformy Azure, aby zwiększyć limit przydziału.
Uwaga
Obliczenia usługi Azure AI Studio mają oddzielny limit przydziału od podstawowego limitu przydziału obliczeniowego.
Domyślne limity zależą od typu kategorii oferty (np. „bezpłatna wersja próbna”, „płatność zgodnie z rzeczywistym użyciem”) i od serii maszyn wirtualnych (np. Dv2, F, G).
Limit przydziału usługi Azure AI Studio
Następujące akcje w usłudze Azure AI Studio używają limitu przydziału:
- Tworzenie wystąpienia obliczeniowego.
- Tworzenie indeksu wektorowego.
- Wdrażanie otwartych modeli z katalogu modeli.
Obliczenia w usłudze Azure AI Studio
Obliczenia usługi Azure AI Studio mają domyślny limit przydziału dla liczby rdzeni i liczby unikatowych zasobów obliczeniowych, które są dozwolone w poszczególnych regionach w ramach subskrypcji.
- Limit przydziału liczby rdzeni jest podzielony przez każdą rodzinę maszyn wirtualnych i łączną łączną liczbę rdzeni.
- Limit przydziału liczby unikatowych zasobów obliczeniowych na region jest oddzielony od limitu przydziału rdzeni maszyny wirtualnej, ponieważ dotyczy tylko zarządzanych zasobów obliczeniowych
Aby zwiększyć limity zasobów obliczeniowych, możesz zażądać zwiększenia limitu przydziału w programie Azure AI Studio.
Dostępne zasoby obejmują:
- Rdzenie dedykowane dla poszczególnych regionów mają domyślny limit od 24 do 300, w zależności od typu oferty subskrypcji. Możesz zwiększyć liczbę rdzeni dedykowanych na subskrypcję dla każdej rodziny maszyn wirtualnych. Wyspecjalizowane rodziny maszyn wirtualnych, takie jak NCv2, NCv3 lub seria ND, zaczynają się od domyślnej liczby rdzeni zerowych. Procesory GPU również domyślnie mają zero rdzeni.
- Łączny limit zasobów obliczeniowych na region ma domyślny limit 500 na region w ramach danej subskrypcji i można go zwiększyć do maksymalnej wartości 2500 na region. Ten limit jest współużytkowany między wystąpieniami obliczeniowymi i wdrożeniami zarządzanych punktów końcowych online. Wystąpienie obliczeniowe jest uznawane za klaster z jednym węzłem na potrzeby przydziału. Aby zwiększyć całkowity limit zasobów obliczeniowych, otwórz żądanie pomocy technicznej online.
Podczas otwierania wniosku o pomoc techniczną w celu zwiększenia całkowitego limitu zasobów obliczeniowych podaj następujące informacje:
Wybierz pozycję Technical (Techniczne ) dla typu problemu.
Wybierz subskrypcję, dla której chcesz zwiększyć limit przydziału.
Wybierz pozycję Maszyna Edukacja jako typ usługi.
Wybierz zasób, dla którego chcesz zwiększyć limit przydziału.
W polu Podsumowanie wprowadź wartość "Zwiększ łączne limity mocy obliczeniowej"
Wybierz pozycję Wystąpienie obliczeniowe jako typ problemu i limit przydziału jako podtyp problemu.
Wybierz Dalej.
Na stronie Dodatkowe szczegóły podaj identyfikator subskrypcji, region, nowy limit (od 500 do 2500) i uzasadnienie biznesowe, aby zwiększyć łączne limity obliczeniowe dla regionu.
Wybierz pozycję Utwórz , aby przesłać bilet wniosku o pomoc techniczną.
Udostępniony limit przydziału usługi Azure AI Studio
Usługa Azure AI Studio udostępnia pulę współużytkowanego limitu przydziału, który jest dostępny dla różnych użytkowników w różnych regionach do współbieżnego użycia. W zależności od dostępności użytkownicy mogą tymczasowo uzyskiwać dostęp do limitu przydziału z puli udostępnionej i używać limitu przydziału do przeprowadzania testów przez ograniczony czas. Określony czas trwania zależy od przypadku użycia. Tymczasowo korzystając z limitu przydziału z puli przydziałów, nie musisz już składać biletu pomocy technicznej na krótkoterminowy wzrost limitu przydziału lub poczekać na zatwierdzenie żądania przydziału, zanim będzie można kontynuować obciążenie.
Korzystanie z udostępnionej puli przydziałów jest dostępne do testowania wnioskowania dla llama-2, Phi, Nemotron, Mistral, Dolly i Deci-DeciLM z wykazu modeli. Udostępniony limit przydziału należy używać tylko do tworzenia tymczasowych punktów końcowych testów, a nie produkcyjnych punktów końcowych. W przypadku punktów końcowych w środowisku produkcyjnym należy zażądać dedykowanego limitu przydziału. Rozliczenia dotyczące przydziału współużytkowanego są oparte na użyciu, podobnie jak rozliczenia dla dedykowanych rodzin maszyn wirtualnych.
Container Instances
Aby uzyskać więcej informacji, zobacz Container Instances limits (Limity wystąpień kontenera).
Storage
Usługa Azure Storage ma limit 250 kont magazynu na region, na subskrypcję. Ten limit obejmuje zarówno konta magazynu w warstwie Standardowa, jak i Premium
Wyświetlanie limitów przydziału i żądania w usłudze Azure AI Studio
Użyj przydziałów, aby zarządzać alokacją docelową zasobów obliczeniowych między wieloma zasobami centrum sztucznej inteligencji platformy Azure w tej samej subskrypcji.
Domyślnie wszystkie zasoby centrum sztucznej inteligencji platformy Azure współdzielą ten sam limit przydziału co limit przydziału na poziomie subskrypcji dla rodzin maszyn wirtualnych. Można jednak ustawić maksymalny limit przydziału dla poszczególnych rodzin maszyn wirtualnych w celu uzyskania bardziej szczegółowej kontroli kosztów i ładu w zasobach centrum sztucznej inteligencji platformy Azure w ramach subskrypcji. Limity przydziału dla poszczególnych rodzin maszyn wirtualnych umożliwiają udostępnianie pojemności i unikanie problemów z rywalizacją o zasoby.
W programie Azure AI Studio wybierz pozycję Zarządzaj w górnym menu. Wybierz pozycję Limit przydziału, aby wyświetlić limit przydziału na poziomie subskrypcji w regionie dla obu rodzin maszyn wirtualnych usługi Azure Machine Edukacja i zasobów usługi Azure OpenAI.
Aby zażądać większego limitu przydziału, wybierz przycisk Żądaj limitu przydziału dla subskrypcji i regionu.