Udostępnij przez

Wdrażanie modeli rozwiązania Microsoft Foundry w portalu Foundry

Uwaga / Notatka

Ten dokument odnosi się do portalu Microsoft Foundry (klasycznego).

🔄 Przejdź do dokumentacji Microsoft Foundry (nowy), jeśli korzystasz z nowego portalu.

Uwaga / Notatka

Ten dokument odnosi się do portalu Microsoft Foundry (nowy).

Z tego artykułu dowiesz się, jak używać portalu Foundry, aby wdrożyć Model Foundry w zasobie Foundry, w celu wykonania zadań związanych z wnioskowaniem. Modele Foundry obejmują takie jak modele Azure OpenAI, modele Meta Llama oraz inne. Po wdrożeniu modelu Foundry można z nim korzystać przy użyciu narzędzia Foundry Playground i wnioskować go przy użyciu kodu.

W tym artykule użyto modelu Foundry od partnerów i społeczności Llama-3.2-90B-Vision-Instruct na potrzeby ilustracji. Modele od partnerów i społeczności wymagają subskrypcji Azure Marketplace przed wdrożeniem. Z drugiej strony modele Foundry sprzedawane bezpośrednio przez platformę Azure, takie jak Azure Open AI w modelach Foundry, nie mają tego wymogu. Aby uzyskać więcej informacji na temat modeli foundry, w tym regionów, w których są one dostępne do wdrożenia, zobacz Modele rozwiązania Foundry sprzedawane bezpośrednio przez platformę Azure i modele foundry od partnerów i społeczności.

Wymagania wstępne

Aby ukończyć ten artykuł, potrzebujesz:

Wdrażanie modelu

Wdróż model, wykonując następujące kroki w portalu Foundry:

  1. Zaloguj się do usługi Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).

    Zaloguj się do usługi Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest włączony. Te czynności dotyczą Foundry (new).

  2. Przejdź do sekcji Katalog modeli w portalu Foundry.

  3. Wybierz model i przejrzyj jego szczegóły na karcie modelu. W tym artykule użyto Llama-3.2-90B-Vision-Instruct na potrzeby ilustracji.

  4. Wybierz Użyj tego modelu.

  5. W przypadku Foundry Models od partnerów i społeczności należy zasubskrybować Azure Marketplace. To wymaganie dotyczy Llama-3.2-90B-Vision-Instruct, na przykład. Przeczytaj warunki użytkowania i wybierz pozycję Zgadzam się i Kontynuuj , aby zaakceptować warunki.

    Uwaga / Notatka

    W przypadku Foundry Models sprzedawanych bezpośrednio przez platformę Azure, takich jak model gpt-4o-miniAzure OpenAI, nie ma potrzeby subskrybowania witryny Azure Marketplace.

  6. Skonfiguruj ustawienia wdrożenia. Domyślnie wdrożenie otrzymuje nazwę wdrażanego modelu, ale można zmodyfikować nazwę zgodnie z potrzebami przed wdrożeniem modelu. Później podczas wnioskowania nazwa wdrożenia jest wykorzystana w parametrze model do przekierowania żądań do tego konkretnego wdrożenia modelu. Ta konwencja umożliwia skonfigurowanie określonych nazw wdrożeń modelu.

    Wskazówka

    Każdy model obsługuje różne typy wdrożeń, zapewniając różne gwarancje dotyczące rezydencji danych lub przepływności. Aby uzyskać więcej informacji, zobacz Typy wdrożeń. W tym przykładzie model obsługuje typ wdrożenia Global Standard.

  7. Portal Foundry automatycznie wybiera zasób Foundry skojarzony z projektem jako zasób Connected AI. W razie potrzeby wybierz pozycję Dostosuj , aby zmienić połączenie. Jeśli wdrażasz w ramach typu wdrożenia bezserwerowego interfejsu API , projekt i zasób muszą znajdować się w jednym z obsługiwanych regionów wdrażania modelu.

    Zrzut ekranu pokazujący, jak dostosować wdrożenie, jeśli zajdzie taka potrzeba.

  8. Wybierz Wdróż. Strona szczegółów wdrożenia modelu zostanie otwarta podczas tworzenia wdrożenia.

  9. Po zakończeniu wdrażania model jest gotowy do użycia. Do interaktywnego testowania modelu można również użyć platformy Foundry Playgrounds .

Wdróż model, wykonując następujące kroki w portalu Foundry:

  1. Zaloguj się do usługi Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).

    Zaloguj się do usługi Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest włączony. Te czynności dotyczą Foundry (new).

  2. Na stronie głównej portalu Foundry wybierz Odkryj w prawym górnym rogu, a następnie Modele w okienku po lewej stronie.

  3. Wybierz model i przejrzyj jego szczegóły na karcie modelu. W tym artykule użyto Llama-3.2-90B-Vision-Instruct na potrzeby ilustracji.

  4. Wybierz pozycję Wdróż>ustawienia niestandardowe , aby dostosować wdrożenie. Alternatywnie możesz użyć domyślnych ustawień wdrażania, wybierając pozycję Wdróż>ustawienia domyślne.

  5. W przypadku Foundry Models od partnerów i społeczności należy zasubskrybować Azure Marketplace. To wymaganie dotyczy Llama-3.2-90B-Vision-Instruct, na przykład. Przeczytaj warunki użytkowania i wybierz pozycję Zgadzam się i Kontynuuj , aby zaakceptować warunki.

    Uwaga / Notatka

    W przypadku Foundry Models sprzedawanych bezpośrednio przez platformę Azure, takich jak model gpt-4o-miniAzure OpenAI, nie ma potrzeby subskrybowania witryny Azure Marketplace.

  6. Skonfiguruj ustawienia wdrożenia. Domyślnie wdrożenie otrzymuje nazwę wdrażanego modelu, ale można zmodyfikować nazwę zgodnie z potrzebami przed wdrożeniem modelu. Później podczas wnioskowania nazwa wdrożenia jest wykorzystana w parametrze model do przekierowania żądań do tego konkretnego wdrożenia modelu. Ta konwencja umożliwia skonfigurowanie określonych nazw wdrożeń modelu. Wybierz pozycję Wdróż , aby utworzyć wdrożenie.

    Wskazówka

    Każdy model obsługuje różne typy wdrożeń, zapewniając różne gwarancje dotyczące rezydencji danych lub przepływności. Aby uzyskać więcej informacji, zobacz Typy wdrożeń. W tym przykładzie model obsługuje typ wdrożenia Global Standard.

  7. Portal Foundry automatycznie wdraża model w zasobie Foundry skojarzonym z projektem. Projekt i zasób muszą znajdować się w jednym z obsługiwanych regionów wdrażania modelu.

  8. Wybierz Wdróż. Po ukończeniu wdrażania zostaniesz przekierowany do Foundry Playgrounds, gdzie można interaktywnie przetestować model.

Zarządzaj modelami

Istniejące wdrożenia modelu można zarządzać w zasobie przy użyciu portalu Foundry.

  1. Przejdź do sekcji Modele i punkty końcowe w portalu Foundry.

  2. Portal grupuje i przedstawia wdrożenia modeli według zasobu. Wybierz wdrożenie modelu Llama-3.2-90B-Vision-Instruct z sekcji zasobów platformy Foundry. Ta akcja powoduje otwarcie strony wdrożenia modelu.

    Zrzut ekranu przedstawiający listę modeli dostępnych w ramach danego połączenia.

Istniejące wdrożenia modelu można zarządzać w zasobie przy użyciu portalu Foundry.

  1. Wybierz Build w prawym górnym rogu nawigacji.

  2. Wybierz pozycję Modele w okienku po lewej stronie, aby wyświetlić listę wdrożeń w zasobie.

Przetestuj wdrożenie na placu zabaw

Nowy model można obsługiwać w portalu Foundry przy użyciu piaskownicy. Plac zabaw to internetowy interfejs, który umożliwia interakcję z modelem w czasie rzeczywistym. Użyj placu zabaw, aby przetestować model z różnymi monitami i wyświetlić odpowiedzi modelu.

  1. Na stronie wdrażania modelu wybierz pozycję Otwórz na placu zabaw. Ta akcja otwiera obszar testowy czatu z nazwą Twojego wdrożenia już wybraną.

    Zrzut ekranu pokazujący, jak wybrać wdrożenie modelu do użycia na placu zabaw.

  2. Wpisz monit i wyświetl dane wyjściowe.

  3. Użyj opcji Wyświetl kod , aby wyświetlić szczegółowe informacje na temat sposobu programowego uzyskiwania dostępu do wdrożenia modelu.

Nowy model można obsługiwać w portalu Foundry przy użyciu piaskownicy. Plac zabaw to internetowy interfejs, który umożliwia interakcję z modelem w czasie rzeczywistym. Użyj placu zabaw, aby przetestować model z różnymi monitami i wyświetlić odpowiedzi modelu.

  1. Z listy wdrożeń wybierz wdrożenie Llama-3.2-90B-Vision-Instruct , aby otworzyć stronę placu zabaw.

  2. Wpisz monit i wyświetl dane wyjściowe.

  3. Wybierz kartę Kod , aby wyświetlić szczegółowe informacje o sposobie programowego uzyskiwania dostępu do wdrożenia modelu.

Wnioskowanie modelu za pomocą kodu

Aby przeprowadzić wnioskowanie we wdrożonym modelu z przykładami kodu, zobacz następujące przykłady:

Regionalne limity dostępności i limitów przydziału modelu

W przypadku modeli Foundry, domyślny limit przydziału zależy od modelu i regionu. Niektóre modele mogą być dostępne tylko w niektórych regionach. Aby uzyskać więcej informacji na temat dostępności i limitów przydziału, zobacz Limity dostępności i limity przydziału Azure OpenAI w modelach Microsoft Foundry oraz Limity modelów Microsoft Foundry.

Kwota przydziału na wdrażanie i wnioskowanie modelu

W przypadku modeli foundry wdrażanie i wnioskowanie zużywają limit przydziału, który platforma Azure przypisuje subskrypcji w każdej regionie i dla każdego modelu w jednostkach TPM (tokenów na minutę). Po zarejestrowaniu się w usłudze Foundry otrzymasz domyślny limit przydziału dla większości dostępnych modeli. Następnie należy przypisać moduł TPM do każdego wdrożenia podczas jego tworzenia, co zmniejsza dostępny limit przydziału dla tego modelu. Możesz nadal tworzyć wdrożenia i przypisywać im moduły TPM do momentu osiągnięcia limitu kwoty.

Gdy osiągniesz limit przydziału, możesz utworzyć tylko nowe wdrożenia tego modelu, jeśli:

Aby uzyskać więcej informacji na temat limitu przydziału, zobacz Limity przydziału i limity modeli usługi Microsoft Foundry oraz Zarządzanie limitem przydziału usługi Azure OpenAI.

Treści powiązane

  • Last updated on