Wdrażanie przepływu na potrzeby wnioskowania w czasie rzeczywistym
Uwaga
Usługa Azure AI Studio jest obecnie dostępna w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Po utworzeniu przepływu monitu i przetestowaniu go prawidłowo możesz wdrożyć jako punkt końcowy online. Wdrożenia są hostowane w punkcie końcowym i mogą odbierać dane od klientów i wysyłać odpowiedzi z powrotem w czasie rzeczywistym.
Możesz wywołać punkt końcowy dla wnioskowania w czasie rzeczywistym na potrzeby czatu, copilot lub innej aplikacji generującej sztuczną inteligencję. Przepływ monitów obsługuje wdrażanie punktu końcowego z przepływu lub z przebiegu testu zbiorczego.
Z tego artykułu dowiesz się, jak wdrożyć przepływ jako zarządzany punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym. Czynności, które należy wykonać, to:
- Przetestuj przepływ i przygotuj go do wdrożenia.
- Tworzenie wdrożenia online.
- Udziel uprawnień do punktu końcowego.
- Przetestuj punkt końcowy.
- Korzystanie z punktu końcowego.
Wymagania wstępne
Aby wdrożyć przepływ monitu jako punkt końcowy online, potrzebne są następujące elementy:
- Subskrypcja Azure. Jeśli nie masz subskrypcji, przed rozpoczęciem utwórz bezpłatne konto.
- Projekt usługi Azure AI Studio.
Tworzenie wdrożenia online
Po utworzeniu przepływu i przetestowaniu go prawidłowo nadszedł czas, aby utworzyć punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym.
Wykonaj poniższe kroki, aby wdrożyć przepływ monitu jako punkt końcowy online w usłudze Azure AI Studio.
Przygotuj przepływ monitu do wdrożenia. Jeśli go nie masz, zobacz , jak utworzyć przepływ monitu.
Opcjonalnie: wybierz pozycję Czat , aby przetestować, czy przepływ działa poprawnie. Testowanie przepływu przed wdrożeniem jest zalecane.
Wybierz pozycję Wdróż w edytorze przepływów.
Podaj żądane informacje na stronie Podstawowa Ustawienia w kreatorze wdrażania.
Wybierz pozycję Przejrzyj i utwórz , aby przejrzeć ustawienia i utworzyć wdrożenie. W przeciwnym razie możesz wybrać przycisk Dalej , aby przejść do stron ustawień zaawansowanych.
Wybierz pozycję Utwórz , aby wdrożyć przepływ monitu.
Aby wyświetlić stan wdrożenia, wybierz pozycję Wdrożenia w obszarze nawigacji po lewej stronie. Po pomyślnym utworzeniu wdrożenia możesz wybrać wdrożenie, aby wyświetlić szczegóły.
Wybierz kartę Użycie , aby wyświetlić przykłady kodu, których można użyć do korzystania z wdrożonego modelu w aplikacji.
Uwaga
Na tej stronie można również wyświetlić adres URL punktu końcowego, którego można użyć do korzystania z punktu końcowego.
Możesz użyć punktu końcowego REST bezpośrednio lub rozpocząć pracę z jednym z przykładów przedstawionych tutaj.
Aby uzyskać więcej informacji, zobacz poniższe sekcje.
Napiwek
Aby uzyskać przewodnik dotyczący wdrażania modelu podstawowego, zobacz Wdrażanie modeli za pomocą programu Azure AI Studio.
Ustawienia i konfiguracje
Plik tekstowy wymagań
Opcjonalnie możesz określić dodatkowe pakiety potrzebne w pliku requirements.txt. Folder główny folderu przepływu można znaleźć requirements.txt w folderze głównym. Podczas wdrażania przepływu monitu do zarządzanego punktu końcowego online w interfejsie użytkownika domyślnie wdrożenie używa środowiska utworzonego na podstawie obrazu podstawowego określonego w flow.dag.yaml parametrach i określonych w requirements.txt przepływie.
Uwaga
Obraz podstawowy określony w elemecie flow.dag.yaml musi zostać utworzony na podstawie obrazu mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> podstawowego przepływu monitu i można znaleźć najnowszą wersję tutaj. Jeśli nie określisz obrazu podstawowego w pliku flow.dag.yaml, wdrożenie użyje domyślnego obrazu mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestpodstawowego .
Ustawienia podstawowe
Ten krok umożliwia skonfigurowanie podstawowych ustawień wdrożenia.
| Właściwości | opis |
|---|---|
| Punkt końcowy | Możesz wybrać, czy chcesz wdrożyć nowy punkt końcowy, czy zaktualizować istniejący punkt końcowy. Jeśli wybierzesz pozycję Nowy, musisz określić nazwę punktu końcowego. |
| Nazwa wdrożenia | — W tym samym punkcie końcowym nazwa wdrożenia powinna być unikatowa. — Jeśli wybierzesz istniejący punkt końcowy i wprowadzisz istniejącą nazwę wdrożenia, to wdrożenie zostanie zastąpione nowymi konfiguracjami. |
| Maszyna wirtualna | Rozmiar maszyny wirtualnej do użycia na potrzeby wdrożenia. |
| Liczba wystąpień | Liczba wystąpień do użycia na potrzeby wdrożenia. Określ wartość oczekiwanego obciążenia. W przypadku wysokiej dostępności zalecamy ustawienie wartości na wartość co najmniej 3. Firma Microsoft zastrzega sobie dodatkowe 20% na potrzeby przeprowadzania uaktualnień. |
| Zbieranie danych wnioskowania | Jeśli to włączysz, dane wejściowe i wyjściowe przepływu są automatycznie zbierane w zasobie usługi Azure Machine Edukacja danych i mogą być używane do późniejszego monitorowania. |
| Diagnostyka usługi Application Insights | Jeśli to włączysz, metryki systemowe w czasie wnioskowania (takie jak liczba tokenów, opóźnienie przepływu, żądanie przepływu itp.) zostaną zebrane do domyślnej Szczegółowe informacje aplikacji usługi Azure AI Hub. |
Po zakończeniu ustawień podstawowych możesz bezpośrednio przejrzeć i utworzyć , aby zakończyć tworzenie, lub wybrać przycisk Dalej , aby skonfigurować ustawienia zaawansowane.
Ustawienia zaawansowane — punkt końcowy
Dla punktu końcowego można określić następujące ustawienia.
W przepływie pracy ustawień zaawansowanych można również określić tagi wdrożenia i wybrać środowisko niestandardowe.
Authentication type
Metoda uwierzytelniania punktu końcowego. Uwierzytelnianie oparte na kluczach zapewnia klucz podstawowy i pomocniczy, który nie wygasa. Uwierzytelnianie oparte na tokenach w usłudze Azure Machine Edukacja zapewnia token, który okresowo odświeża się automatycznie.
Typ tożsamości
Punkt końcowy musi uzyskiwać dostęp do zasobów platformy Azure, takich jak usługa Azure Container Registry lub połączenia zasobów centrum azure AI na potrzeby wnioskowania. Możesz zezwolić punktowi końcowemu na dostęp do zasobów platformy Azure za pośrednictwem uprawnień do tożsamości zarządzanej.
Tożsamość przypisana przez system zostanie automatycznie utworzona po utworzeniu punktu końcowego, podczas gdy tożsamość przypisana przez użytkownika jest tworzona przez użytkownika. Dowiedz się więcej o tożsamościach zarządzanych.
Przypisane przez system
Zauważysz, że istnieje opcja wymuszania dostępu do wpisów tajnych połączenia (wersja zapoznawcza). Jeśli przepływ używa połączeń, punkt końcowy musi uzyskiwać dostęp do połączeń w celu wnioskowania. Ta opcja jest domyślnie włączona. Punkt końcowy otrzymuje rolę Czytelnik wpisów tajnych usługi Azure Machine Edukacja Workspace Połączenie ion, aby automatycznie uzyskiwać dostęp do połączeń, jeśli masz uprawnienia czytelnika wpisów tajnych połączenia. Jeśli wyłączysz tę opcję, musisz przyznać tę rolę tożsamości przypisanej przez system ręcznie lub poprosić o pomoc od administratora. Dowiedz się więcej na temat udzielania uprawnień do tożsamości punktu końcowego.
Przypisane przez użytkownika
Podczas tworzenia wdrożenia platforma Azure próbuje ściągnąć obraz kontenera użytkownika z zasobu usługi Azure AI Hub usługi Azure Container Registry (ACR) i instaluje model użytkownika i artefakty kodu w kontenerze użytkownika z konta magazynu zasobów usługi Azure AI Hub.
Jeśli utworzono skojarzony punkt końcowy z tożsamością przypisaną przez użytkownika, tożsamość przypisana przez użytkownika musi mieć następujące role przed utworzeniem wdrożenia. W przeciwnym razie tworzenie wdrożenia zakończy się niepowodzeniem.
| Scope | Rola | Dlaczego jest to potrzebne |
|---|---|---|
| Projekt sztucznej inteligencji platformy Azure | Rola Czytelnik wpisów tajnych usługi Azure Machine Edukacja Workspace Połączenie ion LUB niestandardowa rola zMicrosoft.MachineLearningServices/workspaces/connections/listsecrets/action |
Uzyskiwanie połączeń projektu sztucznej inteligencji platformy Azure |
| Rejestr kontenerów projektu sztucznej inteligencji platformy Azure | Ściąganie usługi ACR | Ściąganie obrazu kontenera |
| Domyślny magazyn projektu sztucznej inteligencji platformy Azure | Czytelnik danych obiektu blob usługi Storage | Ładowanie modelu z magazynu |
| Projekt sztucznej inteligencji platformy Azure | Moduł zapisywania metryk obszaru roboczego | Po wdrożeniu punktu końcowego, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU / procesora GPU / dysku / pamięci, musisz nadać tej tożsamości uprawnienie. Opcjonalnie |
Zobacz szczegółowe wskazówki dotyczące udzielania uprawnień tożsamości punktu końcowego w temacie Udzielanie uprawnień do punktu końcowego.
Ustawienia zaawansowane — dane wyjściowe i Połączenie ions
W tym kroku można wyświetlić wszystkie dane wyjściowe przepływu i określić, które dane wyjściowe mają zostać uwzględnione w odpowiedzi wdrożonego punktu końcowego. Domyślnie wybierane są wszystkie dane wyjściowe przepływu.
Można również określić połączenia używane przez punkt końcowy podczas wnioskowania. Domyślnie są one dziedziczone z przepływu.
Po skonfigurowaniu i przejrzeniu wszystkich powyższych kroków możesz wybrać pozycję Przejrzyj i utwórz , aby zakończyć tworzenie.
Uwaga
Oczekiwano, że tworzenie punktu końcowego potrwa około 15 minut, ponieważ zawiera kilka etapów, w tym tworzenie punktu końcowego, rejestrowanie modelu, tworzenie wdrożenia itp.
Postęp tworzenia wdrożenia można zrozumieć za pośrednictwem powiadomienia uruchamianego przez polecenie Monituj wdrożenie przepływu.
Udzielanie uprawnień do punktu końcowego
Ważne
Funkcja udzielania uprawnień (dodawanie przypisania roli) jest włączona tylko dla właściciela określonych zasobów platformy Azure. Może być konieczne zwrócenie się do administratora IT o pomoc.
Zaleca się przyznanie ról tożsamości przypisanej przez użytkownika przed utworzeniem wdrożenia. Zastosowanie przyznanego uprawnienia może potrwać ponad 15 minut.
Wszystkie uprawnienia w interfejsie użytkownika witryny Azure Portal można przyznać, wykonując następujące kroki.
Przejdź do strony przeglądu projektu usługi Azure AI w witrynie Azure Portal.
Wybierz pozycję Kontrola dostępu i wybierz pozycję Dodaj przypisanie roli.
Wybierz pozycję Czytelnik wpisów tajnych usługi Azure Machine Edukacja obszar roboczy Połączenie ion, a następnie przejdź do pozycji Dalej.
Uwaga
Rola Czytelnik wpisów tajnych usługi Azure Machine Edukacja Workspace Połączenie ion jest wbudowaną rolą, która ma uprawnienia do uzyskiwania połączeń zasobów centrum sztucznej inteligencji platformy Azure.
Jeśli chcesz użyć dostosowanej roli, upewnij się, że dostosowana rola ma uprawnienie
Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Dowiedz się więcej na temat tworzenia ról niestandardowych.Wybierz pozycję Tożsamość zarządzana i wybierz członków.
W polu Tożsamość przypisana przez system wybierz pozycję Punkt końcowy online uczenia maszynowego w obszarze Tożsamość zarządzana przypisana przez system i wyszukaj według nazwy punktu końcowego.
W polu Tożsamość przypisana przez użytkownika wybierz pozycję Tożsamość zarządzana przypisana przez użytkownika i wyszukaj według nazwy tożsamości.
W przypadku tożsamości przypisanej przez użytkownika należy również udzielić uprawnień do rejestru kontenerów zasobów centrum AI platformy Azure i konta magazynu. Rejestr kontenerów i konto magazynu można znaleźć na stronie przeglądu zasobów usługi Azure AI Hub w witrynie Azure Portal.
Przejdź do strony przeglądu rejestru zasobów usługi Azure AI Hub, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz ściąganie usługi ACR |Ściąganie obrazu kontenera do tożsamości punktu końcowego.
Przejdź do strony przeglądu domyślnego magazynu zasobów usługi Azure AI, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz czytelnik danych obiektu blob usługi Storage do tożsamości punktu końcowego.
(opcjonalnie) W przypadku tożsamości przypisanej przez użytkownika, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU/procesora GPU/dysku/pamięci, musisz również udzielić roli składnika zapisywania metryk obszaru roboczego zasobu centrum AI platformy Azure do tożsamości.
Sprawdzanie stanu punktu końcowego
Po zakończeniu wdrażania kreator będzie otrzymywać powiadomienia. Po pomyślnym utworzeniu punktu końcowego i wdrożenia możesz wybrać pozycję Wyświetl szczegóły na stronie szczegółów wdrożenia.
Możesz również przejść bezpośrednio do strony Wdrożenia w obszarze nawigacji po lewej stronie, wybrać wdrożenie i sprawdzić stan.
Testowanie punktu końcowego
Na stronie szczegółów wdrożenia przejdź do karty Test .
W przypadku punktów końcowych wdrożonych z przepływu standardowego można wprowadzić wartości w edytorze formularzy lub edytorze JSON w celu przetestowania punktu końcowego.
Testowanie punktu końcowego wdrożonego z przepływu czatu
W przypadku punktów końcowych wdrożonych z przepływu czatu można je przetestować w immersywnym oknie czatu.
Element chat_input został ustawiony podczas opracowywania przepływu czatu. Możesz wprowadzić chat_input komunikat w polu wejściowym. Jeśli przepływ ma wiele danych wejściowych, panel Dane wejściowe po prawej stronie służy do określania wartości innych danych wejściowych oprócz chat_inputelementu .
Korzystanie z punktu końcowego
Na stronie szczegółów wdrożenia przejdź do karty Użycie . Aby korzystać z punktu końcowego, możesz znaleźć punkt końcowy REST i klucz/token. Istnieje również przykładowy kod umożliwiający korzystanie z punktu końcowego w różnych językach.
Musisz wprowadzić wartości dla RequestBody elementów lub data i api_key. Jeśli na przykład przepływ ma 2 dane wejściowe location i url, musisz określić dane w następujący sposób.
{
"location": "LA",
"url": "<the_url_to_be_classified>"
}
Czyszczenie zasobów
Jeśli po ukończeniu tego samouczka nie będziesz używać punktu końcowego, usuń punkt końcowy.
Uwaga
Całkowite usunięcie może potrwać około 20 minut.
Następne kroki
- Dowiedz się więcej o tym, co można zrobić w usłudze Azure AI Studio
- Uzyskaj odpowiedzi na często zadawane pytania w artykule Azure AI FAQ (Często zadawane pytania dotyczące sztucznej inteligencji platformy Azure)