Wdrażanie przepływu na potrzeby wnioskowania w czasie rzeczywistym

Ważne

Niektóre funkcje opisane w tym artykule mogą być dostępne tylko w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Po utworzeniu przepływu monitu i przetestowaniu go prawidłowo możesz wdrożyć jako punkt końcowy online. Wdrożenia są hostowane w punkcie końcowym i mogą odbierać dane od klientów i wysyłać odpowiedzi z powrotem w czasie rzeczywistym.

Możesz wywołać punkt końcowy dla wnioskowania w czasie rzeczywistym na potrzeby czatu, copilot lub innej aplikacji generującej sztuczną inteligencję. Przepływ monitów obsługuje wdrażanie punktu końcowego z przepływu lub z przebiegu testu zbiorczego.

Z tego artykułu dowiesz się, jak wdrożyć przepływ jako zarządzany punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym. Czynności, które należy wykonać, to:

• Przetestuj przepływ i przygotuj go do wdrożenia.
• Tworzenie wdrożenia online.
• Udziel uprawnień do punktu końcowego.
• Przetestuj punkt końcowy.
• Korzystanie z punktu końcowego.

Wymagania wstępne

Aby wdrożyć przepływ monitu jako punkt końcowy online, potrzebne są następujące elementy:

• Subskrypcja Azure. Jeśli nie masz subskrypcji, przed rozpoczęciem utwórz bezpłatne konto.
• Projekt usługi Azure AI Studio.

Tworzenie wdrożenia online

Po utworzeniu przepływu i przetestowaniu go prawidłowo nadszedł czas, aby utworzyć punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym.

Wykonaj poniższe kroki, aby wdrożyć przepływ monitu jako punkt końcowy online w usłudze Azure AI Studio.

1. Przygotuj przepływ monitu do wdrożenia. Jeśli go nie masz, zobacz , jak utworzyć przepływ monitu.

2. Opcjonalnie: wybierz pozycję Czat , aby przetestować, czy przepływ działa poprawnie. Testowanie przepływu przed wdrożeniem jest zalecane.

3. Wybierz pozycję Wdróż w edytorze przepływów.

   

4. Podaj żądane informacje na stronie Ustawienia podstawowe w kreatorze wdrażania.

   

5. Wybierz pozycję Przejrzyj i utwórz , aby przejrzeć ustawienia i utworzyć wdrożenie. W przeciwnym razie możesz wybrać przycisk Dalej , aby przejść do stron ustawień zaawansowanych.

6. Wybierz pozycję Utwórz , aby wdrożyć przepływ monitu.

   

7. Aby wyświetlić stan wdrożenia, wybierz pozycję Wdrożenia w obszarze nawigacji po lewej stronie. Po pomyślnym utworzeniu wdrożenia możesz wybrać wdrożenie, aby wyświetlić szczegóły.

   

8. Wybierz kartę Użycie , aby wyświetlić przykłady kodu, których można użyć do korzystania z wdrożonego modelu w aplikacji.

   Uwaga

   Na tej stronie można również wyświetlić adres URL punktu końcowego, którego można użyć do korzystania z punktu końcowego.

   

9. Możesz użyć punktu końcowego REST bezpośrednio lub rozpocząć pracę z jednym z przykładów przedstawionych tutaj.

   

Aby uzyskać więcej informacji, zobacz poniższe sekcje.

Napiwek

Aby uzyskać przewodnik dotyczący wdrażania modelu podstawowego, zobacz Wdrażanie modeli za pomocą programu Azure AI Studio.

Ustawienia i konfiguracje

Plik tekstowy wymagań

Opcjonalnie możesz określić dodatkowe pakiety potrzebne w pliku requirements.txt. Folder główny folderu przepływu można znaleźć requirements.txt w folderze głównym. Podczas wdrażania przepływu monitu do zarządzanego punktu końcowego online w interfejsie użytkownika domyślnie wdrożenie używa środowiska utworzonego na podstawie obrazu podstawowego określonego w flow.dag.yaml parametrach i określonych w requirements.txt przepływie.

Uwaga

Obraz podstawowy określony w elemecie flow.dag.yaml musi zostać utworzony na podstawie obrazu mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> podstawowego przepływu monitu i można znaleźć najnowszą wersję tutaj. Jeśli nie określisz obrazu podstawowego w pliku flow.dag.yaml, wdrożenie użyje domyślnego obrazu mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestpodstawowego .

Ustawienia podstawowe

Ten krok umożliwia skonfigurowanie podstawowych ustawień wdrożenia.

Właściwości	opis
Punkt końcowy	Możesz wybrać, czy chcesz wdrożyć nowy punkt końcowy, czy zaktualizować istniejący punkt końcowy. Jeśli wybierzesz pozycję Nowy, musisz określić nazwę punktu końcowego.
Nazwa wdrożenia	— W tym samym punkcie końcowym nazwa wdrożenia powinna być unikatowa. — Jeśli wybierzesz istniejący punkt końcowy i wprowadzisz istniejącą nazwę wdrożenia, to wdrożenie zostanie zastąpione nowymi konfiguracjami.
Maszyna wirtualna	Rozmiar maszyny wirtualnej do użycia na potrzeby wdrożenia.
Liczba wystąpień	Liczba wystąpień do użycia na potrzeby wdrożenia. Określ wartość oczekiwanego obciążenia. W przypadku wysokiej dostępności zalecamy ustawienie wartości na wartość co najmniej 3. Firma Microsoft zastrzega sobie dodatkowe 20% na potrzeby przeprowadzania uaktualnień.
Zbieranie danych wnioskowania	Jeśli to włączysz, dane wejściowe i wyjściowe przepływu są automatycznie zbierane w zasobie danych usługi Azure Machine Learning i mogą być używane do późniejszego monitorowania.

Po zakończeniu ustawień podstawowych możesz bezpośrednio przejrzeć i utworzyć , aby zakończyć tworzenie, lub wybrać przycisk Dalej , aby skonfigurować ustawienia zaawansowane.

Ustawienia zaawansowane — punkt końcowy

Dla punktu końcowego można określić następujące ustawienia.

W przepływie pracy ustawień zaawansowanych można również określić tagi wdrożenia i wybrać środowisko niestandardowe.

Typ uwierzytelniania

Metoda uwierzytelniania punktu końcowego. Uwierzytelnianie oparte na kluczach zapewnia klucz podstawowy i pomocniczy, który nie wygasa. Uwierzytelnianie oparte na tokenach usługi Azure Machine Learning zapewnia token, który okresowo odświeża się automatycznie.

Typ tożsamości

Punkt końcowy musi uzyskiwać dostęp do zasobów platformy Azure, takich jak usługa Azure Container Registry lub połączenia centrum usługi AI Studio na potrzeby wnioskowania. Możesz zezwolić punktowi końcowemu na dostęp do zasobów platformy Azure za pośrednictwem uprawnień do tożsamości zarządzanej.

Tożsamość przypisana przez system zostanie automatycznie utworzona po utworzeniu punktu końcowego, podczas gdy tożsamość przypisana przez użytkownika jest tworzona przez użytkownika. Dowiedz się więcej o tożsamościach zarządzanych.

Przypisane przez system

Zauważysz, że istnieje opcja wymuszania dostępu do wpisów tajnych połączenia (wersja zapoznawcza). Jeśli przepływ używa połączeń, punkt końcowy musi uzyskiwać dostęp do połączeń w celu wnioskowania. Ta opcja jest domyślnie włączona. Punkt końcowy otrzymuje rolę Czytelnik wpisów tajnych połączenia obszaru roboczego usługi Azure Machine Learning, aby automatycznie uzyskiwać dostęp do połączeń, jeśli masz uprawnienia czytelnika wpisów tajnych połączenia. Jeśli wyłączysz tę opcję, musisz przyznać tę rolę tożsamości przypisanej przez system ręcznie lub poprosić o pomoc od administratora. Dowiedz się więcej na temat udzielania uprawnień do tożsamości punktu końcowego.

Przypisane przez użytkownika

Podczas tworzenia wdrożenia platforma Azure próbuje ściągnąć obraz kontenera użytkownika z usługi Azure AI Studio Hub azure Container Registry (ACR) i instaluje model użytkownika i artefakty kodu w kontenerze użytkownika z konta magazynu centrum.

Jeśli utworzono skojarzony punkt końcowy z tożsamością przypisaną przez użytkownika, tożsamość przypisana przez użytkownika musi mieć następujące role przed utworzeniem wdrożenia. W przeciwnym razie tworzenie wdrożenia zakończy się niepowodzeniem.

Scope	Rola	Dlaczego jest to potrzebne
Projekt AI Studio	Rola Czytelnik wpisów tajnych połączenia obszaru roboczego usługi Azure Machine Learning lub niestandardowa rola zMicrosoft.MachineLearningServices/workspaces/connections/listsecrets/action	Pobieranie połączeń projektu
Rejestr kontenerów projektów programu AI Studio	Ściąganie usługi ACR	Ściąganie obrazu kontenera
Domyślny magazyn projektu AI Studio	Czytelnik danych obiektu blob usługi Storage	Ładowanie modelu z magazynu
Projekt AI Studio	Moduł zapisywania metryk obszaru roboczego	Po wdrożeniu punktu końcowego, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU / procesora GPU / dysku / pamięci, musisz nadać tej tożsamości uprawnienie. Opcjonalnie

Zobacz szczegółowe wskazówki dotyczące udzielania uprawnień tożsamości punktu końcowego w temacie Udzielanie uprawnień do punktu końcowego.

Ważne

Jeśli przepływ używa połączeń uwierzytelniania opartych na identyfikatorze Entra firmy Microsoft, niezależnie od tego, czy używasz tożsamości przypisanej przez system, czy tożsamości przypisanej przez użytkownika, zawsze musisz przyznać tożsamości zarządzanej odpowiednie role odpowiednich zasobów, aby można było wykonywać wywołania interfejsu API do tego zasobu. Jeśli na przykład połączenie usługi Azure OpenAI korzysta z uwierzytelniania opartego na identyfikatorze Entra firmy Microsoft, musisz udzielić tożsamości zarządzanej punktu końcowego użytkownikowi openAI usług Cognitive Services lub roli współautora usługi Cognitive Services OpenAI odpowiednich zasobów usługi Azure OpenAI.

Ustawienia zaawansowane — dane wyjściowe i połączenia

W tym kroku można wyświetlić wszystkie dane wyjściowe przepływu i określić, które dane wyjściowe mają zostać uwzględnione w odpowiedzi wdrożonego punktu końcowego. Domyślnie wybierane są wszystkie dane wyjściowe przepływu.

Można również określić połączenia używane przez punkt końcowy podczas wnioskowania. Domyślnie są one dziedziczone z przepływu.

Po skonfigurowaniu i przejrzeniu wszystkich powyższych kroków możesz wybrać pozycję Przejrzyj i utwórz , aby zakończyć tworzenie.

Uwaga

Oczekiwano, że tworzenie punktu końcowego potrwa około 15 minut, ponieważ zawiera kilka etapów, w tym tworzenie punktu końcowego, rejestrowanie modelu, tworzenie wdrożenia itp.

Postęp tworzenia wdrożenia można zrozumieć za pośrednictwem powiadomienia uruchamianego przez polecenie Monituj wdrożenie przepływu.

Włączanie śledzenia przez włączenie diagnostyki usługi Application Insights (wersja zapoznawcza)

Jeśli to włączysz, śledzenie danych i metryk systemowych w czasie wnioskowania (takich jak liczba tokenów, opóźnienie przepływu, żądanie przepływu itp.) zostanie zebrane w połączonym obszarze roboczym usługi Application Insights. Aby dowiedzieć się więcej, zobacz monit dotyczący przepływu obsługującego dane i metryki śledzenia.

Udzielanie uprawnień do punktu końcowego

Ważne

Funkcja udzielania uprawnień (dodawanie przypisania roli) jest włączona tylko dla właściciela określonych zasobów platformy Azure. Może być konieczne zwrócenie się do administratora IT o pomoc.

Zaleca się przyznanie ról tożsamości przypisanej przez użytkownika przed utworzeniem wdrożenia. Zastosowanie przyznanego uprawnienia może potrwać ponad 15 minut.

Wszystkie uprawnienia w interfejsie użytkownika witryny Azure Portal można przyznać, wykonując następujące kroki.

1. Przejdź do strony przeglądu projektu usługi Azure AI Studio w witrynie Azure Portal.

2. Wybierz pozycję Kontrola dostępu i wybierz pozycję Dodaj przypisanie roli.

3. Wybierz pozycję Czytelnik wpisów tajnych połączenia obszaru roboczego usługi Azure Machine Learning, a następnie przejdź do pozycji Dalej.

   Uwaga

   Rola Czytelnik wpisów tajnych połączenia obszaru roboczego usługi Azure Machine Learning jest wbudowaną rolą, która ma uprawnienia do uzyskiwania połączeń centrum.

   Jeśli chcesz użyć dostosowanej roli, upewnij się, że dostosowana rola ma uprawnienie Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Dowiedz się więcej na temat tworzenia ról niestandardowych.

4. Wybierz pozycję Tożsamość zarządzana i wybierz członków.

   W polu Tożsamość przypisana przez system wybierz pozycję Punkt końcowy online uczenia maszynowego w obszarze Tożsamość zarządzana przypisana przez system i wyszukaj według nazwy punktu końcowego.

   W polu Tożsamość przypisana przez użytkownika wybierz pozycję Tożsamość zarządzana przypisana przez użytkownika i wyszukaj według nazwy tożsamości.

5. W przypadku tożsamości przypisanej przez użytkownika należy również udzielić uprawnień do rejestru kontenerów centrum i konta magazynu. Rejestr kontenerów i konto magazynu można znaleźć na stronie przeglądu centrum w witrynie Azure Portal.

   

   Przejdź do strony przeglądu rejestru kontenerów centrum, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz ściąganie usługi ACR |Ściąganie obrazu kontenera do tożsamości punktu końcowego.

   Przejdź do domyślnej strony przeglądu magazynu centrum, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz czytelnik danych obiektu blob usługi Storage do tożsamości punktu końcowego.

6. (opcjonalnie) W przypadku tożsamości przypisanej przez użytkownika, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU/procesora GPU/dysku/pamięci, musisz również przyznać rolę modułu zapisywania metryk obszaru roboczego do tożsamości.

Sprawdzanie stanu punktu końcowego

Po zakończeniu wdrażania kreator będzie otrzymywać powiadomienia. Po pomyślnym utworzeniu punktu końcowego i wdrożenia możesz wybrać pozycję Wyświetl szczegóły na stronie szczegółów wdrożenia.

Możesz również przejść bezpośrednio do strony Wdrożenia w obszarze nawigacji po lewej stronie, wybrać wdrożenie i sprawdzić stan.

Testowanie punktu końcowego

Na stronie szczegółów wdrożenia przejdź do karty Test .

W przypadku punktów końcowych wdrożonych z przepływu standardowego można wprowadzić wartości w edytorze formularzy lub edytorze JSON w celu przetestowania punktu końcowego.

Testowanie punktu końcowego wdrożonego z przepływu czatu

W przypadku punktów końcowych wdrożonych z przepływu czatu można je przetestować w immersywnym oknie czatu.

Element chat_input został ustawiony podczas opracowywania przepływu czatu. Możesz wprowadzić chat_input komunikat w polu wejściowym. Jeśli przepływ ma wiele danych wejściowych, panel Dane wejściowe po prawej stronie służy do określania wartości innych danych wejściowych oprócz chat_inputelementu .

Korzystanie z punktu końcowego

Na stronie szczegółów wdrożenia przejdź do karty Użycie . Aby korzystać z punktu końcowego, możesz znaleźć punkt końcowy REST i klucz/token. Istnieje również przykładowy kod umożliwiający korzystanie z punktu końcowego w różnych językach.

Musisz wprowadzić wartości dla RequestBody elementów lub data i api_key. Jeśli na przykład przepływ ma 2 dane wejściowe location i url, musisz określić dane w następujący sposób.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Czyszczenie zasobów

Jeśli po ukończeniu tego samouczka nie będziesz używać punktu końcowego, usuń punkt końcowy.

Uwaga

Całkowite usunięcie może potrwać około 20 minut.

Następne kroki

• Dowiedz się więcej o tym, co można zrobić w usłudze Azure AI Studio
• Uzyskaj odpowiedzi na często zadawane pytania w artykule Azure AI FAQ (Często zadawane pytania dotyczące sztucznej inteligencji platformy Azure)
• [Włącz śledzenie i zbieranie opinii dotyczących wdrożenia] (./develop/trace-production-sdk.md)