Udostępnij za pośrednictwem


Wdrażanie przepływu jako zarządzanego punktu końcowego online na potrzeby wnioskowania w czasie rzeczywistym

Po utworzeniu przepływu i przetestowaniu go prawidłowo możesz wdrożyć jako punkt końcowy, aby można było wywołać punkt końcowy na potrzeby wnioskowania w czasie rzeczywistym.

W tym artykule dowiesz się, jak wdrożyć przepływ jako zarządzany punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym. Kroki, które należy wykonać, to:

Ważne

Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie jest zalecana w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Wymagania wstępne

  • Dowiedz się , jak skompilować i przetestować przepływ w przepływie monitu.

  • Podstawowa wiedza na temat zarządzanych punktów końcowych online. Zarządzane punkty końcowe online współpracują z zaawansowanymi procesorami CPU i procesorami GPU na platformie Azure w skalowalny, w pełni zarządzany sposób, który zwalnia Cię z nakładu pracy związanego z konfigurowaniem podstawowej infrastruktury wdrażania i zarządzaniem nią. Aby uzyskać więcej informacji na temat zarządzanych punktów końcowych online, zobacz Online endpoints and deployments for real-time inference (Punkty końcowe i wdrożenia online dla wnioskowania w czasie rzeczywistym).

  • Kontrola dostępu na podstawie ról platformy Azure (Azure RBAC): jest używana do udzielania dostępu do operacji w usłudze Azure Machine Learning. Aby móc wdrożyć punkt końcowy w przepływie monitów, konto użytkownika musi mieć przypisaną rolę analityka danych azureML lub rolę z większą rolą dla obszaru roboczego usługi Azure Machine Edukacja.

  • Podstawowa wiedza na temat tożsamości zarządzanych. Dowiedz się więcej o tożsamościach zarządzanych.

Uwaga

Zarządzany punkt końcowy online obsługuje tylko zarządzaną sieć wirtualną. Jeśli obszar roboczy znajduje się w niestandardowej sieci wirtualnej, musisz wypróbować inne opcje wdrażania, takie jak wdrażanie w punkcie końcowym online platformy Kubernetes przy użyciu interfejsu wiersza polecenia/zestawu SDK lub wdrożenie na innych platformach, takich jak Platforma Docker.

Skompiluj przepływ i przygotuj go do wdrożenia

Jeśli ukończono samouczek rozpoczynania pracy, przepływ został już przetestowany prawidłowo, przesyłając przebieg wsadowy i oceniając wyniki.

Jeśli samouczek nie został ukończony, musisz utworzyć przepływ. Testowanie przepływu prawidłowo przez uruchomienie i ocenę wsadową przed wdrożeniem jest zalecanym najlepszym rozwiązaniem.

Użyjemy przykładowej klasyfikacji sieci Web przepływu jako przykładu, aby pokazać, jak wdrożyć przepływ. Ten przykładowy przepływ jest standardowym przepływem. Wdrażanie przepływów czatów jest podobne. Przepływ oceny nie obsługuje wdrażania.

Definiowanie środowiska używanego przez wdrożenie

Podczas wdrażania przepływu monitu do zarządzanego punktu końcowego online w interfejsie użytkownika domyślnie wdrożenie będzie używać środowiska utworzonego na podstawie najnowszego obrazu przepływu monitu i zależności określonych w requirements.txt przepływie. Możesz określić dodatkowe pakiety potrzebne w pliku requirements.txt. Folder główny folderu przepływu można znaleźć requirements.txt w folderze głównym.

Zrzut ekranu przedstawiający tekst wymagań przepływu.

Uwaga

Jeśli używasz prywatnych źródeł danych w usłudze Azure devops, musisz najpierw skompilować obraz z prywatnymi kanałami informacyjnymi i wybrać środowisko niestandardowe do wdrożenia w interfejsie użytkownika.

Tworzenie wdrożenia online

Po utworzeniu przepływu i przetestowaniu go prawidłowo nadszedł czas, aby utworzyć punkt końcowy online na potrzeby wnioskowania w czasie rzeczywistym.

Przepływ monitów obsługuje wdrażanie punktów końcowych z przepływu lub przebiegu wsadowego. Testowanie przepływu przed wdrożeniem jest zalecane.

Na stronie tworzenia przepływu lub na stronie szczegółów przebiegu wybierz pozycję Wdróż.

Strona tworzenia przepływu:

Zrzut ekranu przedstawiający klasyfikację sieci Web na stronie tworzenia przepływu.

Strona szczegółów przebiegu:

Zrzut ekranu przedstawiający klasyfikację sieci Web na stronie szczegółów przebiegu.

Zostanie wyświetlony kreator konfigurowania punktu końcowego i uwzględnij następujące kroki.

Ustawienia podstawowe

Zrzut ekranu przedstawiający kreatora wdrażania na stronie punktu końcowego.

Ten krok umożliwia skonfigurowanie podstawowych ustawień wdrożenia.

Właściwości opis
Punkt końcowy Możesz wybrać, czy chcesz wdrożyć nowy punkt końcowy, czy zaktualizować istniejący punkt końcowy.
Jeśli wybierzesz pozycję Nowy, musisz określić nazwę punktu końcowego.
Nazwa wdrożenia — W tym samym punkcie końcowym nazwa wdrożenia powinna być unikatowa.
— Jeśli wybierzesz istniejący punkt końcowy i wprowadzisz istniejącą nazwę wdrożenia, to wdrożenie zostanie zastąpione nowymi konfiguracjami.
Maszyna wirtualna Rozmiar maszyny wirtualnej do użycia na potrzeby wdrożenia. Aby uzyskać listę obsługiwanych rozmiarów, zobacz Lista jednostek SKU zarządzanych punktów końcowych online.
Liczba wystąpień Liczba wystąpień do użycia na potrzeby wdrożenia. Określ wartość oczekiwanego obciążenia. W przypadku wysokiej dostępności zalecamy ustawienie wartości na co najmniej 3. Firma Microsoft zastrzega sobie dodatkowe 20% na potrzeby przeprowadzania uaktualnień. Aby uzyskać więcej informacji, zobacz Zarządzane limity przydziału punktów końcowych online
Zbieranie danych wnioskowania Jeśli to włączysz, dane wejściowe i wyjściowe przepływu zostaną automatycznie zebrane w zasobie usługi Azure Machine Edukacja danych i mogą być używane do późniejszego monitorowania. Aby dowiedzieć się więcej, zobacz jak monitorować aplikacje generujące sztuczną inteligencję.

Po zakończeniu ustawień podstawowych możesz bezpośrednio przejrzeć+utworzyć , aby zakończyć tworzenie, lub wybrać przycisk Dalej , aby skonfigurować ustawienia zaawansowane.

Ustawienia zaawansowane — punkt końcowy

Dla punktu końcowego można określić następujące ustawienia.

Zrzut ekranu przedstawiający ustawienia punktu końcowego kreatora wdrażania.

Typ uwierzytelniania

Metoda uwierzytelniania punktu końcowego. Uwierzytelnianie oparte na kluczach zapewnia klucz podstawowy i pomocniczy, który nie wygasa. Uwierzytelnianie oparte na tokenach w usłudze Azure Machine Edukacja zapewnia token, który okresowo odświeża się automatycznie. Aby uzyskać więcej informacji na temat uwierzytelniania, zobacz Uwierzytelnianie w punkcie końcowym online.

Typ tożsamości

Punkt końcowy musi uzyskiwać dostęp do zasobów platformy Azure, takich jak usługa Azure Container Registry lub połączenia obszaru roboczego na potrzeby wnioskowania. Możesz zezwolić punktowi końcowemu na dostęp do zasobów platformy Azure za pośrednictwem uprawnień do tożsamości zarządzanej.

Tożsamość przypisana przez system zostanie automatycznie utworzona po utworzeniu punktu końcowego, podczas gdy tożsamość przypisana przez użytkownika jest tworzona przez użytkownika. Dowiedz się więcej o tożsamościach zarządzanych.

Przypisane przez system

Zauważysz, że istnieje opcja wymuszania dostępu do wpisów tajnych połączenia (wersja zapoznawcza). Jeśli przepływ używa połączeń, punkt końcowy musi uzyskiwać dostęp do połączeń w celu wnioskowania. Opcja jest domyślnie włączona. Punkt końcowy zostanie przyznany użytkownikowi Azure Machine Edukacja Workspace Połączenie ion Secrets Reader rolę do uzyskiwania dostępu do połączeń automatycznie, jeśli masz uprawnienia czytelnika wpisów tajnych połączenia. Jeśli wyłączysz tę opcję, musisz przyznać tę rolę tożsamości przypisanej przez system ręcznie lub poprosić o pomoc od administratora. Dowiedz się więcej na temat udzielania uprawnień do tożsamości punktu końcowego.

Przypisana przez użytkownika

Podczas tworzenia wdrożenia platforma Azure próbuje ściągnąć obraz kontenera użytkownika z obszaru roboczego usługi Azure Container Registry (ACR) i zainstalować model użytkownika i artefakty kodu w kontenerze użytkownika z konta magazynu obszaru roboczego.

W przypadku utworzenia skojarzonego punktu końcowego z tożsamością przypisaną przez użytkownika tożsamość przypisana przez użytkownika musi mieć następujące role przed utworzeniem wdrożenia. W przeciwnym razie tworzenie wdrożenia zakończy się niepowodzeniem.

Scope Rola Dlaczego jest to potrzebne
Obszar roboczy usługi Azure Machine Learning Rola czytelnika wpisów tajnych połączenia z obszarem roboczym usługi Azure Machine LearningLUB niestandardowa rola z „Microsoft.Machine Edukacja Services/workspaces/connections/listsecrets/action" Pobieranie połączeń obszaru roboczego
Rejestr kontenerów obszaru roboczego Ściąganie ACR Ściąganie obrazu kontenera
Domyślny magazyn obszaru roboczego Czytelnik danych obiektu blob usługi Storage Ładowanie modelu z magazynu
(Opcjonalnie) Obszar roboczy usługi Azure Machine Learning Składnik zapisywania metryk obszaru roboczego Po wdrożeniu punktu końcowego, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU / procesora GPU / dysku / pamięci, musisz nadać tej tożsamości uprawnienie.

Zobacz szczegółowe wskazówki dotyczące udzielania uprawnień tożsamości punktu końcowego w temacie Udzielanie uprawnień do punktu końcowego.

Ważne

Jeśli przepływ używa połączeń uwierzytelniania opartych na identyfikatorze Entra firmy Microsoft, niezależnie od tego, czy używasz tożsamości przypisanej przez system, czy tożsamości przypisanej przez użytkownika, zawsze musisz przyznać tożsamości zarządzanej odpowiednie role odpowiednich zasobów, aby można było wykonywać wywołania interfejsu API do tego zasobu. Jeśli na przykład połączenie usługi Azure OpenAI korzysta z uwierzytelniania opartego na identyfikatorze Entra firmy Microsoft, musisz udzielić tożsamości zarządzanej punktu końcowego użytkownikowi openAI usług Cognitive Services lub roli współautora usługi Cognitive Services OpenAI odpowiednich zasobów usługi Azure OpenAI.

Ustawienia zaawansowane — wdrażanie

W tym kroku, z wyjątkiem tagów, można również określić środowisko używane przez wdrożenie.

Zrzut ekranu przedstawiający środowisko wdrażania.

Używanie środowiska bieżącej definicji przepływu

Domyślnie wdrożenie będzie używać środowiska utworzonego na podstawie obrazu podstawowego określonego w flow.dag.yaml parametrach i określonych w elemencie requirements.txt.

  • Możesz określić obraz podstawowy w elemecie flow.dag.yaml , wybierając Raw file mode przepływ. Jeśli nie określono obrazu, domyślny obraz podstawowy to najnowszy obraz podstawowy przepływu monitu.

    Zrzut ekranu przedstawiający określanie obrazu podstawowego w nieprzetworzonym pliku yaml przepływu.

  • Możesz znaleźć requirements.txt w folderze głównym folderu przepływu i dodać w nim zależności.

    Zrzut ekranu przedstawiający tekst wymagań dotyczących przepływu.

Korzystanie z dostosowanego środowiska

Możesz również utworzyć dostosowane środowisko i użyć go do wdrożenia.

Uwaga

Środowisko niestandardowe musi spełniać następujące wymagania:

  • obraz platformy Docker należy utworzyć na podstawie obrazu podstawowego przepływu monitu, mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>. Najnowszą wersję można znaleźć tutaj.
  • definicja środowiska musi zawierać wartość inference_config.

Poniżej przedstawiono przykład dostosowanej definicji środowiska.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Włączanie śledzenia przez włączenie diagnostyki Szczegółowe informacje aplikacji (wersja zapoznawcza)

Jeśli to włączysz, śledzenie danych i metryk systemu w czasie wnioskowania (takich jak liczba tokenów, opóźnienie przepływu, żądanie przepływu itp.) zostanie zebrane w połączonym obszarze roboczym Aplikacja Szczegółowe informacje. Aby dowiedzieć się więcej, zobacz monit dotyczący przepływu obsługującego dane i metryki śledzenia.

Jeśli chcesz określić inną aplikację Szczegółowe informacje inną niż połączony obszar roboczy, możesz skonfigurować za pomocą interfejsu wiersza polecenia.

Ustawienia zaawansowane — dane wyjściowe i Połączenie ions

W tym kroku można wyświetlić wszystkie dane wyjściowe przepływu i określić, które dane wyjściowe zostaną uwzględnione w odpowiedzi wdrożonego punktu końcowego. Domyślnie wybierane są wszystkie dane wyjściowe przepływu.

Można również określić połączenia używane przez punkt końcowy podczas wnioskowania. Domyślnie są one dziedziczone z przepływu.

Po skonfigurowaniu i przejrzeniu wszystkich powyższych kroków możesz wybrać pozycję Przejrzyj i utwórz , aby zakończyć tworzenie.

Uwaga

Oczekiwano, że tworzenie punktu końcowego potrwa około 15 minut, ponieważ zawiera kilka etapów, w tym tworzenie punktu końcowego, rejestrowanie modelu, tworzenie wdrożenia itp.

Postęp tworzenia wdrożenia można zrozumieć za pośrednictwem powiadomienia uruchamianego przez polecenie Monituj wdrożenie przepływu. Zrzut ekranu przedstawiający powiadomienie o wdrożeniu.

Udzielanie uprawnień do punktu końcowego

Ważne

Funkcja udzielania uprawnień (dodawanie przypisania roli) jest włączona tylko dla właściciela określonych zasobów platformy Azure. Może być konieczne zwrócenie się do administratora IT o pomoc. Zaleca się przyznanie ról tożsamości przypisanej przez użytkownika przed utworzeniem wdrożenia. To maight potrwać ponad 15 minut, aby przyznane uprawnienie do wejścia w życie.

Wszystkie uprawnienia w interfejsie użytkownika witryny Azure Portal można przyznać, wykonując następujące kroki.

  1. Przejdź do strony przeglądu obszaru roboczego usługi Azure Machine Edukacja w witrynie Azure Portal.

  2. Wybierz pozycję Kontrola dostępu i wybierz pozycję Dodaj przypisanie roli. Zrzut ekranu przedstawiający kontrolę dostępu z wyróżnionym dodawaniem przypisania roli.

  3. Wybierz pozycję Czytelnik wpisów tajnych usługi Azure Machine Edukacja obszar roboczy Połączenie ion, a następnie przejdź do pozycji Dalej.

    Uwaga

    Czytelnik wpisów tajnych usługi Azure Machine Edukacja Workspace Połączenie ion jest wbudowaną rolą, która ma uprawnienia do uzyskiwania połączeń obszaru roboczego.

    Jeśli chcesz użyć dostosowanej roli, upewnij się, że dostosowana rola ma uprawnienie "Microsoft.Machine Edukacja Services/workspaces/connections/listsecrets/action". Dowiedz się więcej na temat tworzenia ról niestandardowych.

  4. Wybierz pozycję Tożsamość zarządzana i wybierz członków.

    W polu Tożsamość przypisana przez system wybierz pozycję Punkt końcowy online uczenia maszynowego w obszarze Tożsamość zarządzana przypisana przez system i wyszukaj według nazwy punktu końcowego.

    W polu Tożsamość przypisana przez użytkownika wybierz pozycję Tożsamość zarządzana przypisana przez użytkownika i wyszukaj według nazwy tożsamości.

  5. W przypadku tożsamości przypisanej przez użytkownika należy również udzielić uprawnień do rejestru kontenerów obszaru roboczego i konta magazynu. Rejestr kontenerów i konto magazynu można znaleźć na stronie przeglądu obszaru roboczego w witrynie Azure Portal.

    Zrzut ekranu przedstawiający stronę przeglądu z wyróżnionym magazynem i rejestrem kontenerów.

    Przejdź do strony przeglądu rejestru kontenerów obszaru roboczego, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz ściąganie usługi ACR |Ściąganie obrazu kontenera do tożsamości punktu końcowego.

    Przejdź do domyślnej strony przeglądu magazynu obszaru roboczego, wybierz pozycję Kontrola dostępu, a następnie wybierz pozycję Dodaj przypisanie roli i przypisz czytelnik danych obiektu blob usługi Storage do tożsamości punktu końcowego.

  6. (opcjonalnie) W przypadku tożsamości przypisanej przez użytkownika, jeśli chcesz monitorować metryki związane z punktem końcowym, takie jak użycie procesora CPU/procesora GPU/dysku/pamięci, musisz również udzielić roli modułu zapisywania metryk obszaru roboczego do tożsamości.

Sprawdzanie stanu punktu końcowego

Po zakończeniu wdrażania kreator będzie otrzymywać powiadomienia. Po pomyślnym utworzeniu punktu końcowego i wdrożenia możesz wybrać pozycję Wdróż szczegóły na stronie szczegółów powiadomienia do punktu końcowego.

Możesz również przejść bezpośrednio do strony Punkty końcowe w programie Studio i sprawdzić stan wdrożonego punktu końcowego.

Zrzut ekranu przedstawiający stronę szczegółów punktu końcowego z pomyślnym wdrożeniem.

Testowanie punktu końcowego przy użyciu przykładowych danych

Na stronie szczegółów punktu końcowego przejdź do karty Test .

Możesz wprowadzić wartości i wybrać przycisk Testuj .

Wynik testu przedstawia następujące elementy:

Zrzut ekranu przedstawiający stronę szczegółów punktu końcowego na karcie testu.

Testowanie punktu końcowego wdrożonego z przepływu czatu

W przypadku punktów końcowych wdrożonych z przepływu czatu można je przetestować w immersywnym oknie czatu.

Zrzut ekranu przedstawiający punkt końcowy wdrożony z przepływu czatu.

Element chat_input został ustawiony podczas opracowywania przepływu czatu. Możesz wprowadzić chat_input komunikat w polu wejściowym. Panel Dane wejściowe po prawej stronie służy do określania wartości innych danych wejściowych oprócz elementu chat_input. Dowiedz się więcej o sposobie opracowywania przepływu czatu.

Korzystanie z punktu końcowego

Na stronie szczegółów punktu końcowego przejdź do karty Użycie . Aby korzystać z punktu końcowego, możesz znaleźć punkt końcowy REST i klucz/token. Istnieje również przykładowy kod umożliwiający korzystanie z punktu końcowego w różnych językach.

Należy pamiętać, że należy wypełnić wartości danych zgodnie z danymi wejściowymi przepływu. Skorzystaj z przykładowego przepływu używanego w tym artykule Klasyfikacja sieci Web, na przykład musisz określić data = {"url": "<the_url_to_be_classified>"} i wypełnić klucz lub token w przykładowym kodzie użycia.

Zrzut ekranu przedstawiający stronę szczegółów punktu końcowego z kodem użycia.

Monitorowanie punktów końcowych

Wyświetlanie typowych metryk zarządzanych punktów końcowych online przy użyciu usługi Azure Monitor (opcjonalnie)

Możesz wyświetlić różne metryki (numery żądań, opóźnienie żądania, bajty sieciowe, procesor CPU/procesor GPU/dysk/pamięć itp.) dla punktu końcowego online i jego wdrożenia, korzystając z linków na stronie Szczegóły punktu końcowego w studio. Poniższe linki prowadzą do dokładnej strony metryk w witrynie Azure Portal na potrzeby punktu końcowego lub wdrożenia.

Uwaga

Jeśli określisz tożsamość przypisaną przez użytkownika dla punktu końcowego, upewnij się, że przypisano moduł zapisywaniametryk obszaru roboczego usługi Azure Machine Edukacja Workspace do tożsamości przypisanej przez użytkownika. W przeciwnym razie punkt końcowy nie będzie mógł rejestrować metryk.

Zrzut ekranu przedstawiający stronę szczegółów punktu końcowego z wyróżnionymi metrykami widoku.

Aby uzyskać więcej informacji na temat wyświetlania metryk punktów końcowych online, zobacz Monitorowanie punktów końcowych online.

Wyświetlanie punktów końcowych przepływu monitów specyficznych dla metryk i danych śledzenia (opcjonalnie)

Jeśli włączysz diagnostykę Szczegółowe informacje aplikacji w kreatorze wdrażania interfejsu użytkownika, śledzenie danych i metryki specyficzne dla przepływu monitu będą zbierane do połączonego obszaru roboczego Aplikacji Szczegółowe informacje. Zobacz szczegółowe informacje na temat włączania śledzenia dla danego wdrożenia.

Rozwiązywanie problemów z punktami końcowymi wdrożonym z poziomu natychmiastowego przepływu

Brak autoryzacji do wykonania akcji "Microsoft.Machine Edukacja Service/workspaces/datastores/read"

Jeśli przepływ zawiera narzędzie wyszukiwania indeksów, po wdrożeniu przepływu punkt końcowy musi uzyskać dostęp do magazynu danych obszaru roboczego, aby odczytać plik YAML MLIndex lub folder FAISS zawierający fragmenty i osadzanie. W związku z tym należy ręcznie przyznać temu uprawnienie tożsamości punktu końcowego.

Możesz udzielić tożsamości punktu końcowego AzureML badacze dancyh w zakresie obszaru roboczego lub roli niestandardowej zawierającej akcję "Machine Edukacja Service/workspace/datastore/reader".

Brak programu sterownika

Jeśli wdrożysz przepływ przy użyciu środowiska niestandardowego i wystąpi następujący błąd, może to być spowodowane tym, że nie określono inference_config elementu w niestandardowej definicji środowiska.

'error': 
{
    'code': 'BadRequest', 
    'message': 'The request is invalid.', 
    'details': 
         {'code': 'MissingDriverProgram', 
          'message': 'Could not find driver program in the request.', 
          'details': [], 
          'additionalInfo': []
         }
}

Istnieje 2 sposoby naprawienia tego błędu.

  • (Zalecane) Identyfikator URI obrazu kontenera można znaleźć na stronie szczegółów środowiska niestandardowego i ustawić go jako obraz podstawowy przepływu w pliku flow.dag.yaml. Podczas wdrażania przepływu w interfejsie użytkownika wystarczy wybrać pozycję Użyj środowiska bieżącej definicji przepływu, a usługa zaplecza utworzy dostosowane środowisko na podstawie tego obrazu podstawowego i requirement.txt wdrożenia. Dowiedz się więcej o środowisku określonym w definicji przepływu.

    Zrzut ekranu przedstawiający stronę szczegółów środowiska niestandardowego.

    Zrzut ekranu przedstawiający określanie obrazu podstawowego w nieprzetworzonym pliku yaml przepływu.

  • Ten błąd można naprawić, dodając inference_config definicję środowiska niestandardowego. Dowiedz się więcej o sposobie używania dostosowanego środowiska.

    Poniżej przedstawiono przykład dostosowanej definicji środowiska.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Odpowiedź modelu trwa zbyt długo

Czasami może się okazać, że reagowanie na wdrożenie trwa zbyt długo. Istnieje kilka potencjalnych czynników, które mogą wystąpić.

  • Model nie jest wystarczająco zaawansowany (np. użyj biblioteki gpt nad tekstem ada)
  • Zapytanie indeksu nie jest zoptymalizowane i trwa zbyt długo
  • Przepływ ma wiele kroków do przetworzenia

Rozważ optymalizację punktu końcowego z powyższymi zagadnieniami, aby zwiększyć wydajność modelu.

Nie można pobrać schematu wdrożenia

Po wdrożeniu punktu końcowego i przetestowaniu go na karcie Test na stronie szczegółów punktu końcowego, jeśli na karcie Test jest wyświetlany schemat wdrażania Nie można pobrać, jak pokazano poniżej, możesz wypróbować następujące 2 metody, aby rozwiązać ten problem:

Zrzut ekranu przedstawiający błąd, który nie może pobrać schematu wdrożenia na karcie Test na stronie szczegółów punktu końcowego.

Odmowa dostępu do listy wpisów tajnych obszaru roboczego

Jeśli wystąpi błąd, taki jak "Odmowa dostępu do wyświetlania listy wpisów tajnych obszaru roboczego", sprawdź, czy udzielono poprawnego uprawnienia do tożsamości punktu końcowego. Dowiedz się więcej na temat udzielania uprawnień do tożsamości punktu końcowego.

Czyszczenie zasobów

Jeśli po ukończeniu tego samouczka nie będziesz używać punktu końcowego, usuń punkt końcowy.

Uwaga

Całkowite usunięcie może potrwać około 20 minut.

Następne kroki