Tworzenie zadań i danych wejściowych dla punktów końcowych wsadowych

Punkty końcowe usługi Batch mogą służyć do wykonywania długich operacji wsadowych na dużych ilościach danych. Takie dane można umieścić w różnych miejscach. Niektóre typy punktów końcowych wsadowych mogą również odbierać parametry literału jako dane wejściowe. W tym samouczku omówimy sposób określania tych danych wejściowych oraz obsługiwanych typów lub lokalizacji.

Przed wywołaniem punktu końcowego

Aby pomyślnie wywołać punkt końcowy wsadowy i utworzyć zadania, upewnij się, że masz następujące elementy:

• Masz uprawnienia do uruchamiania wdrożenia punktu końcowego wsadowego. Role usługi AzureML badacze dancyh, Współautor i Właściciel mogą służyć do uruchamiania wdrożenia. W przypadku definicji ról niestandardowych przeczytaj autoryzację w punktach końcowych wsadowych , aby poznać wymagane określone uprawnienia.

• Masz prawidłowy token identyfikatora Entra firmy Microsoft reprezentujący podmiot zabezpieczeń do wywołania punktu końcowego. Ten podmiot zabezpieczeń może być jednostką użytkownika lub jednostką usługi. W każdym razie po wywołaniu punktu końcowego zadanie wdrożenia wsadowego jest tworzone w ramach tożsamości skojarzonej z tokenem. Na potrzeby testowania możesz użyć własnych poświadczeń do wywołania, jak wspomniano poniżej.

  Interfejs wiersza polecenia platformy Azure

  Użyj interfejsu wiersza polecenia platformy Azure, aby zalogować się przy użyciu uwierzytelniania kodu interakcyjnego lub urządzenia:

  az login
  

  Python

  Zaloguj się przy użyciu zestawu SDK usługi Azure Machine Edukacja dla języka Python:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient.from_config(DefaultAzureCredential())
  

  Jeśli działa poza usługą Azure Machine Edukacja compute, musisz określić obszar roboczy, w którym wdrożono punkt końcowy:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  subscription_id = "<subscription>"
  resource_group = "<resource-group>"
  workspace = "<workspace>"
  
  ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
  

  REST

  Najprostszym sposobem uzyskania prawidłowego tokenu dla konta użytkownika jest użycie interfejsu wiersza polecenia platformy Azure. W konsoli uruchom następujące polecenie:

  az account get-access-token --resource https://ml.azure.com --query "accessToken" --output tsv
  

  Napiwek

  Podczas pracy z architekturą REST zalecamy wywoływanie punktów końcowych wsadowych przy użyciu jednostki usługi. Zobacz Uruchamianie zadań przy użyciu jednostki usługi (REST), aby dowiedzieć się, jak uzyskać token dla jednostki usługi przy użyciu interfejsu REST.

  Aby dowiedzieć się więcej na temat uwierzytelniania przy użyciu wielu typów poświadczeń, przeczytaj Autoryzacja w punktach końcowych wsadowych.

• Klaster obliczeniowy, w którym wdrożony punkt końcowy ma dostęp do odczytywania danych wejściowych.

  Napiwek

  Jeśli używasz magazynu danych bez poświadczeń lub zewnętrznego konta usługi Azure Storage jako danych wejściowych, upewnij się, że skonfigurowaliśmy klastry obliczeniowe na potrzeby dostępu do danych. Tożsamość zarządzana klastra obliczeniowego jest używana do instalowania konta magazynu. Tożsamość zadania (invoker) jest nadal używana do odczytywania danych bazowych, co pozwala uzyskać szczegółową kontrolę dostępu.

Podstawy tworzenia zadań

Aby utworzyć zadanie na podstawie punktu końcowego wsadowego, musisz go wywołać. Wywołanie można wykonać przy użyciu interfejsu wiersza polecenia platformy Azure, zestawu AZURE Machine Edukacja SDK dla języka Python lub wywołania interfejsu API REST. W poniższych przykładach przedstawiono podstawy wywołania punktu końcowego wsadowego, który odbiera pojedynczy folder danych wejściowych na potrzeby przetwarzania. Zobacz Opis danych wejściowych i wyjściowych , aby zapoznać się z przykładami z różnymi danymi wejściowymi i wyjściowymi.

Interfejs wiersza polecenia platformy Azure

invoke Użyj operacji w obszarze punktów końcowych wsadowych:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Użyj metody MLClient.batch_endpoints.invoke() , aby określić nazwę eksperymentu:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

POST Prześlij żądanie do adresu URL wywołania punktu końcowego. Adres URL wywołania można uzyskać z witryny Azure Machine Edukacja Portal na stronie szczegółów punktu końcowego.

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Wywoływanie określonego wdrożenia

Punkty końcowe usługi Batch mogą hostować wiele wdrożeń w ramach tego samego punktu końcowego. Domyślny punkt końcowy jest używany, chyba że użytkownik określi inaczej. Wdrożenie, które jest używane, można zmienić w następujący sposób:

Interfejs wiersza polecenia platformy Azure

Użyj argumentu --deployment-name lub -d określ nazwę wdrożenia:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --deployment-name $DEPLOYMENT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Użyj parametru deployment_name , aby określić nazwę wdrożenia:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    deployment_name=deployment.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

Dodaj nagłówek azureml-model-deployment do żądania, w tym nazwę wdrożenia, które chcesz wywołać.

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
azureml-model-deployment: DEPLOYMENT_NAME

Konfigurowanie właściwości zadania

Niektóre właściwości utworzonego zadania można skonfigurować w czasie wywołania.

Uwaga

Konfigurowanie właściwości zadania jest dostępne tylko w punktach końcowych wsadowych z wdrożeniami składników potoku do chwili.

Konfigurowanie nazwy eksperymentu

Interfejs wiersza polecenia platformy Azure

Użyj argumentu --experiment-name , aby określić nazwę eksperymentu:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --experiment-name "my-batch-job-experiment" \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Użyj parametru experiment_name , aby określić nazwę eksperymentu:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    experiment_name="my-batch-job-experiment",
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"),
    }
)

REST

Użyj klucza experimentName w properties sekcji , aby wskazać nazwę eksperymentu:

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        },
        "properties":
        {
            "experimentName": "my-batch-job-experiment"
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Informacje o danych wejściowych i wyjściowych

Punkty końcowe usługi Batch zapewniają trwały interfejs API, którego użytkownicy mogą używać do tworzenia zadań wsadowych. Ten sam interfejs może służyć do określania danych wejściowych i danych wyjściowych, których oczekuje wdrożenie. Użyj danych wejściowych, aby przekazać wszelkie informacje potrzebne do wykonania zadania przez punkt końcowy.

Punkty końcowe usługi Batch obsługują dwa typy danych wejściowych:

• Dane wejściowe, które są wskaźnikiem do określonej lokalizacji magazynu lub zasobu usługi Azure Machine Edukacja.
• Dane wejściowe literału, które są wartościami literałów (takimi jak liczby lub ciągi), które mają zostać przekazane do zadania.

Liczba i typ danych wejściowych i wyjściowych zależą od typu wdrożenia wsadowego. Wdrożenia modelu zawsze wymagają jednego danych wejściowych i generują jedno dane wyjściowe. Dane wejściowe literału nie są obsługiwane. Jednak wdrożenia składników potoku zapewniają bardziej ogólną konstrukcję do tworzenia punktów końcowych i umożliwiają określenie dowolnej liczby danych wejściowych (danych i literałów) i danych wyjściowych.

Poniższa tabela zawiera podsumowanie danych wejściowych i wyjściowych dla wdrożeń wsadowych:

Typ wdrożenia	Liczba danych wejściowych	Obsługiwane typy danych wejściowych	Liczba danych wyjściowych	Obsługiwane typy danych wyjściowych
Wdrażanie modelu	1	Dane wejściowe danych	1	Dane wyjściowe
Wdrożenie składnika potoku	[0..N]	Dane wejściowe i dane wejściowe literału	[0..N]	Dane wyjściowe

Napiwek

Dane wejściowe i wyjściowe są zawsze nazwane. Te nazwy służą jako klucze, aby je zidentyfikować i przekazać rzeczywistą wartość podczas wywołania. W przypadku wdrożeń modelu, ponieważ zawsze wymagają jednego danych wejściowych i wyjściowych, nazwa jest ignorowana podczas wywołania. Możesz przypisać nazwę, która najlepiej opisuje przypadek użycia, na przykład "sales_estimation".

Dane wejściowe danych

Dane wejściowe odnoszą się do danych wejściowych, które wskazują lokalizację, w której są umieszczane dane. Ponieważ punkty końcowe wsadowe zwykle zużywają duże ilości danych, nie można przekazać danych wejściowych w ramach żądania wywołania. Zamiast tego należy określić lokalizację, w której powinien znajdować się punkt końcowy wsadowy, aby wyszukać dane. Dane wejściowe są instalowane i przesyłane strumieniowo na docelowym obiekcie obliczeniowym w celu zwiększenia wydajności.

Punkty końcowe usługi Batch obsługują odczytywanie plików znajdujących się w następujących opcjach magazynu:

• Usługa Azure Machine Edukacja zasoby danych, w tym folder (uri_folder) i plik (uri_file).
• Magazyny danych usługi Azure Machine Edukacja, w tym usługi Azure Blob Storage, Azure Data Lake Storage Gen1 i Azure Data Lake Storage Gen2.
• Konta usługi Azure Storage, w tym usługi Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 i Azure Blob Storage.
• Lokalne foldery danych/pliki (interfejs wiersza polecenia usługi Azure Machine Edukacja lub zestaw SDK usługi Azure Machine Edukacja dla języka Python). Jednak ta operacja powoduje przekazanie danych lokalnych do domyślnego magazynu danych usługi Azure Machine Edukacja magazynu danych obszaru roboczego, nad którym pracujesz.

Ważne

Powiadomienie o wycofaniu: Zestawy danych typu FileDataset (V1) są przestarzałe i zostaną wycofane w przyszłości. Istniejące punkty końcowe wsadowe korzystające z tej funkcji będą nadal działać, ale punkty końcowe partii utworzone za pomocą interfejsu API REST ogólnie dostępnej wersji CLIv2 (2.4.0 i nowszej) lub interfejsu API REST ga (2022-05-01 i nowsze) nie będą obsługiwać zestawu danych w wersji 1.

Dane wejściowe literału

Dane wejściowe literałów odnoszą się do danych wejściowych, które mogą być reprezentowane i rozwiązywane w czasie wywołania, takie jak ciągi, liczby i wartości logiczne. Zazwyczaj dane wejściowe literału są używane do przekazywania parametrów do punktu końcowego w ramach wdrożenia składnika potoku. Punkty końcowe usługi Batch obsługują następujące typy literałów:

• string
• boolean
• float
• integer

Dane wejściowe literału są obsługiwane tylko we wdrożeniach składników potoku. Zobacz Tworzenie zadań z danymi wejściowymi literału, aby dowiedzieć się, jak je określić.

Dane wyjściowe

Dane wyjściowe odnoszą się do lokalizacji, w której powinny zostać umieszczone wyniki zadania wsadowego. Dane wyjściowe są identyfikowane według nazwy, a usługa Azure Machine Edukacja automatycznie przypisuje unikatową ścieżkę do każdego nazwanego danych wyjściowych. Można jednak określić inną ścieżkę, jeśli jest to wymagane.

Ważne

Punkty końcowe usługi Batch obsługują tylko zapisywanie danych wyjściowych w magazynach danych usługi Azure Blob Storage. Jeśli musisz zapisać na koncie magazynu z włączonymi hierarchicznymi przestrzeniami nazw (znanymi również jako Azure Datalake Gen2 lub ADLS Gen2), zwróć uwagę, że taką usługę magazynu można zarejestrować jako magazyn danych usługi Azure Blob Storage, ponieważ usługi są w pełni zgodne. W ten sposób można zapisywać dane wyjściowe z punktów końcowych wsadowych do usługi ADLS Gen2.

Tworzenie zadań przy użyciu danych wejściowych

W poniższych przykładach pokazano, jak tworzyć zadania, pobierać dane wejściowe z zasobów danych, magazynów danych i kont usługi Azure Storage.

Dane wejściowe z zasobu danych

Zasoby danych usługi Azure Machine Edukacja (wcześniej znane jako zestawy danych) są obsługiwane jako dane wejściowe dla zadań. Wykonaj następujące kroki, aby uruchomić zadanie punktu końcowego wsadowego przy użyciu danych przechowywanych w zarejestrowanym zasobie danych w usłudze Azure Machine Edukacja:

Ostrzeżenie

Zasoby danych typu Tabela (MLTable) nie są obecnie obsługiwane.

1. Najpierw utwórz zasób danych. Ten zasób danych składa się z folderu z wieloma plikami CSV, które będą przetwarzane równolegle przy użyciu punktów końcowych wsadowych. Ten krok można pominąć, jeśli dane są już zarejestrowane jako zasób danych.

   Interfejs wiersza polecenia platformy Azure

   Utwórz definicję zasobu danych w pliku YAML:

   heart-dataset-unlabeled.yml

   $schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
   name: heart-dataset-unlabeled
   description: An unlabeled dataset for heart classification.
   type: uri_folder
   path: heart-classifier-mlflow/data
   

   Następnie utwórz zasób danych:

   az ml data create -f heart-dataset-unlabeled.yml
   

   Python

   data_path = "heart-classifier-mlflow/data"
   dataset_name = "heart-dataset-unlabeled"
   
   heart_dataset_unlabeled = Data(
       path=data_path,
       type=AssetTypes.URI_FOLDER,
       description="An unlabeled dataset for heart classification",
       name=dataset_name,
   )
   

   Utwórz zasób danych:

   ml_client.data.create_or_update(heart_dataset_unlabeled)
   

   Aby uzyskać nowo utworzony zasób danych, użyj:

   heart_dataset_unlabeled = ml_client.data.get(name=dataset_name, label="latest")
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Edukacja, zestawu AZURE Machine Edukacja SDK dla języka Python lub narzędzia Azure Machine Edukacja Studio, aby uzyskać lokalizację (region), obszar roboczy i nazwę zasobu danych oraz wersję. Będą one potrzebne później.

2. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   DATASET_ID=$(az ml data show -n heart-dataset-unlabeled --label latest | jq -r .id)
   

   Python

   input = Input(path=heart_dataset_unlabeled.id)
   

   REST

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml://locations/<location>/workspaces/<workspace>/data/<dataset_name>/versions/labels/latest"
               }
           }
       }
   }
   

   Uwaga

   Identyfikator zasobów danych wygląda następująco: /subscriptions/<subscription>/resourcegroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/data/<data-asset>/versions/<version>. Można również użyć azureml:/<datasset_name>@latest jako sposobu określania danych wejściowych.

3. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$DATASET_ID
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input w celu określenia danych wejściowych, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $DATASET_ID
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj polecenia --file , aby określić dane wejściowe potrzebne do wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset: azureml:/<datasset_name>@latest
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Python

   Napiwek

   Jaka jest różnica między inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego partii zawierającego wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke , używając polecenia inputs , aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj polecenia input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Dane wejściowe z magazynów danych

Dane z usługi Azure Machine Edukacja zarejestrowanych magazynów danych można bezpośrednio odwoływać się do zadań wdrożeń wsadowych. W tym przykładzie najpierw przekażesz dane do domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Edukacja, a następnie uruchomisz wdrożenie wsadowe. Wykonaj następujące kroki, aby uruchomić zadanie punktu końcowego wsadowego przy użyciu danych przechowywanych w magazynie danych.

1. Uzyskaj dostęp do domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Edukacja. Jeśli dane są w innym magazynie, możesz zamiast tego użyć tego magazynu. Nie musisz używać domyślnego magazynu danych.

   Interfejs wiersza polecenia platformy Azure

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Uwaga

   Identyfikator magazynów danych będzie wyglądać następująco: /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Edukacja, zestawu AZURE Machine Edukacja SDK dla języka Python lub programu Studio, aby uzyskać informacje o magazynie danych.

   Napiwek

   Domyślny magazyn danych obiektów blob w obszarze roboczym nosi nazwę workspaceblobstore. Ten krok można pominąć, jeśli znasz już identyfikator zasobu domyślnego magazynu danych w obszarze roboczym.

2. Musisz przekazać przykładowe dane do magazynu danych. W tym przykładzie przyjęto założenie, że przykładowe dane zawarte w repozytorium zostały już przekazane w folderze w folderze sdk/python/endpoints/batch/deploy-models/heart-classifier-mlflow/dataheart-disease-uci-unlabeled na koncie magazynu obiektów blob. Przed przejściem do przodu upewnij się, że zostało to zrobione.

3. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   Umieść ścieżkę pliku w następującej zmiennej:

   DATA_PATH="heart-disease-uci-unlabeled"
   INPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Python

   data_path = "heart-disease-uci-unlabeled"
   input = Input(type=AssetTypes.URI_FOLDER, path=f"{default_ds.id}/paths/{data_path})
   

   Jeśli dane są plikiem, zmień wartość type=AssetTypes.URI_FILE.

   REST

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   

   Jeśli dane są plikiem, użyj go UriFile jako typu.

   Uwaga

   Zobacz, jak ścieżka paths jest dołączana do identyfikatora zasobu magazynu danych, aby wskazać, że poniżej znajduje się ścieżka w nim.

   Napiwek

   Można również użyć azureml://datastores/<data-store>/paths/<data-path> jako sposobu określania danych wejściowych.

4. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_PATH
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input w celu określenia danych wejściowych, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_PATH --input-type uri_folder
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj polecenia --file , aby określić dane wejściowe potrzebne do wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: azureml://datastores/<data-store>/paths/<data-path>
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jeśli dane są plikiem, użyj go uri_file jako typu.

   Python

   Napiwek

   Jaka jest różnica między inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego partii zawierającego wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke , używając polecenia inputs , aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj polecenia input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Dane wejściowe z kont usługi Azure Storage

Punkty końcowe usługi Azure Machine Edukacja batch mogą odczytywać dane z lokalizacji w chmurze na kontach usługi Azure Storage, zarówno publicznych, jak i prywatnych. Wykonaj następujące kroki, aby uruchomić zadanie punktu końcowego wsadowego przy użyciu danych przechowywanych na koncie magazynu:

Uwaga

Zapoznaj się z sekcją Konfigurowanie klastrów obliczeniowych na potrzeby dostępu do danych, aby dowiedzieć się więcej o dodatkowej konfiguracji wymaganej do pomyślnego odczytu danych z magazynu accoutns.

1. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Jeśli dane są plikiem:

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   

   Python

   input = Input(
       type=AssetTypes.URI_FOLDER, 
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   )
   

   Jeśli dane są plikiem, zmień wartość type=AssetTypes.URI_FILE:

   input = Input(
       type=AssetTypes.URI_FILE,
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   )
   

   REST

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
               }
           }
       }
   }
   

   Jeśli dane są plikiem, zmień wartość JobInputType:

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFile",
                   "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
               }
           }
       }
   }
   

2. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_DATA
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input w celu określenia danych wejściowych, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_DATA --input-type uri_folder
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj polecenia --file , aby określić dane wejściowe potrzebne do wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jeśli dane są plikiem, użyj go uri_file jako typu.

   Python

   Napiwek

   Jaka jest różnica między inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego partii zawierającego wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke , używając polecenia inputs , aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj polecenia input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Tworzenie zadań z danymi wejściowymi literału

Wdrożenia składników potoku mogą przyjmować dane wejściowe literału. W poniższym przykładzie pokazano, jak określić dane wejściowe o nazwie score_mode, typu string, z wartością append:

Interfejs wiersza polecenia platformy Azure

Umieść dane wejściowe w YAML pliku i użyj polecenia --file , aby określić wymagane dane wejściowe dla wywołania punktu końcowego.

inputs.yml

inputs:
  score_mode:
    type: string
    default: append

az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml

Możesz również użyć argumentu --set , aby określić wartość. Jednak zwykle generuje długie polecenia, gdy określono wiele danych wejściowych:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
    --set inputs.score_mode.type="string" inputs.score_mode.default="append"

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
    inputs = { 
        'score_mode': Input(type="string", default="append")
        }
)

REST

Treść

{
    "properties": {
        "InputData": {
            "score_mode": {
                "JobInputType" : "Literal",
                "Value": "append"
            }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Tworzenie zadań przy użyciu danych wyjściowych

W poniższym przykładzie pokazano, jak zmienić lokalizację, w której znajduje się dane wyjściowe o nazwie score . Na potrzeby kompletności te przykłady umożliwiają również skonfigurowanie danych wejściowych o nazwie heart_dataset.

1. Użyj domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Edukacja, aby zapisać dane wyjściowe. Możesz użyć dowolnego innego magazynu danych w obszarze roboczym, o ile jest to konto magazynu obiektów blob.

   Interfejs wiersza polecenia platformy Azure

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Uwaga

   Identyfikator magazynów danych będzie wyglądać następująco: /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Edukacja, zestawu AZURE Machine Edukacja SDK dla języka Python lub programu Studio, aby uzyskać informacje o magazynie danych.

2. Tworzenie danych wyjściowych:

   Interfejs wiersza polecenia platformy Azure

   DATA_PATH="batch-jobs/my-unique-path"
   OUTPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Aby uzyskać pełne informacje, utwórz również dane wejściowe:

   INPUT_PATH="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Python

   data_path = "batch-jobs/my-unique-path"
   output = Output(type=AssetTypes.URI_FOLDER, path=f"{default_ds.id}/paths/{data_path})
   

   Aby uzyskać kompletność, utwórzmy również dane wejściowe:

   input="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   REST

   Treść

   {
       "properties": {
           "InputData": {
              "heart_dataset": {
                  "JobInputType" : "UriFolder",
                  "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
              }
           },
           "OutputData": {
               "score": {
                   "JobOutputType" : "UriFile",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   

   Uwaga

   Zobacz, jak ścieżka paths jest dołączana do identyfikatora zasobu magazynu danych, aby wskazać, że poniżej znajduje się ścieżka w nim.

3. Uruchom wdrożenie:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu --set , aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.path=$INPUT_PATH \
       --set outputs.score.path=$OUTPUT_PATH
   

   Python

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      inputs={ "heart_dataset": input },
      outputs={ "score": output }
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Następne kroki

• Rozwiązywanie problemów z punktami końcowymi wsadowymi.
• Dostosowywanie danych wyjściowych we wdrożeniach modeli wsadowych.
• Utwórz niestandardowy potok oceniania z danymi wejściowymi i wyjściowymi.
• Wywoływanie punktów końcowych wsadowych z usługi Azure Data Factory.