Tworzenie zadań i danych wejściowych dla punktów końcowych wsadowych

Punkty końcowe usługi Batch umożliwiają wykonywanie długich operacji wsadowych na dużych ilościach danych. Dane mogą znajdować się w różnych miejscach, takich jak w różnych regionach. Niektóre typy punktów końcowych wsadowych mogą również odbierać parametry literału jako dane wejściowe.

W tym artykule opisano sposób określania danych wejściowych parametrów dla punktów końcowych wsadowych i tworzenia zadań wdrażania. Proces obsługuje pracę z różnymi typami danych. Aby zapoznać się z niektórymi przykładami, zobacz Omówienie danych wejściowych i wyjściowych.

Wymagania wstępne

Aby pomyślnie wywołać punkt końcowy wsadowy i utworzyć zadania, upewnij się, że zostały spełnione następujące wymagania wstępne:

• Punkt końcowy i wdrożenie wsadowe. Jeśli nie masz tych zasobów, zobacz Wdrażanie modeli oceniania w punktach końcowych wsadowych , aby utworzyć wdrożenie.

• Uprawnienia do uruchamiania wdrożenia punktu końcowego wsadowego. Role usługi AzureML badacze dancyh, Współautor i Właściciel mogą służyć do uruchamiania wdrożenia. Aby zapoznać się z definicjami ról niestandardowych, zobacz Autoryzacja w punktach końcowych wsadowych , aby przejrzeć określone wymagane uprawnienia.

• Prawidłowy token identyfikatora Entra firmy Microsoft reprezentujący podmiot zabezpieczeń w celu wywołania punktu końcowego. Ten podmiot zabezpieczeń może być jednostką użytkownika lub jednostką usługi. Po wywołaniu punktu końcowego usługa Azure Machine Learning tworzy zadanie wdrożenia wsadowego w ramach tożsamości skojarzonej z tokenem. Możesz użyć własnych poświadczeń do wywołania, zgodnie z opisem w poniższych procedurach.

  Interfejs wiersza polecenia platformy Azure

  Użyj interfejsu wiersza polecenia platformy Azure, aby zalogować się przy użyciu uwierzytelniania kodu interakcyjnego lub urządzenia :

  az login
  

  Python

  Zaloguj się przy użyciu zestawu AZURE Machine Learning SDK dla języka Python:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient.from_config(DefaultAzureCredential())
  

  Jeśli konfiguracja działa poza obliczeniami usługi Azure Machine Learning, musisz określić obszar roboczy, w którym wdrożono punkt końcowy:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  subscription_id = "<subscription>"
  resource_group = "<resource-group>"
  workspace = "<workspace>"
  
  ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
  

  REST

  Najprostszym sposobem uzyskania prawidłowego tokenu dla konta użytkownika jest użycie interfejsu wiersza polecenia platformy Azure. W konsoli uruchom następujące polecenie interfejsu wiersza polecenia platformy Azure:

  az account get-access-token --resource https://ml.azure.com --query "accessToken" --output tsv
  

  Napiwek

  Podczas pracy z architekturą REST zalecamy wywoływanie punktów końcowych wsadowych przy użyciu jednostki usługi. Aby uzyskać więcej informacji, zobacz Uruchamianie zadań przy użyciu jednostki usługi (REST), aby dowiedzieć się, jak uzyskać token dla jednostki usługi z interfejsem REST.

  Aby dowiedzieć się więcej na temat uruchamiania zadań wdrażania wsadowego przy użyciu różnych typów poświadczeń, zobacz Jak uruchamiać zadania przy użyciu różnych typów poświadczeń.

• Klaster obliczeniowy, w którym wdrożony punkt końcowy ma dostęp do odczytywania danych wejściowych.

  Napiwek

  Jeśli używasz magazynu danych bez poświadczeń lub zewnętrznego konta usługi Azure Storage jako danych wejściowych, upewnij się, że skonfigurowaliśmy klastry obliczeniowe na potrzeby dostępu do danych. Tożsamość zarządzana klastra obliczeniowego jest używana do instalowania konta magazynu. Tożsamość zadania (invoker) jest nadal używana do odczytywania danych bazowych, co pozwala uzyskać szczegółową kontrolę dostępu.

Podstawy tworzenia zadań

Aby utworzyć zadanie na podstawie punktu końcowego wsadowego, należy wywołać punkt końcowy. Wywołanie można wykonać przy użyciu interfejsu wiersza polecenia platformy Azure, zestawu AZURE Machine Learning SDK dla języka Python lub wywołania interfejsu API REST. W poniższych przykładach przedstawiono podstawy wywołania punktu końcowego wsadowego, który odbiera pojedynczy folder danych wejściowych na potrzeby przetwarzania. Przykłady z różnymi danymi wejściowymi i wyjściowymi można znaleźć w temacie Understand inputs and outputs (Omówienie danych wejściowych i wyjściowych).

Interfejs wiersza polecenia platformy Azure

invoke Użyj operacji w obszarze punktów końcowych wsadowych:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

MLClient.batch_endpoints.invoke() Użyj metody , aby określić nazwę eksperymentu:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

POST Prześlij żądanie do adresu URL wywołania punktu końcowego. Adres URL wywołania można uzyskać z portalu Azure Machine Learning na stronie szczegółów punktu końcowego.

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Wywoływanie określonego wdrożenia

Punkty końcowe usługi Batch mogą hostować wiele wdrożeń w ramach tego samego punktu końcowego. Domyślny punkt końcowy jest używany, chyba że użytkownik określi inaczej. Wdrożenie można zmienić tak, aby było używane z następującymi procedurami.

Interfejs wiersza polecenia platformy Azure

Użyj argumentu --deployment-name lub -d określ nazwę wdrożenia:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --deployment-name $DEPLOYMENT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Użyj parametru deployment_name , aby określić nazwę wdrożenia:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    deployment_name=deployment.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

Dodaj nagłówek azureml-model-deployment do żądania, w tym nazwę wdrożenia, które chcesz wywołać:

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
azureml-model-deployment: DEPLOYMENT_NAME

Konfigurowanie właściwości zadania

Niektóre właściwości utworzonego zadania można skonfigurować w czasie wywołania.

Uwaga

Możliwość konfigurowania właściwości zadania jest obecnie dostępna tylko w punktach końcowych wsadowych z wdrożeniami składników potoku.

Konfigurowanie nazwy eksperymentu

Aby skonfigurować nazwę eksperymentu, użyj poniższych procedur.

Interfejs wiersza polecenia platformy Azure

Użyj argumentu --experiment-name , aby określić nazwę eksperymentu:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --experiment-name "my-batch-job-experiment" \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Użyj parametru experiment_name , aby określić nazwę eksperymentu:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    experiment_name="my-batch-job-experiment",
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"),
    }
)

REST

Wskaż nazwę eksperymentu experimentName przy użyciu klucza w properties sekcji:

Treść

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        },
        "properties":
        {
            "experimentName": "my-batch-job-experiment"
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Informacje o danych wejściowych i wyjściowych

Punkty końcowe usługi Batch zapewniają trwały interfejs API, którego użytkownicy mogą używać do tworzenia zadań wsadowych. Ten sam interfejs może służyć do określania danych wejściowych i wyjściowych, których oczekuje wdrożenie. Użyj danych wejściowych, aby przekazać wszelkie informacje potrzebne do wykonania zadania przez punkt końcowy.

Punkty końcowe usługi Batch obsługują dwa typy danych wejściowych:

• Dane wejściowe: wskaźniki do określonej lokalizacji magazynu lub zasobu usługi Azure Machine Learning.
• Dane wejściowe literału: wartości literału, takie jak liczby lub ciągi, które chcesz przekazać do zadania.

Liczba i typ danych wejściowych i wyjściowych zależą od typu wdrożenia wsadowego. Wdrożenia modelu zawsze wymagają jednego danych wejściowych i generują jedno dane wyjściowe. Dane wejściowe literału nie są obsługiwane. Jednak wdrożenia składników potoku zapewniają bardziej ogólną konstrukcję do tworzenia punktów końcowych i umożliwiają określenie dowolnej liczby danych wejściowych (danych i literałów) i danych wyjściowych.

Poniższa tabela zawiera podsumowanie danych wejściowych i wyjściowych dla wdrożeń wsadowych:

Typ wdrożenia	Liczba danych wejściowych	Obsługiwane typy danych wejściowych	Liczba danych wyjściowych	Obsługiwane typy danych wyjściowych
Wdrażanie modelu	1	Dane wejściowe danych	1	Dane wyjściowe
Wdrożenie składnika potoku	[0..N]	Dane wejściowe i dane wejściowe literału	[0..N]	Dane wyjściowe

Napiwek

Dane wejściowe i wyjściowe są zawsze nazwane. Nazwy służą jako klucze do identyfikowania danych i przekazywania rzeczywistej wartości podczas wywołania. Ponieważ wdrożenia modelu zawsze wymagają jednego danych wejściowych i wyjściowych, nazwa jest ignorowana podczas wywołania. Możesz przypisać nazwę, która najlepiej opisuje przypadek użycia, taki jak "sales_estimation".

Eksplorowanie danych wejściowych

Dane wejściowe odnoszą się do danych wejściowych, które wskazują lokalizację, w której są umieszczane dane. Ponieważ punkty końcowe wsadowe zwykle zużywają duże ilości danych, nie można przekazać danych wejściowych w ramach żądania wywołania. Zamiast tego należy określić lokalizację, w której powinien znajdować się punkt końcowy wsadowy, aby wyszukać dane. Dane wejściowe są instalowane i przesyłane strumieniowo na docelowym obiekcie obliczeniowym w celu zwiększenia wydajności.

Punkty końcowe usługi Batch obsługują odczytywanie plików znajdujących się w następujących opcjach magazynu:

• Zasoby danych usługi Azure Machine Learning, w tym folder (uri_folder) i plik (uri_file).
• Magazyny danych usługi Azure Machine Learning, w tym usługi Azure Blob Storage, Azure Data Lake Storage Gen1 i Azure Data Lake Storage Gen2.
• Konta usługi Azure Storage, w tym usługi Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 i Azure Blob Storage.
• Lokalne foldery danych/pliki (interfejs wiersza polecenia usługi Azure Machine Learning lub zestaw Azure Machine Learning SDK dla języka Python). Jednak ta operacja powoduje przekazanie danych lokalnych do domyślnego magazynu danych usługi Azure Machine Learning obszaru roboczego, nad którym pracujesz.

Ważne

Powiadomienie o wycofaniu: Zestawy danych typu FileDataset (V1) są przestarzałe i zostaną wycofane w przyszłości. Istniejące punkty końcowe wsadowe korzystające z tej funkcji będą nadal działać. Punkty końcowe usługi Batch utworzone przy użyciu ogólnie dostępnej wersji CLIv2 (2.4.0 i nowszej) lub interfejsu API REST ga (2022-05-01 i nowsze) nie będą obsługiwać zestawu danych w wersji 1.

Eksplorowanie danych wejściowych literału

Dane wejściowe literałów odnoszą się do danych wejściowych, które mogą być reprezentowane i rozwiązywane w czasie wywołania, takie jak ciągi, liczby i wartości logiczne. Zazwyczaj dane wejściowe literału są używane do przekazywania parametrów do punktu końcowego w ramach wdrożenia składnika potoku. Punkty końcowe usługi Batch obsługują następujące typy literałów:

• string
• boolean
• float
• integer

Dane wejściowe literału są obsługiwane tylko we wdrożeniach składników potoku. Zobacz Tworzenie zadań z danymi wejściowymi literału, aby dowiedzieć się, jak je określić.

Eksplorowanie danych wyjściowych

Dane wyjściowe odnoszą się do lokalizacji, w której powinny zostać umieszczone wyniki zadania wsadowego. Każde dane wyjściowe mają rozpoznawalną nazwę, a usługa Azure Machine Learning automatycznie przypisuje unikatową ścieżkę do poszczególnych nazwanych danych wyjściowych. Możesz określić inną ścieżkę zgodnie z potrzebami.

Ważne

Punkty końcowe usługi Batch obsługują tylko zapisywanie danych wyjściowych w magazynach danych usługi Azure Blob Storage. Jeśli musisz zapisać na koncie magazynu z włączonymi hierarchicznymi przestrzeniami nazw (znanymi również jako Azure Datalake Gen2 lub ADLS Gen2), możesz zarejestrować usługę magazynu jako magazyn danych usługi Azure Blob Storage, ponieważ usługi są w pełni zgodne. W ten sposób można zapisywać dane wyjściowe z punktów końcowych wsadowych do usługi ADLS Gen2.

Tworzenie zadań przy użyciu danych wejściowych

W poniższych przykładach pokazano, jak tworzyć zadania, pobierać dane wejściowe z zasobów danych, magazynów danych i kont usługi Azure Storage.

Używanie danych wejściowych z zasobu danych

Zasoby danych usługi Azure Machine Learning (wcześniej znane jako zestawy danych) są obsługiwane jako dane wejściowe dla zadań. Wykonaj następujące kroki, aby uruchomić zadanie punktu końcowego wsadowego przy użyciu danych przechowywanych w zarejestrowanym zasobie danych w usłudze Azure Machine Learning.

Ostrzeżenie

Zasoby danych typu Tabela (MLTable) nie są obecnie obsługiwane.

1. Najpierw utwórz zasób danych. Ten zasób danych składa się z folderu z wieloma plikami CSV, które są przetwarzane równolegle przy użyciu punktów końcowych wsadowych. Ten krok można pominąć, jeśli dane są już zarejestrowane jako zasób danych.

   Interfejs wiersza polecenia platformy Azure

   Utwórz definicję zasobu danych w pliku YAML:

   heart-dataset-unlabeled.yml

   $schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
   name: heart-dataset-unlabeled
   description: An unlabeled dataset for heart classification.
   type: uri_folder
   path: heart-classifier-mlflow/data
   

   Następnie utwórz zasób danych:

   az ml data create -f heart-dataset-unlabeled.yml
   

   Python

   Utwórz definicję zasobu danych:

   data_path = "heart-classifier-mlflow/data"
   dataset_name = "heart-dataset-unlabeled"
   
   heart_dataset_unlabeled = Data(
       path=data_path,
       type=AssetTypes.URI_FOLDER,
       description="An unlabeled dataset for heart classification",
       name=dataset_name,
   )
   

   Utwórz zasób danych:

   ml_client.data.create_or_update(heart_dataset_unlabeled)
   

   Aby uzyskać nowo utworzony zasób danych, użyj następującego polecenia:

   heart_dataset_unlabeled = ml_client.data.get(name=dataset_name, label="latest")
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Learning, zestawu SDK usługi Azure Machine Learning dla języka Python lub usługi Azure Machine Learning Studio, aby uzyskać lokalizację (region), obszar roboczy oraz nazwę i wersję zasobu danych. Te elementy są potrzebne do późniejszych procedur.

2. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   DATASET_ID=$(az ml data show -n heart-dataset-unlabeled --label latest | jq -r .id)
   

   Python

   input = Input(path=heart_dataset_unlabeled.id)
   

   REST

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml://locations/<location>/workspaces/<workspace>/data/<dataset_name>/versions/labels/latest"
               }
           }
       }
   }
   

   Identyfikator zasobów danych wygląda następująco: /subscriptions/<subscription>/resourcegroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/data/<data-asset>/versions/<version>. Możesz również użyć azureml:<datasset_name>@latest formatu , aby określić dane wejściowe.

3. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$DATASET_ID
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input , aby określić dane wejściowe, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $DATASET_ID
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj argumentu --file , aby określić wymagane dane wejściowe dla wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset: azureml:/<datasset_name>@latest
   

   Uruchom następujące polecenie:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Python

   Napiwek

   Jaka jest różnica między parametrem inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć parametru słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego wsadowego, który zawiera wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć parametru input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia. Takie podejście działa, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke przy użyciu parametru , inputs aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj parametru input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Używanie danych wejściowych z magazynów danych

Możesz bezpośrednio odwoływać się do danych z zarejestrowanych magazynów danych usługi Azure Machine Learning z zadaniami wdrożeń wsadowych. W tym przykładzie najpierw przekażesz dane do domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Learning, a następnie uruchomisz wdrożenie wsadowe. Wykonaj następujące kroki, aby uruchomić zadanie punktu końcowego wsadowego przy użyciu danych przechowywanych w magazynie danych.

1. Uzyskaj dostęp do domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Learning. Jeśli dane są w innym magazynie, możesz zamiast tego użyć tego magazynu. Nie musisz używać domyślnego magazynu danych.

   Interfejs wiersza polecenia platformy Azure

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Identyfikator magazynów danych wygląda następująco: /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Learning, zestawu Azure Machine Learning SDK dla języka Python lub studio, aby uzyskać informacje o magazynie danych.

   Napiwek

   Domyślny magazyn danych obiektów blob w obszarze roboczym nosi nazwę workspaceblobstore. Ten krok można pominąć, jeśli znasz już identyfikator zasobu domyślnego magazynu danych w obszarze roboczym.

2. Przekaż przykładowe dane do magazynu danych.

   W tym przykładzie przyjęto założenie, że przykładowe dane zawarte w repozytorium zostały już przekazane w folderze w folderze sdk/python/endpoints/batch/deploy-models/heart-classifier-mlflow/data heart-disease-uci-unlabeled na koncie usługi Blob Storage. Pamiętaj, aby wykonać ten krok przed kontynuowaniem.

3. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   Umieść ścieżkę pliku w zmiennej INPUT_PATH :

   DATA_PATH="heart-disease-uci-unlabeled"
   INPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Python

   Umieść ścieżkę pliku w zmiennej input :

   data_path = "heart-disease-uci-unlabeled"
   input = Input(type=AssetTypes.URI_FOLDER, path=f"{default_ds.id}/paths/{data_path})
   

   Jeśli dane są plikiem, zmień typ danych wejściowych na type=AssetTypes.URI_FILE.

   REST

   Treść

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   
   

   Jeśli dane są plikiem, zamiast tego użyj UriFile typu danych wejściowych.

   Zwróć uwagę, że zmienna paths dla ścieżki jest dołączana do identyfikatora zasobu magazynu danych. Ten format wskazuje, że następująca wartość jest ścieżką.

   Napiwek

   Możesz również użyć formatu azureml://datastores/<data-store>/paths/<data-path> , aby określić dane wejściowe.

4. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_PATH
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input , aby określić dane wejściowe, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_PATH --input-type uri_folder
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj argumentu --file , aby określić wymagane dane wejściowe dla wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: azureml://datastores/<data-store>/paths/<data-path>
   

   Uruchom następujące polecenie:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jeśli dane są plikiem, zamiast tego użyj uri_file typu danych wejściowych.

   Python

   Napiwek

   Jaka jest różnica między parametrem inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć parametru słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego wsadowego, który zawiera wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć parametru input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia. Takie podejście działa, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke przy użyciu parametru , inputs aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj parametru input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Używanie danych wejściowych z kont usługi Azure Storage

Punkty końcowe usługi Azure Machine Learning wsadowe mogą odczytywać dane z lokalizacji w chmurze na kontach usługi Azure Storage, zarówno publicznych, jak i prywatnych. Wykonaj poniższe kroki, aby uruchomić zadanie punktu końcowego wsadowego z danymi przechowywanymi na koncie magazynu.

Aby dowiedzieć się więcej o dodatkowej wymaganej konfiguracji odczytu danych z kont magazynu, zobacz Konfigurowanie klastrów obliczeniowych na potrzeby dostępu do danych.

1. Utwórz dane wejściowe lub żądanie:

   Interfejs wiersza polecenia platformy Azure

   Ustaw zmienną INPUT_DATA :

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Jeśli dane są plikiem, ustaw zmienną w następującym formacie:

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   

   Python

   Ustaw zmienną input :

   input = Input(
       type=AssetTypes.URI_FOLDER, 
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   )
   

   Jeśli dane są plikiem, zmień typ danych wejściowych na type=AssetTypes.URI_FILE:

   input = Input(
       type=AssetTypes.URI_FILE,
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   )
   

   REST

   Treść

   {
      "properties": {
          "InputData": {
              "heart_dataset": {
                  "JobInputType" : "UriFolder",
                  "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
              }
          }
      }
   }
   

   Jeśli dane są plikiem, zmień typ danych wejściowych na JobInputType:

   Treść

   {
      "properties": {
          "InputData": {
              "heart_dataset": {
                  "JobInputType" : "UriFile",
                  "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
              }
          }
      }
   }
   

2. Uruchom punkt końcowy:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_DATA
   

   W przypadku punktu końcowego obsługującego wdrożenie modelu można użyć argumentu --input , aby określić dane wejściowe, ponieważ wdrożenie modelu zawsze wymaga tylko jednego danych wejściowych.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_DATA --input-type uri_folder
   

   Argument --set ma tendencję do tworzenia długich poleceń, gdy określono wiele danych wejściowych. W takich przypadkach umieść dane wejściowe w YAML pliku i użyj argumentu --file , aby określić wymagane dane wejściowe dla wywołania punktu końcowego.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data
   

   Uruchom następujące polecenie:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jeśli dane są plikiem, zamiast tego użyj uri_file typu danych wejściowych.

   Python

   Napiwek

   Jaka jest różnica między parametrem inputs i input podczas wywoływania punktu końcowego?

   Ogólnie rzecz biorąc, można użyć parametru słownika inputs = {} z invoke metodą , aby podać dowolną liczbę wymaganych danych wejściowych do punktu końcowego wsadowego, który zawiera wdrożenie modelu lub wdrożenie potoku.

   W przypadku wdrożenia modelu można użyć parametru input jako krótszego sposobu określania lokalizacji danych wejściowych dla wdrożenia. Takie podejście działa, ponieważ wdrożenie modelu zawsze przyjmuje tylko jedno dane wejściowe.

   Wywołaj metodę invoke przy użyciu parametru , inputs aby określić wymagane dane wejściowe:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Aby uprościć invoke wywołanie wdrożenia modelu, użyj parametru input , aby określić lokalizację danych wejściowych:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Tworzenie zadań z danymi wejściowymi literału

Wdrożenia składników potoku mogą przyjmować dane wejściowe literału. W poniższym przykładzie pokazano, jak określić dane wejściowe o nazwie score_mode, typu string, z wartością append:

Interfejs wiersza polecenia platformy Azure

Umieść dane wejściowe w YAML pliku i użyj polecenia --file , aby określić wymagane dane wejściowe dla wywołania punktu końcowego.

inputs.yml

inputs:
  score_mode:
    type: string
    default: append

Uruchom następujące polecenie:

az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml

Możesz również użyć argumentu --set , aby określić wartość. Jednak takie podejście zwykle tworzy długie polecenia, gdy określono wiele danych wejściowych:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
    --set inputs.score_mode.type="string" inputs.score_mode.default="append"

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
    inputs = { 
        'score_mode': Input(type="string", default="append")
        }
)

REST

Treść

{
    "properties": {
        "InputData": {
            "score_mode": {
                "JobInputType" : "Literal",
                "Value": "append"
            }
        }
    }
}

Zażądaj

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Tworzenie zadań przy użyciu danych wyjściowych

W poniższym przykładzie pokazano, jak zmienić lokalizację, w której znajduje się dane wyjściowe o nazwie score . Na potrzeby kompletności te przykłady umożliwiają również skonfigurowanie danych wejściowych o nazwie heart_dataset.

1. Zapisz dane wyjściowe przy użyciu domyślnego magazynu danych w obszarze roboczym usługi Azure Machine Learning. Możesz użyć dowolnego innego magazynu danych w obszarze roboczym, o ile jest to konto usługi Blob Storage.

   Interfejs wiersza polecenia platformy Azure

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Identyfikator magazynów danych wygląda następująco: /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Użyj interfejsu wiersza polecenia usługi Azure Machine Learning, zestawu Azure Machine Learning SDK dla języka Python lub studio, aby uzyskać informacje o magazynie danych.

2. Tworzenie danych wyjściowych:

   Interfejs wiersza polecenia platformy Azure

   Ustaw zmienną OUTPUT_PATH :

   DATA_PATH="batch-jobs/my-unique-path"
   OUTPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Aby uzyskać pełne informacje, utwórz również dane wejściowe:

   INPUT_PATH="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Python

   Ustaw zmienną ścieżki output :

   data_path = "batch-jobs/my-unique-path"
   output = Output(type=AssetTypes.URI_FILE, path=f"{default_ds.id}/paths/{data_path})
   

   Aby uzyskać kompletność, utwórzmy również dane wejściowe:

   input="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   REST

   Treść

   {
       "properties": {
           "InputData": {
              "heart_dataset": {
                  "JobInputType" : "UriFolder",
                  "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
              }
           },
           "OutputData": {
               "score": {
                   "JobOutputType" : "UriFile",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   

   Uwaga

   Zwróć uwagę, że zmienna paths dla ścieżki jest dołączana do identyfikatora zasobu magazynu danych. Ten format wskazuje, że następująca wartość jest ścieżką.

3. Uruchom wdrożenie:

   Interfejs wiersza polecenia platformy Azure

   Użyj argumentu , --set aby określić dane wejściowe:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.path=$INPUT_PATH \
       --set outputs.score.path=$OUTPUT_PATH
   

   Python

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      inputs={ "heart_dataset": input },
      outputs={ "score": output }
   )
   

   REST

   Zażądaj

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Powiązana zawartość

• Dostosowywanie danych wyjściowych we wdrożeniach wsadowych wdrożeń modelu
• Tworzenie niestandardowego potoku oceniania z danymi wejściowymi i wyjściowymi
• Wywoływanie punktów końcowych wsadowych z usługi Azure Data Factory