Membuat pekerjaan dan memasukkan data untuk titik akhir batch

Titik akhir batch dapat digunakan untuk melakukan operasi batch panjang atas data dalam jumlah besar. Data tersebut dapat ditempatkan di tempat yang berbeda. Beberapa jenis titik akhir batch juga dapat menerima parameter harfiah sebagai input. Dalam tutorial ini kita akan membahas bagaimana Anda dapat menentukan input tersebut, dan berbagai jenis atau lokasi yang didukung.

Sebelum memanggil titik akhir

Agar berhasil memanggil titik akhir batch dan membuat pekerjaan, pastikan Anda memiliki hal berikut:

• Anda memiliki izin untuk menjalankan penyebaran titik akhir batch. Peran Ilmuwan, Kontributor, dan Pemilik Data AzureML dapat digunakan untuk menjalankan penyebaran. Untuk definisi peran kustom, baca Otorisasi pada titik akhir batch untuk mengetahui izin tertentu yang diperlukan.

• Anda memiliki token ID Microsoft Entra yang valid yang mewakili perwakilan keamanan untuk memanggil titik akhir. Perwakilan ini dapat menjadi prinsipal pengguna atau perwakilan layanan. Bagaimanapun, setelah titik akhir dipanggil, pekerjaan penyebaran batch dibuat di bawah identitas yang terkait dengan token. Untuk tujuan pengujian, Anda dapat menggunakan kredensial Anda sendiri untuk pemanggilan seperti yang disebutkan di bawah ini.

  Azure CLI

  Gunakan Azure CLI untuk masuk menggunakan autentikasi kode interaktif atau perangkat:

  az login
  

  Python

  Gunakan Azure Pembelajaran Mesin SDK untuk Python untuk masuk:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient.from_config(DefaultAzureCredential())
  

  Jika berjalan di luar komputasi Azure Pembelajaran Mesin, Anda perlu menentukan ruang kerja tempat titik akhir disebarkan:

  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  subscription_id = "<subscription>"
  resource_group = "<resource-group>"
  workspace = "<workspace>"
  
  ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
  

  REST

  Cara paling sederhana untuk mendapatkan token yang valid untuk akun pengguna Anda adalah dengan menggunakan Azure CLI. Di konsol, jalankan perintah berikut:

  az account get-access-token --resource https://ml.azure.com --query "accessToken" --output tsv
  

  Tip

  Saat bekerja dengan REST, sebaiknya panggil titik akhir batch menggunakan perwakilan layanan. Lihat Menjalankan pekerjaan menggunakan perwakilan layanan (REST) untuk mempelajari cara mendapatkan token untuk Perwakilan Layanan menggunakan REST.

  Untuk mempelajari selengkapnya tentang cara mengautentikasi dengan beberapa jenis kredensial baca Otorisasi pada titik akhir batch.

• Kluster komputasi tempat titik akhir disebarkan memiliki akses untuk membaca data input.

  Tip

  Jika Anda menggunakan penyimpanan data tanpa kredensial atau Akun Azure Storage eksternal sebagai input data, pastikan Anda mengonfigurasi kluster komputasi untuk akses data. Identitas terkelola kluster komputasi digunakan untuk memasang akun penyimpanan. Identitas pekerjaan (pemanggil) masih digunakan untuk membaca data yang mendasarinya yang memungkinkan Anda mencapai kontrol akses terperinci.

Membuat dasar-dasar pekerjaan

Untuk membuat pekerjaan dari titik akhir batch, Anda harus memanggilnya. Pemanggilan dapat dilakukan menggunakan Azure CLI, Azure Pembelajaran Mesin SDK untuk Python, atau panggilan REST API. Contoh berikut menunjukkan dasar-dasar pemanggilan untuk titik akhir batch yang menerima satu folder data input untuk diproses. Lihat Memahami input dan output untuk contoh dengan input dan output yang berbeda.

Azure CLI

Gunakan operasi di invoke bawah titik akhir batch:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Gunakan metode MLClient.batch_endpoints.invoke() untuk menentukan nama eksperimen:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

Buat POST permintaan ke URL pemanggilan titik akhir. Anda bisa mendapatkan URL pemanggilan dari portal Azure Pembelajaran Mesin, di halaman detail titik akhir.

Isi

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Permintaan

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Memanggil penyebaran tertentu

Titik akhir batch dapat menghosting beberapa penyebaran di bawah titik akhir yang sama. Titik akhir default digunakan kecuali pengguna menentukan sebaliknya. Anda dapat mengubah penyebaran yang digunakan sebagai berikut:

Azure CLI

Gunakan argumen --deployment-name atau -d untuk menentukan nama penyebaran:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --deployment-name $DEPLOYMENT_NAME \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Gunakan parameter deployment_name untuk menentukan nama penyebaran:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    deployment_name=deployment.name,
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data")
    }
)

REST

Tambahkan header azureml-model-deployment ke permintaan Anda, termasuk nama penyebaran yang ingin Anda panggil.

Isi

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        }
    }
}

Permintaan

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
azureml-model-deployment: DEPLOYMENT_NAME

Mengonfigurasi properti pekerjaan

Anda dapat mengonfigurasi beberapa properti dalam pekerjaan yang dibuat pada waktu pemanggilan.

Catatan

Mengonfigurasi properti pekerjaan hanya tersedia di titik akhir batch dengan penyebaran komponen Alur saat ini.

Mengonfigurasi nama eksperimen

Azure CLI

Gunakan argumen --experiment-name untuk menentukan nama eksperimen:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
                            --experiment-name "my-batch-job-experiment" \
                            --input https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data

Python

Gunakan parameter experiment_name untuk menentukan nama eksperimen:

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
    experiment_name="my-batch-job-experiment",
    inputs={
        "heart_dataset": Input("https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"),
    }
)

REST

Gunakan kunci experimentName di properties bagian untuk menunjukkan nama eksperimen:

Isi

{
    "properties": {
        "InputData": {
           "heart_dataset": {
               "JobInputType" : "UriFolder",
               "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
           }
        },
        "properties":
        {
            "experimentName": "my-batch-job-experiment"
        }
    }
}

Permintaan

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Memahami input dan output

Titik akhir batch menyediakan API tahan lama yang dapat digunakan konsumen untuk membuat pekerjaan batch. Antarmuka yang sama dapat digunakan untuk menentukan input dan output yang diharapkan penyebaran Anda. Gunakan input untuk meneruskan informasi apa pun yang diperlukan titik akhir Anda untuk melakukan pekerjaan.

Titik akhir batch mendukung dua jenis input:

• Input data, yang merupakan penunjuk ke lokasi penyimpanan tertentu atau aset Azure Pembelajaran Mesin.
• Input harfiah, yang merupakan nilai harfiah (seperti angka atau string) yang ingin Anda teruskan ke pekerjaan.

Jumlah dan jenis input dan output bergantung pada jenis penyebaran batch. Penyebaran model selalu memerlukan satu input data dan menghasilkan satu output data. Input literal tidak didukung. Namun, penyebaran komponen alur menyediakan konstruksi yang lebih umum untuk membangun titik akhir dan memungkinkan Anda menentukan sejumlah input (data dan literal) dan output.

Tabel berikut ini meringkas input dan output untuk penyebaran batch:

Jenis penyebaran	Nomor input	Jenis input yang didukung	Nomor output	Jenis output yang didukung
Penyebaran model	1	Input data	1	Output data
Penyebaran komponen alur	[0..N]	Input data dan input harfiah	[0..N]	Output data

Tip

Input dan output selalu diberi nama. Nama-nama tersebut berfungsi sebagai kunci untuk mengidentifikasinya dan meneruskan nilai aktual selama pemanggilan. Untuk penyebaran model, karena selalu memerlukan satu input dan output, nama diabaikan selama pemanggilan. Anda dapat menetapkan nama yang paling tepat menggambarkan kasus penggunaan Anda, seperti "sales_estimation".

Input data

Input data mengacu pada input yang menunjuk ke lokasi tempat data ditempatkan. Karena titik akhir batch biasanya menggunakan data dalam jumlah besar, Anda tidak dapat meneruskan data input sebagai bagian dari permintaan pemanggilan. Sebagai gantinya, Anda menentukan lokasi tempat titik akhir batch harus pergi untuk mencari data. Data input dipasang dan dialirkan pada komputasi target untuk meningkatkan performa.

Titik akhir batch mendukung membaca file yang terletak di opsi penyimpanan berikut:

• Azure Pembelajaran Mesin Aset Data, termasuk Folder (uri_folder) dan File (uri_file).
• Azure Pembelajaran Mesin Data Stores, termasuk Azure Blob Storage, Azure Data Lake Storage Gen1, dan Azure Data Lake Storage Gen2.
• Akun Azure Storage, termasuk Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, dan Azure Blob Storage.
• Folder/file data lokal (Azure Pembelajaran Mesin CLI atau Azure Pembelajaran Mesin SDK untuk Python). Namun, operasi tersebut menghasilkan data lokal yang akan diunggah ke Azure Pembelajaran Mesin Data Store default dari ruang kerja yang sedang Anda kerjakan.

Penting

Pemberitahuan penghentian: Himpunan data jenis FileDataset (V1) tidak digunakan lagi dan akan dihentikan di masa mendatang. Titik akhir batch yang ada yang mengandalkan fungsionalitas ini akan terus berfungsi tetapi titik akhir batch yang dibuat dengan GA CLIv2 (2.4.0 dan yang lebih baru) atau GA REST API (2022-05-01 dan yang lebih baru) tidak akan mendukung himpunan data V1.

Input harfiah

Input literal mengacu pada input yang dapat diwakili dan diselesaikan pada waktu pemanggilan, seperti string, angka, dan nilai boolean. Anda biasanya menggunakan input harfiah untuk meneruskan parameter ke titik akhir Anda sebagai bagian dari penyebaran komponen alur. Titik akhir batch mendukung jenis harfiah berikut:

• string
• boolean
• float
• integer

Input literal hanya didukung dalam penyebaran komponen alur. Lihat Membuat pekerjaan dengan input harfiah untuk mempelajari cara menentukannya.

Output data

Output data merujuk ke lokasi tempat hasil pekerjaan batch harus ditempatkan. Output diidentifikasi berdasarkan nama, dan Azure Pembelajaran Mesin secara otomatis menetapkan jalur unik ke setiap output bernama. Namun, Anda dapat menentukan jalur lain jika diperlukan.

Penting

Titik akhir batch hanya mendukung penulisan output di penyimpanan data Azure Blob Storage. Jika Anda perlu menulis ke akun penyimpanan dengan namespace hierarki diaktifkan (juga dikenal sebagai Azure Datalake Gen2 atau ADLS Gen2), perhatikan bahwa layanan penyimpanan tersebut dapat didaftarkan sebagai datastore Azure Blob Storage karena layanan sepenuhnya kompatibel. Dengan cara ini, Anda dapat menulis output dari titik akhir batch ke ADLS Gen2.

Membuat pekerjaan dengan input data

Contoh berikut menunjukkan cara membuat pekerjaan, mengambil input data dari aset data, penyimpanan data, dan Akun Azure Storage.

Input data dari aset data

Azure Pembelajaran Mesin aset data (sebelumnya dikenal sebagai himpunan data) didukung sebagai input untuk pekerjaan. Ikuti langkah-langkah ini untuk menjalankan pekerjaan titik akhir batch menggunakan data yang disimpan dalam aset data terdaftar di Azure Pembelajaran Mesin:

Peringatan

Aset data jenis Tabel (MLTable) saat ini tidak didukung.

1. Pertama-tama buat aset data. Aset data ini terdiri dari folder dengan beberapa file CSV yang akan Anda proses secara paralel, menggunakan titik akhir batch. Anda dapat melewati langkah ini jika data Anda sudah terdaftar sebagai aset data.

   Azure CLI

   Buat definisi aset data di YAML:

   heart-dataset-unlabeled.yml

   $schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
   name: heart-dataset-unlabeled
   description: An unlabeled dataset for heart classification.
   type: uri_folder
   path: heart-classifier-mlflow/data
   

   Kemudian, buat aset data:

   az ml data create -f heart-dataset-unlabeled.yml
   

   Python

   data_path = "heart-classifier-mlflow/data"
   dataset_name = "heart-dataset-unlabeled"
   
   heart_dataset_unlabeled = Data(
       path=data_path,
       type=AssetTypes.URI_FOLDER,
       description="An unlabeled dataset for heart classification",
       name=dataset_name,
   )
   

   Buat aset data:

   ml_client.data.create_or_update(heart_dataset_unlabeled)
   

   Untuk mendapatkan aset data yang baru dibuat, gunakan:

   heart_dataset_unlabeled = ml_client.data.get(name=dataset_name, label="latest")
   

   REST

   Gunakan Azure Pembelajaran Mesin CLI, Azure Pembelajaran Mesin SDK untuk Python, atau studio Azure Pembelajaran Mesin untuk mendapatkan nama dan versi lokasi (wilayah), ruang kerja, dan aset data. Anda akan membutuhkannya nanti.

2. Buat input atau permintaan:

   Azure CLI

   DATASET_ID=$(az ml data show -n heart-dataset-unlabeled --label latest | jq -r .id)
   

   Python

   input = Input(path=heart_dataset_unlabeled.id)
   

   REST

   Isi

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml://locations/<location>/workspaces/<workspace>/data/<dataset_name>/versions/labels/latest"
               }
           }
       }
   }
   

   Catatan

   ID aset data akan terlihat seperti /subscriptions/<subscription>/resourcegroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/data/<data-asset>/versions/<version>. Anda juga dapat menggunakan azureml:/<datasset_name>@latest sebagai cara untuk menentukan input.

3. Jalankan titik akhir:

   Azure CLI

   --set Gunakan argumen untuk menentukan input:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$DATASET_ID
   

   Untuk titik akhir yang melayani penyebaran model, Anda dapat menggunakan --input argumen untuk menentukan input data, karena penyebaran model selalu hanya memerlukan satu input data.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $DATASET_ID
   

   Argumen --set cenderung menghasilkan perintah panjang ketika beberapa input ditentukan. Dalam kasus seperti itu, tempatkan input Anda dalam YAML file dan gunakan --file untuk menentukan input yang Anda butuhkan untuk pemanggilan titik akhir Anda.

   inputs.yml

   inputs:
     heart_dataset: azureml:/<datasset_name>@latest
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Python

   Tip

   Apa perbedaan antara inputs dan input kapan Anda memanggil titik akhir?

   Secara umum, Anda dapat menggunakan kamus inputs = {} dengan invoke metode untuk memberikan jumlah input yang diperlukan secara arbitrer ke titik akhir batch yang berisi penyebaran model atau penyebaran alur.

   Untuk penyebaran model, Anda dapat menggunakan input sebagai cara yang lebih pendek untuk menentukan lokasi data input untuk penyebaran, karena penyebaran model selalu hanya mengambil satu input data.

   invoke Panggil metode , menggunakan inputs untuk menentukan input yang diperlukan:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Lebih lanjut menyederhanakan invoke panggilan untuk penyebaran model, dengan menggunakan input untuk menentukan lokasi ke data input:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Permintaan

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Input data dari penyimpanan data

Data dari penyimpanan data terdaftar Azure Pembelajaran Mesin dapat langsung direferensikan oleh pekerjaan penyebaran batch. Dalam contoh ini, Anda terlebih dahulu mengunggah beberapa data ke penyimpanan data default di ruang kerja Azure Pembelajaran Mesin lalu menjalankan penyebaran batch di dalamnya. Ikuti langkah-langkah ini untuk menjalankan pekerjaan titik akhir batch menggunakan data yang disimpan di penyimpanan data.

1. Akses penyimpanan data default di ruang kerja Azure Pembelajaran Mesin. Jika data Anda berada di penyimpanan yang berbeda, Anda dapat menggunakan penyimpanan tersebut sebagai gantinya. Anda tidak diharuskan menggunakan penyimpanan data default.

   Azure CLI

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Catatan

   ID penyimpanan data akan terlihat seperti /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Gunakan Azure Pembelajaran Mesin CLI, Azure Pembelajaran Mesin SDK untuk Python, atau Studio untuk mendapatkan informasi penyimpanan data.

   Tip

   Penyimpanan data blob default di ruang kerja disebut workspaceblobstore. Anda dapat melewati langkah ini jika Anda sudah mengetahui ID sumber daya penyimpanan data default di ruang kerja Anda.

2. Anda perlu mengunggah beberapa data sampel ke penyimpanan data. Contoh ini mengasumsikan Anda sudah mengunggah data sampel yang disertakan dalam repositori di folder sdk/python/endpoints/batch/deploy-models/heart-classifier-mlflow/data di heart-disease-uci-unlabeled akun penyimpanan blob. Pastikan Anda telah melakukannya sebelum bergerak maju.

3. Buat input atau permintaan:

   Azure CLI

   Tempatkan jalur file dalam variabel berikut:

   DATA_PATH="heart-disease-uci-unlabeled"
   INPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Python

   data_path = "heart-disease-uci-unlabeled"
   input = Input(type=AssetTypes.URI_FOLDER, path=f"{default_ds.id}/paths/{data_path})
   

   Jika data Anda adalah file, ubah type=AssetTypes.URI_FILE.

   REST

   Isi

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   

   Jika data Anda adalah file, gunakan UriFile sebagai jenis sebagai gantinya.

   Catatan

   Lihat bagaimana jalur paths ditambahkan ke id sumber daya penyimpanan data untuk menunjukkan bahwa apa berikut ini adalah jalur di dalamnya.

   Tip

   Anda juga dapat menggunakan azureml://datastores/<data-store>/paths/<data-path> sebagai cara untuk menentukan input.

4. Jalankan titik akhir:

   Azure CLI

   --set Gunakan argumen untuk menentukan input:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_PATH
   

   Untuk titik akhir yang melayani penyebaran model, Anda dapat menggunakan --input argumen untuk menentukan input data, karena penyebaran model selalu hanya memerlukan satu input data.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_PATH --input-type uri_folder
   

   Argumen --set cenderung menghasilkan perintah panjang ketika beberapa input ditentukan. Dalam kasus seperti itu, tempatkan input Anda dalam YAML file dan gunakan --file untuk menentukan input yang Anda butuhkan untuk pemanggilan titik akhir Anda.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: azureml://datastores/<data-store>/paths/<data-path>
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jika data Anda adalah file, gunakan uri_file sebagai jenis sebagai gantinya.

   Python

   Tip

   Apa perbedaan antara inputs dan input kapan Anda memanggil titik akhir?

   Secara umum, Anda dapat menggunakan kamus inputs = {} dengan invoke metode untuk memberikan jumlah input yang diperlukan secara arbitrer ke titik akhir batch yang berisi penyebaran model atau penyebaran alur.

   Untuk penyebaran model, Anda dapat menggunakan input sebagai cara yang lebih pendek untuk menentukan lokasi data input untuk penyebaran, karena penyebaran model selalu hanya mengambil satu input data.

   invoke Panggil metode , menggunakan inputs untuk menentukan input yang diperlukan:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Lebih lanjut menyederhanakan invoke panggilan untuk penyebaran model, dengan menggunakan input untuk menentukan lokasi ke data input:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Permintaan

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Input data dari Akun Azure Storage

Titik akhir batch Azure Pembelajaran Mesin dapat membaca data dari lokasi cloud di Akun Azure Storage, baik publik maupun privat. Gunakan langkah-langkah berikut untuk menjalankan pekerjaan titik akhir batch menggunakan data yang disimpan di akun penyimpanan:

Catatan

Periksa bagian mengonfigurasi kluster komputasi untuk akses data untuk mempelajari selengkapnya tentang konfigurasi tambahan yang diperlukan untuk berhasil membaca data dari akumulasi penyimpanan.

1. Buat input atau permintaan:

   Azure CLI

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Jika data Anda adalah file:

   INPUT_DATA = "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   

   Python

   input = Input(
       type=AssetTypes.URI_FOLDER, 
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   )
   

   Jika data Anda adalah file, ubah type=AssetTypes.URI_FILE:

   input = Input(
       type=AssetTypes.URI_FILE,
       path="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
   )
   

   REST

   Isi

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFolder",
                   "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
               }
           }
       }
   }
   

   Jika data Anda adalah file, ubah JobInputType:

   Isi

   {
       "properties": {
           "InputData": {
               "heart_dataset": {
                   "JobInputType" : "UriFile",
                   "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data/heart.csv"
               }
           }
       }
   }
   

2. Jalankan titik akhir:

   Azure CLI

   --set Gunakan argumen untuk menentukan input:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.type="uri_folder" inputs.heart_dataset.path=$INPUT_DATA
   

   Untuk titik akhir yang melayani penyebaran model, Anda dapat menggunakan --input argumen untuk menentukan input data, karena penyebaran model selalu hanya memerlukan satu input data.

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --input $INPUT_DATA --input-type uri_folder
   

   Argumen --set cenderung menghasilkan perintah panjang ketika beberapa input ditentukan. Dalam kasus seperti itu, tempatkan input Anda dalam YAML file dan gunakan --file untuk menentukan input yang Anda butuhkan untuk pemanggilan titik akhir Anda.

   inputs.yml

   inputs:
     heart_dataset:
       type: uri_folder
       path: https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data
   

   az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml
   

   Jika data Anda adalah file, gunakan uri_file sebagai jenis sebagai gantinya.

   Python

   Tip

   Apa perbedaan antara inputs dan input kapan Anda memanggil titik akhir?

   Secara umum, Anda dapat menggunakan kamus inputs = {} dengan invoke metode untuk memberikan jumlah input yang diperlukan secara arbitrer ke titik akhir batch yang berisi penyebaran model atau penyebaran alur.

   Untuk penyebaran model, Anda dapat menggunakan input sebagai cara yang lebih pendek untuk menentukan lokasi data input untuk penyebaran, karena penyebaran model selalu hanya mengambil satu input data.

   invoke Panggil metode , menggunakan inputs untuk menentukan input yang diperlukan:

   job = ml_client.batch_endpoints.invoke(
       endpoint_name=endpoint.name,
       inputs={
           "heart_dataset": input,
       }
   )
   

   Lebih lanjut menyederhanakan invoke panggilan untuk penyebaran model, dengan menggunakan input untuk menentukan lokasi ke data input:

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      input=input,
   )
   

   REST

   Permintaan

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Membuat pekerjaan dengan input harfiah

Penyebaran komponen alur dapat mengambil input harfiah. Contoh berikut menunjukkan cara menentukan input bernama score_mode, dari jenis string, dengan nilai append:

Azure CLI

Tempatkan input Anda dalam YAML file dan gunakan --file untuk menentukan input yang Anda butuhkan untuk pemanggilan titik akhir Anda.

inputs.yml

inputs:
  score_mode:
    type: string
    default: append

az ml batch-endpoint invoke --name $ENDPOINT_NAME --file inputs.yml

Anda juga dapat menggunakan argumen --set untuk menentukan nilai. Namun, ia cenderung menghasilkan perintah panjang ketika beberapa input ditentukan:

az ml batch-endpoint invoke --name $ENDPOINT_NAME \
    --set inputs.score_mode.type="string" inputs.score_mode.default="append"

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
    inputs = { 
        'score_mode': Input(type="string", default="append")
        }
)

REST

Isi

{
    "properties": {
        "InputData": {
            "score_mode": {
                "JobInputType" : "Literal",
                "Value": "append"
            }
        }
    }
}

Permintaan

POST jobs HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

Membuat pekerjaan dengan output data

Contoh berikut menunjukkan cara mengubah lokasi tempat output bernama score ditempatkan. Untuk kelengkapan, contoh-contoh ini juga mengonfigurasi input bernama heart_dataset.

1. Gunakan penyimpanan data default di ruang kerja Azure Pembelajaran Mesin untuk menyimpan output. Anda dapat menggunakan penyimpanan data lain di ruang kerja Anda selama itu adalah akun penyimpanan blob.

   Azure CLI

   DATASTORE_ID=$(az ml datastore show -n workspaceblobstore | jq -r '.id')
   

   Catatan

   ID penyimpanan data akan terlihat seperti /subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>.

   Python

   default_ds = ml_client.datastores.get_default()
   

   REST

   Gunakan Azure Pembelajaran Mesin CLI, Azure Pembelajaran Mesin SDK untuk Python, atau Studio untuk mendapatkan informasi penyimpanan data.

2. Membuat output data:

   Azure CLI

   DATA_PATH="batch-jobs/my-unique-path"
   OUTPUT_PATH="$DATASTORE_ID/paths/$DATA_PATH"
   

   Untuk kelengkapan, buat juga input data:

   INPUT_PATH="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   Python

   data_path = "batch-jobs/my-unique-path"
   output = Output(type=AssetTypes.URI_FOLDER, path=f"{default_ds.id}/paths/{data_path})
   

   Untuk kelengkapan, mari kita buat juga input data:

   input="https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
   

   REST

   Isi

   {
       "properties": {
           "InputData": {
              "heart_dataset": {
                  "JobInputType" : "UriFolder",
                  "Uri": "https://azuremlexampledata.blob.core.windows.net/data/heart-disease-uci/data"
              }
           },
           "OutputData": {
               "score": {
                   "JobOutputType" : "UriFile",
                   "Uri": "azureml:/subscriptions/<subscription>/resourceGroups/<resource-group/providers/Microsoft.MachineLearningServices/workspaces/<workspace>/datastores/<data-store>/paths/<data-path>"
               }
           }
       }
   }
   

   Catatan

   Lihat bagaimana jalur paths ditambahkan ke id sumber daya penyimpanan data untuk menunjukkan bahwa apa berikut ini adalah jalur di dalamnya.

3. Jalankan penyebaran:

   Azure CLI

   Gunakan argumen --set untuk menentukan input:

   az ml batch-endpoint invoke --name $ENDPOINT_NAME \
       --set inputs.heart_dataset.path=$INPUT_PATH \
       --set outputs.score.path=$OUTPUT_PATH
   

   Python

   job = ml_client.batch_endpoints.invoke(
      endpoint_name=endpoint.name,
      inputs={ "heart_dataset": input },
      outputs={ "score": output }
   )
   

   REST

   Permintaan

   POST jobs HTTP/1.1
   Host: <ENDPOINT_URI>
   Authorization: Bearer <TOKEN>
   Content-Type: application/json
   

Langkah berikutnya

• Pemecahan masalah titik akhir batch.
• Sesuaikan output dalam penyebaran batch penyebaran model.
• Buat alur penilaian kustom dengan input dan output.
• Memanggil titik akhir batch dari Azure Data Factory.