Memantau performa model yang disebarkan ke produksi

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Pelajari cara menggunakan pemantauan model Azure Pembelajaran Mesin untuk terus melacak performa model pembelajaran mesin dalam produksi. Pemantauan model memberi Anda tampilan luas tentang sinyal pemantauan dan memberi tahu Anda tentang potensi masalah. Saat Memantau sinyal dan metrik performa model dalam produksi, Anda dapat secara kritis mengevaluasi risiko melekat yang terkait dengannya dan mengidentifikasi titik buta yang dapat berdampak buruk pada bisnis Anda.

Dalam artikel ini Anda, pelajari cara melakukan tugas berikut:

• Menyiapkan out-of-box dan pemantauan tingkat lanjut untuk model yang disebarkan ke titik akhir online Azure Pembelajaran Mesin
• Memantau metrik performa untuk model dalam produksi
• Memantau model yang disebarkan di luar Azure Pembelajaran Mesin atau disebarkan ke titik akhir batch Azure Pembelajaran Mesin
• Menyiapkan pemantauan model dengan sinyal dan metrik kustom
• Menginterpretasikan hasil pemantauan
• Mengintegrasikan pemantauan model Azure Pembelajaran Mesin dengan Azure Event Grid

Prasyarat

Azure CLI

Sebelum mengikuti langkah-langkah dalam artikel ini, pastikan Anda memiliki prasyarat berikut:

• Azure CLI dan ekstensi ml ke Azure CLI. Untuk informasi selengkapnya, lihat Menginstal, menyiapkan, dan menggunakan CLI (v2).

  Penting

  Contoh CLI dalam artikel ini mengasumsikan bahwa Anda menggunakan shell Bash (atau kompatibel). Misalnya, dari sistem Linux atau Subsistem Windows untuk Linux.

• Ruang kerja Azure Machine Learning. Jika Anda tidak memilikinya, gunakan langkah-langkah di Pasang, siapkan, dan gunakan CLI (v2) untuk membuatnya.

Python SDK

Sebelum mengikuti langkah-langkah dalam artikel ini, pastikan Anda memiliki prasyarat berikut:

• Ruang kerja Azure Machine Learning. Jika Anda tidak memilikinya, gunakan langkah-langkah dalam artikel Mulai Cepat: Membuat sumber daya ruang kerja untuk membuatnya.

• Untuk memasang SDK Python v2, gunakan perintah berikut:

  pip install azure-ai-ml azure-identity
  

  Untuk memperbarui penginstalan SDK yang ada ke versi terbaru, gunakan perintah berikut:

  pip install --upgrade azure-ai-ml azure-identity
  

  Untuk informasi selengkapnya, lihat Menginstal Python SDK v2 untuk Azure Pembelajaran Mesin.

Studio

Sebelum mengikuti langkah-langkah dalam artikel ini, pastikan Anda memiliki prasyarat berikut:

• Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning.

• Ruang kerja Azure Pembelajaran Mesin dan instans komputasi. Jika Anda tidak memiliki sumber daya ini, gunakan langkah-langkah dalam artikel Mulai Cepat: Membuat sumber daya ruang kerja untuk membuatnya.

• Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus ditetapkan sebagaipemilik atau kontributor untuk ruang kerja Azure Machine Learning, atau peran khusus yang memungkinkan Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. Untuk informasi selengkapnya, lihat Mengelola akses ke ruang kerja Azure Machine Learning.

• Untuk memantau model yang disebarkan ke titik akhir online Azure Pembelajaran Mesin (titik akhir online terkelola atau titik akhir online Kubernetes), pastikan untuk:

  • Memiliki model yang sudah disebarkan ke titik akhir online Azure Pembelajaran Mesin. Titik akhir online terkelola dan titik akhir online Kubernetes didukung. Jika Anda tidak memiliki model yang disebarkan ke titik akhir online Azure Pembelajaran Mesin, lihat Menyebarkan dan menilai model pembelajaran mesin dengan menggunakan titik akhir online.

  • Aktifkan pengumpulan data untuk penyebaran model Anda. Anda dapat mengaktifkan pengumpulan data selama langkah penyebaran untuk titik akhir online Azure Pembelajaran Mesin. Untuk informasi selengkapnya, lihat Mengumpulkan data produksi dari model yang disebarkan ke titik akhir real time.

• Untuk memantau model yang disebarkan ke titik akhir batch Azure Pembelajaran Mesin atau disebarkan di luar Azure Pembelajaran Mesin, pastikan untuk:

  • Memiliki sarana untuk mengumpulkan data produksi dan mendaftarkannya sebagai aset data Azure Pembelajaran Mesin.
  • Perbarui aset data terdaftar terus menerus untuk pemantauan model.
  • (Disarankan) Daftarkan model di ruang kerja Azure Pembelajaran Mesin, untuk pelacakan silsilah data.

Penting

Pekerjaan pemantauan model dijadwalkan untuk berjalan pada kumpulan komputasi Spark tanpa server dengan dukungan untuk jenis instans VM berikut: Standard_E4s_v3, , Standard_E8s_v3Standard_E16s_v3, Standard_E32s_v3, , dan Standard_E64s_v3. Anda dapat memilih jenis instans VM dengan create_monitor.compute.instance_type properti dalam konfigurasi YAML Anda atau dari menu dropdown di studio Azure Pembelajaran Mesin.

Menyiapkan pemantauan model di luar kotak

Misalkan Anda menyebarkan model Anda ke produksi di titik akhir online Azure Pembelajaran Mesin dan mengaktifkan pengumpulan data pada waktu penyebaran. Dalam skenario ini, Azure Pembelajaran Mesin mengumpulkan data inferensi produksi, dan secara otomatis menyimpannya di Microsoft Azure Blob Storage. Anda kemudian dapat menggunakan pemantauan model Azure Pembelajaran Mesin untuk terus memantau data inferensi produksi ini.

Anda dapat menggunakan Azure CLI, Python SDK, atau studio untuk penyiapan pemantauan model di luar kotak. Konfigurasi pemantauan model di luar kotak menyediakan kemampuan pemantauan berikut:

• Azure Pembelajaran Mesin secara otomatis mendeteksi himpunan data inferensi produksi yang terkait dengan penyebaran online Azure Pembelajaran Mesin dan menggunakan himpunan data untuk pemantauan model.
• Himpunan data referensi perbandingan ditetapkan sebagai himpunan data inferensi produksi yang baru-baru ini.
• Penyiapan pemantauan secara otomatis mencakup dan melacak sinyal pemantauan bawaan: penyimpangan data, penyimpangan prediksi, dan kualitas data. Untuk setiap sinyal pemantauan, Azure Pembelajaran Mesin menggunakan:
  • himpunan data inferensi produksi baru-baru ini yang lalu sebagai himpunan data referensi perbandingan.
  • default cerdas untuk metrik dan ambang batas.
• Pekerjaan pemantauan dijadwalkan untuk berjalan setiap hari pada pukul 03.15 (untuk contoh ini) untuk memperoleh sinyal pemantauan dan mengevaluasi setiap hasil metrik terhadap ambang yang sesuai. Secara default, ketika ambang batas terlampaui, Azure Pembelajaran Mesin mengirim email pemberitahuan kepada pengguna yang menyiapkan monitor.

Azure CLI

Pemantauan model Azure Pembelajaran Mesin digunakan az ml schedule untuk menjadwalkan pekerjaan pemantauan. Anda dapat membuat monitor model out-of-box dengan perintah CLI dan definisi YAML berikut:

az ml schedule create -f ./out-of-box-monitoring.yaml

YAML berikut berisi definisi untuk pemantauan model di luar kotak.

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

Python SDK

Anda dapat menggunakan kode berikut untuk menyiapkan pemantauan model di luar kotak:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Studio

1. Navigasikan ke Studio Azure Machine Learning.

2. Buka ruang kerja Anda.

3. Pilih Pemantauan dari bagian Kelola

4. Pilih Tambahkan.

   

5. Pada halaman Pengaturan dasar, gunakan (Opsional) Pilih model untuk memilih model yang akan dipantau.

6. Daftar dropdown (Opsional) Pilih penyebaran dengan pengumpulan data yang diaktifkan harus diisi secara otomatis jika model disebarkan ke titik akhir online Azure Pembelajaran Mesin. Pilih penyebaran dari daftar dropdown.

7. Pilih data pelatihan yang akan digunakan sebagai referensi perbandingan dalam kotak data pelatihan (Opsional) Pilih.

8. Masukkan nama untuk pemantauan di Nama pemantauan atau pertahankan nama default.

9. Perhatikan bahwa ukuran komputer virtual sudah dipilih untuk Anda.

10. Pilih Zona waktu Anda.

11. Pilih Pengulangan atau penjadwalan ekspresi Cron.

12. Untuk Penjadwalan pengulangan , tentukan frekuensi, hari, dan waktu berulang. Untuk penjadwalan ekspresi Cron, masukkan ekspresi cron untuk pemantauan yang dijalankan.

    

13. Pilih Berikutnya untuk masuk ke bagian Pengaturan tingkat lanjut.

14. Pilih Berikutnya di halaman Konfigurasikan aset data untuk menyimpan himpunan data default.

15. Pilih Berikutnya untuk masuk ke halaman Pilih sinyal pemantauan.

16. Pilih Berikutnya untuk masuk ke halaman Pemberitahuan . Tambahkan email Anda untuk menerima pemberitahuan email.

17. Tinjau detail pemantauan Anda dan pilih Buat untuk membuat monitor.

Menyiapkan pemantauan model tingkat lanjut

Azure Pembelajaran Mesin menyediakan banyak kemampuan untuk pemantauan model berkelanjutan. Lihat Kemampuan pemantauan model untuk daftar komprehensif kemampuan ini. Dalam banyak kasus, Anda perlu menyiapkan pemantauan model dengan kemampuan pemantauan tingkat lanjut. Di bagian berikut, Anda menyiapkan pemantauan model dengan kemampuan berikut:

• Penggunaan beberapa sinyal pemantauan untuk tampilan yang luas.
• Penggunaan data pelatihan model historis atau data validasi sebagai himpunan data referensi perbandingan.
• Pemantauan fitur terpenting N teratas dan fitur individual.

Mengonfigurasi kepentingan fitur

Kepentingan fitur mewakili kepentingan relatif dari setiap fitur input ke output model. Misalnya, temperature mungkin lebih penting untuk prediksi model dibandingkan elevationdengan . Mengaktifkan kepentingan fitur dapat memberi Anda visibilitas ke fitur mana yang tidak ingin Anda drifting atau mengalami masalah kualitas data dalam produksi.

Untuk mengaktifkan kepentingan fitur dengan salah satu sinyal Anda (seperti penyimpangan data atau kualitas data), Anda perlu menyediakan:

• Himpunan data pelatihan Anda sebagai himpunan reference_data data.
• Properti reference_data.data_column_names.target_column , yang merupakan nama kolom output/prediksi model Anda.

Setelah mengaktifkan kepentingan fitur, Anda akan melihat kepentingan fitur untuk setiap fitur yang Anda pantau di antarmuka pengguna studio pemantauan model Azure Pembelajaran Mesin.

Anda dapat menggunakan Azure CLI, Python SDK, atau studio untuk penyiapan pemantauan model tingkat lanjut.

Azure CLI

Buat penyiapan pemantauan model tingkat lanjut dengan perintah CLI dan definisi YAML berikut:

az ml schedule create -f ./advanced-model-monitoring.yaml

YAML berikut berisi definisi untuk pemantauan model tingkat lanjut.

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Python SDK

Gunakan kode berikut untuk penyiapan pemantauan model tingkat lanjut:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify the online deployment (if you have one)
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)

# specify a lookback window size and offset, or omit this to use the defaults, which are specified in the documentation
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_inputs:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-default-reference:1"
    ),
    data_column_names={
        "target_column":"DEFAULT_NEXT_MONTH"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)

# create an advanced prediction drift signal
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds
)

# create an advanced data quality signal
features = ['SEX', 'EDUCATION', 'AGE']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# create feature attribution drift signal
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# specify the frequency on which to run your monitor
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create your monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Studio

Untuk menyiapkan pemantauan tingkat lanjut:

1. Selesaikan seluruh pada halaman Pengaturan dasar seperti yang dijelaskan sebelumnya di bagian Menyiapkan pemantauan model di luar kotak.

2. Pilih Berikutnya untuk membuka halaman Konfigurasi aset data dari bagian Pengaturan tingkat lanjut.

3. Tambahkan himpunan data yang akan digunakan sebagai himpunan data referensi. Kami menyarankan agar Anda menggunakan data pelatihan model sebagai himpunan data referensi perbandingan untuk penyimpangan data dan kualitas data. Selain itu, gunakan data validasi model sebagai himpunan data referensi perbandingan untuk penyimpangan prediksi.

   

4. Pilih Berikutnya untuk masuk ke halaman Pilih sinyal pemantauan. Di halaman ini, Anda akan melihat beberapa sinyal pemantauan sudah ditambahkan (jika Anda memilih penyebaran online Azure Pembelajaran Mesin sebelumnya). Sinyal (penyimpangan data, penyimpangan prediksi, dan kualitas data) menggunakan data produksi terbaru dan sebelumnya sebagai himpunan data referensi perbandingan dan menggunakan default cerdas untuk metrik dan ambang batas.

   

5. Pilih Edit di samping sinyal penyimpangan data.

6. Konfigurasikan penyimpangan data di jendela Edit sinyal sebagai berikut:

   1. Di langkah 1, untuk aset data produksi, pilih himpunan data input model Anda. Selain itu, buat pilihan berikut:
      • Pilih ukuran jendela lookback yang diinginkan.
   2. Di langkah 2, untuk aset data referensi, pilih himpunan data pelatihan Anda. Selain itu, buat pilihan berikut:
      • Pilih kolom target (output).
   3. Di langkah 3, pilih untuk memantau penyimpangan untuk fitur N paling penting teratas, atau pantau penyimpangan untuk serangkaian fitur tertentu.
   4. Di langkah 4, pilih metrik dan ambang batas pilihan Anda untuk digunakan untuk fitur numerik.
   5. Di langkah 5, pilih metrik dan ambang batas pilihan Anda untuk digunakan untuk fitur kategoris.

   

7. Pilih Simpan untuk kembali ke halaman Pilih sinyal pemantauan.

8. Pilih Tambahkan untuk membuka jendela Edit Sinyal .

9. Pilih Penyimpangan atribusi fitur (pratinjau) untuk mengonfigurasi sinyal penyimpangan atribusi fitur sebagai berikut:

   1. Di langkah 1, pilih aset data produksi yang memiliki input model Anda
      • Selain itu, pilih ukuran jendela lookback yang diinginkan.
   2. Di langkah 2, pilih aset data produksi yang memiliki output model Anda.
      • Selain itu, pilih kolom umum di antara aset data ini untuk menggabungkannya. Jika data dikumpulkan dengan pengumpul data, kolom umumnya adalah correlationid.
   3. (Opsional) Jika Anda menggunakan pengumpul data untuk mengumpulkan data yang input dan output model Anda sudah bergabung, pilih himpunan data yang bergabung sebagai aset data produksi Anda (di langkah 1)
      • Selain itu, Hapus langkah 2 di panel konfigurasi.
   4. Di langkah 3, pilih himpunan data pelatihan Anda untuk digunakan sebagai himpunan data referensi.
      • Selain itu, pilih kolom target (output) untuk himpunan data pelatihan Anda.
   5. Di langkah 4, pilih metrik dan ambang batas pilihan Anda.

   

10. Pilih Simpan untuk kembali ke halaman Pilih sinyal pemantauan.

    

11. Setelah selesai dengan konfigurasi sinyal pemantauan, pilih Berikutnya untuk masuk ke halaman Pemberitahuan .

12. Pada halaman Pemberitahuan , aktifkan pemberitahuan pemberitahuan untuk setiap sinyal dan pilih Berikutnya.

13. Tinjau pengaturan Anda di halaman Tinjau pengaturan pemantauan.

    

14. Pilih Buat untuk membuat monitor model tingkat lanjut Anda.

Menyiapkan pemantauan performa model

Pemantauan model Azure Pembelajaran Mesin memungkinkan Anda melacak performa model Anda dalam produksi dengan menghitung metrik performanya. Metrik performa model berikut saat ini didukung:

Untuk model klasifikasi:

• Presisi
• Akurasi
• Tarik Kembali

Untuk model regresi:

• Mean Absolute Error (MAE)
• Mean Squared Error (MSE)
• Root Mean Squared Error (RMSE)

Prasyarat lainnya untuk pemantauan performa model

Anda harus memenuhi persyaratan berikut bagi Anda untuk mengonfigurasi sinyal performa model Anda:

• Memiliki data output untuk model produksi (prediksi model) dengan ID unik untuk setiap baris. Jika Anda mengumpulkan data produksi dengan pengumpul data Azure Pembelajaran Mesin, correlation_id disediakan untuk setiap permintaan inferensi untuk Anda. Dengan pengumpul data, Anda juga memiliki opsi untuk mencatat ID unik Anda sendiri dari aplikasi Anda.

  Catatan

  Untuk pemantauan performa model Azure Pembelajaran Mesin, kami sarankan Anda mencatat ID unik Anda di kolomnya sendiri, menggunakan pengumpul data Azure Pembelajaran Mesin.

• Memiliki data kebenaran dasar (aktual) dengan ID unik untuk setiap baris. ID unik untuk baris tertentu harus cocok dengan ID unik untuk output model untuk permintaan inferensi tertentu. ID unik ini digunakan untuk menggabungkan himpunan data kebenaran dasar Anda dengan output model.

  Tanpa memiliki data kebenaran dasar, Anda tidak dapat melakukan pemantauan performa model. Karena data kebenaran dasar ditemui di tingkat aplikasi, Anda bertanggung jawab untuk mengumpulkannya saat tersedia. Anda juga harus mempertahankan aset data di Azure Pembelajaran Mesin yang berisi data kebenaran dasar ini.

• (Opsional) Memiliki himpunan data tabular yang telah digabungkan sebelumnya dengan output model dan data kebenaran dasar yang sudah digabungkan.

Memantau persyaratan performa model saat menggunakan pengumpul data

Jika Anda menggunakan pengumpul data Azure Pembelajaran Mesin untuk mengumpulkan data inferensi produksi tanpa memberikan ID unik Anda sendiri untuk setiap baris sebagai kolom terpisah, correlationid akan dibuat secara otomatis untuk Anda dan disertakan dalam objek JSON yang dicatat. Namun, pengumpul data akan mengumpulkan baris yang dikirim dalam interval waktu singkat satu sama lain. Baris batch akan berada dalam objek JSON yang sama dan dengan demikian akan memiliki correlationid.

Untuk membedakan antara baris dalam objek JSON yang sama, pemantauan performa model Azure Pembelajaran Mesin menggunakan pengindeksan untuk menentukan urutan baris dalam objek JSON. Misalnya, jika tiga baris di-batch bersama-sama, dan correlationid adalah test, baris satu akan memiliki ID test_0, baris dua akan memiliki ID test_1, dan baris tiga akan memiliki ID .test_2 Untuk memastikan bahwa himpunan data kebenaran dasar Anda berisi ID unik yang cocok dengan output model inferensi produksi yang dikumpulkan, pastikan Anda mengindeks masing-masing correlationid dengan tepat. Jika objek JSON Anda yang dicatat hanya memiliki satu baris, maka correlationid akan menjadi correlationid_0.

Untuk menghindari penggunaan pengindeksan ini, kami sarankan Anda mencatat ID unik Anda di kolomnya sendiri dalam DataFrame pandas yang Anda catat dengan pengumpul data Azure Pembelajaran Mesin. Kemudian, dalam konfigurasi pemantauan model, Anda menentukan nama kolom ini untuk menggabungkan data output model Anda dengan data kebenaran dasar Anda. Selama ID untuk setiap baris di kedua himpunan data sama, pemantauan model Azure Pembelajaran Mesin dapat melakukan pemantauan performa model.

Contoh alur kerja untuk memantau performa model

Untuk memahami konsep yang terkait dengan pemantauan performa model, pertimbangkan contoh alur kerja ini. Misalkan Anda menyebarkan model untuk memprediksi apakah transaksi kartu kredit penipuan atau tidak, Anda dapat mengikuti langkah-langkah ini untuk memantau performa model:

1. Konfigurasikan penyebaran Anda untuk menggunakan pengumpul data untuk mengumpulkan data inferensi produksi model (data input dan output). Katakanlah data output disimpan dalam kolom is_fraud.
2. Untuk setiap baris data inferensi yang dikumpulkan, catat ID unik. ID unik dapat berasal dari aplikasi Anda, atau Anda dapat menggunakan correlationid yang dibuat secara unik oleh Azure Pembelajaran Mesin untuk setiap objek JSON yang dicatat.
3. Kemudian, ketika data kebenaran dasar (atau aktual) is_fraud tersedia, data tersebut juga akan dicatat dan dipetakan ke ID unik yang sama yang dicatat dengan output model.
4. Data kebenaran is_fraud dasar ini juga dikumpulkan, dikelola, dan didaftarkan ke Azure Pembelajaran Mesin sebagai aset data.
5. Buat sinyal pemantauan performa model yang menggabungkan inferensi produksi model dan aset data kebenaran dasar, menggunakan kolom ID unik.
6. Terakhir, komputasi metrik performa model.

Azure CLI

Setelah memenuhi prasyarat untuk pemantauan performa model, Anda dapat menyiapkan pemantauan model dengan perintah CLI dan definisi YAML berikut:

az ml schedule create -f ./model-performance-monitoring.yaml

YAML berikut berisi definisi untuk pemantauan model dengan data inferensi produksi yang telah Anda kumpulkan.

$schema:  http://azureml/sdk-2-0/Schedule.json
name: model_performance_monitoring
display_name: Credit card fraud model performance
description: Credit card fraud model performance

trigger:
  type: recurrence
  frequency: day
  interval: 7 
  schedule: 
    hours: 10
    minutes: 15
  
create_monitor:
  compute: 
    instance_type: standard_e8s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment

  monitoring_signals:
    fraud_detection_model_performance: 
      type: model_performance 
      production_data:
        data_column_names:
          prediction: is_fraud
          correlation_id: correlation_id
      reference_data:
        input_data:
          path: azureml:my_model_ground_truth_data:1
          type: mltable
        data_column_names:
          actual: is_fraud
          correlation_id: correlation_id
        data_context: actuals
      alert_enabled: true
      metric_thresholds: 
        tabular_classification:
          accuracy: 0.95
          precision: 0.8
  alert_notification: 
      emails: 
        - abc@example.com

Python SDK

Setelah memenuhi prasyarat untuk pemantauan performa model, Anda dapat menyiapkan pemantauan model dengan kode Python berikut:

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# reference your azureml endpoint and deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# MDC-generated production data with data column names 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_outputs:1"
    ),
    data_column_names={
        "target_column": "DEFAULT_NEXT_MONTH",
        "join_column": "correlationid"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# ground truth reference data 
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-ground-truth:1"
    ),
    data_column_names={
        "target_column": "ground_truth",
        "join_column": "correlationid"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# create the model performance signal
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'model_performance':model_performance,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Studio

Untuk menyiapkan pemantauan performa model:

1. Selesaikan entri di halaman Pengaturan dasar seperti yang dijelaskan sebelumnya di bagian Menyiapkan pemantauan model di luar kotak.

2. Pilih Berikutnya untuk membuka halaman Konfigurasi aset data dari bagian Pengaturan tingkat lanjut.

3. Pilih + Tambahkan untuk menambahkan himpunan data untuk digunakan sebagai himpunan data kebenaran dasar.

   Pastikan himpunan data output model Anda juga disertakan dalam daftar himpunan data yang ditambahkan. Himpunan data kebenaran dasar yang Anda tambahkan harus memiliki kolom ID unik. Nilai dalam kolom ID unik untuk himpunan data kebenaran dasar dan himpunan data output model harus cocok agar kedua himpunan data digabungkan sebelum komputasi metrik.

   

   

4. Pilih Berikutnya untuk masuk ke halaman Pilih sinyal pemantauan. Pada halaman ini, Anda akan melihat beberapa sinyal pemantauan yang sudah ditambahkan (jika Anda memilih penyebaran online Azure Pembelajaran Mesin sebelumnya).

5. Hapus sinyal pemantauan yang ada di halaman, karena Anda hanya tertarik untuk membuat sinyal pemantauan performa model.

6. Pilih Tambahkan untuk membuka jendela Edit Sinyal .

7. Pilih Performa model (pratinjau) untuk mengonfigurasi sinyal performa model sebagai berikut:

   1. Di langkah 1, untuk aset data produksi, pilih himpunan data output model Anda. Selain itu, buat pilihan berikut:
      • Pilih kolom target yang sesuai (misalnya, is_fraud).
      • Pilih ukuran jendela lookback yang diinginkan dan offset jendela lookback.
   2. Di langkah 2, untuk aset data referensi, pilih aset data kebenaran dasar yang Anda tambahkan sebelumnya. Selain itu, buat pilihan berikut:
      • Pilih kolom target yang sesuai.
      • Pilih kolom untuk melakukan gabungan dengan himpunan data output model. Kolom yang digunakan untuk gabungan harus berupa kolom yang umum antara dua himpunan data dan yang memiliki ID unik untuk setiap baris dalam himpunan data (misalnya, correlationid).
   3. Pada langkah 3, pilih metrik performa yang Anda inginkan dan tentukan ambang masing-masing.

   

8. Pilih Simpan untuk kembali ke halaman Pilih sinyal pemantauan.

   

9. Pilih Berikutnya untuk masuk ke halaman Pemberitahuan .

10. Pada halaman Pemberitahuan , aktifkan pemberitahuan pemberitahuan untuk sinyal performa model dan pilih Berikutnya.

11. Tinjau pengaturan Anda di halaman Tinjau pengaturan pemantauan.

    

12. Pilih Buat untuk membuat monitor performa model Anda.

Menyiapkan pemantauan model dengan membawa data produksi Anda ke Azure Pembelajaran Mesin

Anda juga dapat menyiapkan pemantauan model untuk model yang disebarkan ke titik akhir batch Azure Pembelajaran Mesin atau disebarkan di luar Azure Pembelajaran Mesin. Jika Anda tidak memiliki penyebaran, tetapi Anda memiliki data produksi, Anda dapat menggunakan data untuk melakukan pemantauan model berkelanjutan. Untuk memantau model ini, Anda harus dapat:

• Kumpulkan data inferensi produksi dari model yang disebarkan dalam produksi.
• Daftarkan data inferensi produksi sebagai aset data Azure Pembelajaran Mesin, dan pastikan pembaruan data berkelanjutan.
• Sediakan komponen pra-pemrosesan data kustom dan daftarkan sebagai komponen Azure Pembelajaran Mesin.

Anda harus menyediakan komponen pra-pemrosesan data kustom jika data Anda tidak dikumpulkan dengan pengumpul data. Tanpa komponen praproses data kustom ini, sistem pemantauan model Azure Pembelajaran Mesin tidak akan tahu cara memproses data Anda menjadi bentuk tabular dengan dukungan untuk jendela waktu.

Komponen pra-pemrosesan kustom Anda harus memiliki tanda tangan input dan output ini:

Input/Output	Nama tanda tangan	Tipe	Deskripsi	Contoh nilai
input	data_window_start	literal, string	waktu mulai jendela data dalam format ISO8601.	2023-05-01T04:31:57.012Z
input	data_window_end	literal, string	waktu akhir jendela data dalam format ISO8601.	2023-05-01T04:31:57.012Z
input	input_data	uri_folder	Data inferensi produksi yang dikumpulkan, yang terdaftar sebagai aset data Azure Pembelajaran Mesin.	azureml:myproduction_inference_data:1
output	preprocessed_data	mltable	Himpunan data tabular, yang cocok dengan subset skema data referensi.

Untuk contoh komponen pra-pemrosesan data kustom, lihat custom_preprocessing di repositori GitHub azuremml-examples.

Azure CLI

Setelah memenuhi persyaratan sebelumnya, Anda dapat menyiapkan pemantauan model dengan perintah CLI dan definisi YAML berikut:

az ml schedule create -f ./model-monitoring-with-collected-data.yaml

YAML berikut berisi definisi untuk pemantauan model dengan data inferensi produksi yang telah Anda kumpulkan.

# model-monitoring-with-collected-data.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with your own production data

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:
  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
  
  monitoring_signals:

    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_inputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_training_data:1 # use training data as comparison baseline
          type: mltable
        data_context: training
        data_column_names:
          target_column: is_fraud
      features: 
        top_n_feature_importance: 20 # monitor drift for top 20 features
      metric_thresholds:
        numberical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02

    advanced_prediction_drift: # monitoring signal name, any user defined name works
      type: prediction_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_outputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
          type: mltable
        data_context: validation
      metric_thresholds:
        categorical:
          pearsons_chi_squared_test: 0.02
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Python SDK

Setelah memenuhi persyaratan sebelumnya, Anda dapat menyiapkan pemantauan model dengan kode Python berikut:

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.2"
)

#define target dataset (production dataset)
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:my_model_production_data:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:production_data_preprocessing:1"
)


# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:my_model_training_data:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)


# create an advanced data quality signal
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled="False"
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

Studio

Studio saat ini tidak mendukung konfigurasi pemantauan untuk model yang disebarkan di luar Azure Pembelajaran Mesin. Lihat tab Azure CLI atau Python SDK sebagai gantinya.

Setelah mengonfigurasi monitor dengan CLI atau SDK, Anda dapat melihat hasil pemantauan di studio. Untuk informasi selengkapnya tentang menginterpretasikan hasil pemantauan, lihat Menginterpretasikan hasil pemantauan.

Menyiapkan pemantauan model dengan sinyal dan metrik kustom

Dengan pemantauan model Azure Pembelajaran Mesin, Anda dapat menentukan sinyal kustom dan menerapkan metrik pilihan Anda untuk memantau model Anda. Anda dapat mendaftarkan sinyal kustom ini sebagai komponen Azure Pembelajaran Mesin. Saat pekerjaan pemantauan model Azure Pembelajaran Mesin Anda berjalan pada jadwal yang ditentukan, itu menghitung metrik yang telah Anda tentukan dalam sinyal kustom Anda, seperti halnya untuk sinyal bawaan (penyimpangan data, penyimpangan prediksi, dan kualitas data).

Untuk menyiapkan sinyal kustom yang akan digunakan untuk pemantauan model, Anda harus terlebih dahulu menentukan sinyal kustom dan mendaftarkannya sebagai komponen Azure Pembelajaran Mesin. Komponen Azure Pembelajaran Mesin harus memiliki tanda tangan input dan output ini:

Tanda tangan input komponen

DataFrame input komponen harus berisi item berikut:

• mltable Dengan data yang diproses dari komponen praproses
• Sejumlah literal, masing-masing mewakili metrik yang diimplementasikan sebagai bagian dari komponen sinyal kustom. Misalnya, jika Anda telah menerapkan metrik, std_deviation, maka Anda akan memerlukan input untuk std_deviation_threshold. Umumnya, harus ada satu input per metrik dengan nama <metric_name>_threshold.

Nama tanda tangan	Tipe	Deskripsi	Contoh nilai
production_data	mltable	Himpunan data tabular yang cocok dengan subset skema data referensi.
std_deviation_threshold	literal, string	Ambang masing-masing untuk metrik yang diimplementasikan.	2

Tanda tangan output komponen

Port output komponen harus memiliki tanda tangan berikut.

Nama tanda tangan	Tipe	Deskripsi
signal_metrics	mltable	Mltable yang berisi metrik yang dihitung. Skema ditentukan di bagian berikutnya signal_metrics skema.

skema signal_metrics

DataFrame output komponen harus berisi empat kolom: group, , metric_namemetric_value, dan threshold_value.

Nama tanda tangan	Tipe	Deskripsi	Contoh nilai
grup	literal, string	Pengelompokan logis tingkat atas yang akan diterapkan ke metrik kustom ini.	TRANSACTIONAMOUNT
metric_name	literal, string	Nama metrik kustom.	std_deviation
metric_value	Numerik	Nilai metrik kustom.	44,896.082
threshold_value	Numerik	Ambang batas untuk metrik kustom.	2

Tabel berikut ini memperlihatkan contoh output dari komponen sinyal kustom yang menghitung std_deviation metrik:

grup	metric_value	metric_name	threshold_value
TRANSACTIONAMOUNT	44,896.082	std_deviation	2
LOCALHOUR	3.983	std_deviation	2
TRANSACTIONAMOUNTUSD	54,004.902	std_deviation	2
DIGITALITEMCOUNT	7.238	std_deviation	2
PHYSICALITEMCOUNT	5.509	std_deviation	2

Untuk melihat contoh definisi komponen sinyal kustom dan kode komputasi metrik, lihat custom_signal di repositori azureml-examples.

Azure CLI

Setelah memenuhi persyaratan untuk menggunakan sinyal dan metrik kustom, Anda dapat menyiapkan pemantauan model dengan perintah CLI dan definisi YAML berikut:

az ml schedule create -f ./custom-monitoring.yaml

YAML berikut berisi definisi untuk pemantauan model dengan sinyal kustom. Beberapa hal yang perlu diperhatikan tentang kode:

• Ini mengasumsikan bahwa Anda telah membuat dan mendaftarkan komponen Anda dengan definisi sinyal kustom di Azure Pembelajaran Mesin.
• Komponen component_id sinyal kustom yang terdaftar adalah azureml:my_custom_signal:1.0.0.
• Jika Anda telah mengumpulkan data dengan pengumpul data, Anda dapat menghilangkan pre_processing_component properti . Jika Anda ingin menggunakan komponen prapemroscesan untuk memproses data produksi yang tidak dikumpulkan oleh pengumpul data, Anda dapat menentukannya.

# custom-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: my-custom-signal
trigger:
  type: recurrence
  frequency: day # can be minute, hour, day, week, month
  interval: 7 # #every day
create_monitor:
  compute:
    instance_type: "standard_e4s_v3"
    runtime_version: "3.3"
  monitoring_signals:
    customSignal:
      type: custom
      component_id: azureml:my_custom_signal:1.0.0
      input_data:
        production_data:
          input_data:
            type: uri_folder
            path: azureml:my_production_data:1
          data_context: test
          data_window:
            lookback_window_size: P30D
            lookback_window_offset: P7D
          pre_processing_component: azureml:custom_preprocessor:1.0.0
      metric_thresholds:
        - metric_name: std_deviation
          threshold: 2
  alert_notification:
    emails:
      - abc@example.com

Python SDK

Python SDK saat ini tidak mendukung pemantauan untuk sinyal kustom. Lihat tab Azure CLI sebagai gantinya.

Studio

Studio saat ini tidak mendukung pemantauan untuk sinyal kustom. Lihat tab Azure CLI sebagai gantinya.

Menginterpretasikan hasil pemantauan

Setelah mengonfigurasi monitor model dan proses pertama selesai, Anda dapat menavigasi kembali ke tab Pemantauan di studio Azure Pembelajaran Mesin untuk melihat hasilnya.

• Dari tampilan Pemantauan utama, pilih nama monitor model Anda untuk melihat halaman Ringkasan monitor. Halaman ini memperlihatkan model, titik akhir, dan penyebaran yang sesuai, bersama dengan detail mengenai sinyal yang Anda konfigurasi. Gambar berikutnya menunjukkan dasbor pemantauan yang menyertakan penyimpangan data dan sinyal kualitas data. Bergantung pada sinyal pemantauan yang Anda konfigurasi, dasbor Anda mungkin terlihat berbeda.

  

• Lihat di bagian Pemberitahuan dasbor untuk melihat, untuk setiap sinyal, yang fiturnya melanggar ambang batas yang dikonfigurasi untuk metrik masing-masing:

• Pilih data_drift untuk masuk ke halaman detail penyimpangan data. Pada halaman detail, Anda dapat melihat nilai metrik penyimpangan data untuk setiap fitur numerik dan kategoris yang Anda sertakan dalam konfigurasi pemantauan Anda. Saat monitor Anda memiliki lebih dari satu eksekusi, Anda akan melihat garis tren untuk setiap fitur.

  

• Untuk melihat fitur individual secara rinci, pilih nama fitur untuk melihat distribusi produksi dibandingkan dengan distribusi referensi. Tampilan ini juga memungkinkan Anda melacak penyimpangan dari waktu ke waktu untuk fitur tertentu tersebut.

  

• Kembali ke dasbor pemantauan dan pilih data_quality untuk melihat halaman sinyal kualitas data. Pada halaman ini, Anda dapat melihat tingkat nilai null, tingkat di luar batas, dan tingkat kesalahan jenis data untuk setiap fitur yang Anda pantau.

  

Pemantauan model adalah proses berkelanjutan. Dengan pemantauan model Azure Pembelajaran Mesin, Anda dapat mengonfigurasi beberapa sinyal pemantauan untuk mendapatkan tampilan luas tentang performa model Anda dalam produksi.

Mengintegrasikan pemantauan model Azure Pembelajaran Mesin dengan Azure Event Grid

Anda dapat menggunakan peristiwa yang dihasilkan oleh pemantauan model Azure Pembelajaran Mesin untuk menyiapkan aplikasi, proses, atau alur kerja CI/CD berbasis peristiwa dengan Azure Event Grid. Anda dapat menggunakan peristiwa melalui berbagai penanganan aktivitas, seperti Azure Event Hubs, fungsi Azure, dan aplikasi logika. Berdasarkan penyimpangan yang terdeteksi oleh monitor, Anda dapat mengambil tindakan secara terprogram, seperti dengan menyiapkan alur pembelajaran mesin untuk melatih kembali model dan menyebarkannya kembali.

Untuk mulai mengintegrasikan pemantauan model Azure Pembelajaran Mesin dengan Event Grid:

1. Ikuti langkah-langkah dalam lihat Menyiapkan di portal Azure. Beri nama Langganan Peristiwa Anda, seperti MonitoringEvent, dan pilih hanya kotak Jalankan status yang diubah di bawah Jenis Peristiwa.

   Peringatan

   Pastikan untuk memilih Jalankan status diubah untuk jenis peristiwa. Jangan pilih Penyimpangan himpunan data terdeteksi, karena berlaku untuk penyimpangan data v1, bukan pemantauan model Azure Pembelajaran Mesin.

2. Ikuti langkah-langkah dalam Memfilter & berlangganan peristiwa untuk menyiapkan pemfilteran peristiwa untuk skenario Anda. Navigasi ke tab Filter dan tambahkan Kunci, Operator, dan Nilai berikut ini di bawah Filter Tingkat Lanjut:

   • Kunci: data.RunTags.azureml_modelmonitor_threshold_breached
   • Nilai: gagal karena satu atau beberapa fitur yang melanggar ambang batas metrik
   • Operator: String berisi

   Dengan filter ini, peristiwa dihasilkan saat status eksekusi berubah (dari Selesai menjadi Gagal, atau dari Gagal hingga Selesai) untuk monitor apa pun dalam ruang kerja Azure Pembelajaran Mesin Anda.

3. Untuk memfilter di tingkat pemantauan, gunakan Kunci, Operator, dan Nilai berikut ini di bawah Filter Tingkat Lanjut:

   • Kunci: data.RunTags.azureml_modelmonitor_threshold_breached
   • Nilai: your_monitor_name_signal_name
   • Operator: String berisi

   Pastikan itu your_monitor_name_signal_name adalah nama sinyal di monitor tertentu yang ingin Anda filter peristiwanya. Contohnya,credit_card_fraud_monitor_data_drift. Agar filter ini berfungsi, string ini harus cocok dengan nama sinyal pemantauan Anda. Anda harus memberi nama sinyal Anda dengan nama monitor dan nama sinyal untuk kasus ini.

4. Setelah menyelesaikan konfigurasi Langganan Peristiwa, pilih titik akhir yang diinginkan untuk berfungsi sebagai penanganan aktivitas Anda, seperti Azure Event Hubs.

5. Setelah peristiwa diambil, Anda dapat melihatnya dari halaman titik akhir:

   

Anda juga dapat melihat peristiwa di tab Metrik Azure Monitor:

---

Konten terkait

• Pengumpulan data dari model dalam produksi (pratinjau)
• Mengumpulkan data produksi dari model yang disebarkan untuk inferensi real time
• CLI (v2) menjadwalkan skema YAML untuk pemantauan model (pratinjau)
• Pemantauan model untuk aplikasi AI generatif