Menyiapkan pelatihan AutoML untuk data tabular dengan Azure Pembelajaran Mesin CLI dan Python SDK

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Dalam artikel ini, pelajari cara menyiapkan pekerjaan pelatihan AutoML dengan Azure Machine Learning Python SDK v2. AutoML memilih algoritma dan hiperparameter untuk Anda dan menghasilkan model yang siap untuk penyebaran. Artikel ini menyediakan detail berbagai opsi yang dapat Anda gunakan untuk mengonfigurasi eksperimen AutoML.

Jika Anda lebih suka pengalaman tanpa kode, Anda juga dapat menyiapkan pelatihan AutoML tanpa kode untuk data tabular dengan antarmuka pengguna studio.

Prasyarat

Untuk menggunakan informasi SDK, instal Azure Pembelajaran Mesin SDK v2 untuk Python.

Anda dapat menginstal SDK dengan dua cara:

  • Buat instans komputasi, yang sudah memiliki Azure Pembelajaran Mesin Python SDK terbaru dan dikonfigurasi untuk alur kerja ML. Untuk informasi selengkapnya, lihat Membuat instans komputasi Azure Pembelajaran Mesin.
  • Instal SDK di komputer lokal Anda.

Menyiapkan ruang kerja Anda

Untuk menyambungkan ke ruang kerja, Anda perlu menyediakan langganan, grup sumber daya, dan ruang kerja.

Detail ruang kerja masuk ke MLClient dari azure.ai.ml untuk menyambungkan ke ruang kerja Azure Machine Learning Anda.

Contoh berikut menggunakan autentikasi Azure default dengan konfigurasi atau konfigurasi ruang kerja default dari config.json file dalam struktur folder. Jika tidak config.jsonmenemukan , Anda perlu memberikan ID langganan, grup sumber daya, dan ruang kerja secara manual saat Anda membuat MLClient.

from azure.identity import DefaultAzureCredential, InteractiveBrowserCredential
from azure.ai.ml import MLClient

try:
    credential = DefaultAzureCredential()
    credential.get_token("https://management.azure.com/.default")
except Exception:
    credential = InteractiveBrowserCredential()
ml_client = None
try:
    ml_client = MLClient.from_config(credential)
except Exception as ex:
    print(ex)
    # Enter details of your Azure Machine Learning workspace
    subscription_id = "<SUBSCRIPTION_ID>"
    resource_group = "<RESOURCE_GROUP>"
    workspace = "<AZUREML_WORKSPACE_NAME>"
    ml_client = MLClient(credential, subscription_id, resource_group, workspace)

Tentukan sumber dan format data

Untuk menyediakan data pelatihan di SDK v2, Anda perlu mengunggahnya ke cloud melalui MLTable.

Persyaratan untuk memuat data ke dalam MLTable:

  • Data harus dalam bentuk tabular.
  • Nilai yang akan diprediksi, kolom target, harus ada dalam data.

Data pelatihan harus dapat diakses dari komputasi jarak jauh. AutoML v2 (Python SDK dan CLI/YAML) menerima aset data MLTable (v2). Untuk kompatibilitas mundur, ini juga mendukung Himpunan Data Tabular v1 dari v1, Himpunan Data Tabular terdaftar, melalui properti himpunan data input yang sama. Kami menyarankan agar Anda menggunakan MLTable, tersedia di v2. Dalam contoh ini, data disimpan di jalur lokal, ./train_data/bank_marketing_train_data.csv.

Anda dapat membuat MLTable menggunakan Mltable Python SDK seperti dalam contoh berikut:

import mltable

paths = [
    {'file': './train_data/bank_marketing_train_data.csv'}
]

train_table = mltable.from_delimited_files(paths)
train_table.save('./train_data')

Kode ini membuat file baru, ./train_data/MLTable, yang berisi format file dan instruksi pemuatan.

Sekarang folder ./train_data memiliki file definisi MLTable ditambah file data, bank_marketing_train_data.csv.

Untuk informasi selengkapnya tentang MLTable, lihat Bekerja dengan tabel di Azure Pembelajaran Mesin.

Pelatihan, validasi, dan data pengujian

Anda dapat menentukan data pelatihan terpisah dan himpunan data validasi. Anda harus memberikan data pelatihan ke training_data parameter dalam fungsi pabrik pekerjaan AutoML Anda.

Jika Anda tidak secara eksplisit menentukan validation_data parameter atau n_cross_validation , AutoML menerapkan teknik default untuk menentukan cara melakukan validasi. Penentuan ini tergantung pada jumlah baris dalam set data yang ditetapkan ke parameter training_data Anda.

Ukuran data pelatihan Teknik validasi
Lebih besar dari 20.000 baris AutoML menerapkan pemisahan data pelatihan dan validasi. Defaultnya membutuhkan 10% himpunan data pelatihan awal sebagai kumpulan validasi. AutoML kemudian menggunakan validasi yang ditetapkan untuk perhitungan metrik.
Lebih kecil dari atau sama dengan 20.000 baris AutoML menerapkan pendekatan validasi silang. Jumlah lipatan default tergantung pada jumlah baris.
Jika himpunan data kurang dari 1.000 baris, AutoML menggunakan sepuluh lipatan.
Jika baris sama dengan atau antara 1.000 dan 20.000, AutoML menggunakan tiga lipatan.

Komputasi untuk menjalankan eksperimen

Pekerjaan AutoML dengan Python SDK v2 (atau CLI v2) saat ini hanya didukung pada kluster komputasi jarak jauh azure Machine Learning atau instans komputasi. Untuk informasi selengkapnya tentang membuat komputasi dengan Python SDKv2 atau CLIv2, lihat melatih model dengan Azure Machine Learning CLI, SDK, dan REST API.

Mengonfigurasi pengaturan eksperimen Anda

Anda dapat menggunakan beberapa opsi untuk mengonfigurasi eksperimen AutoML Anda. Parameter konfigurasi ini diatur dalam metode tugas Anda. Anda juga dapat mengatur pengaturan pelatihan pekerjaan dan .

Contoh berikut menunjukkan parameter yang diperlukan untuk tugas klasifikasi yang menentukan akurasi sebagai metrik utama dan lima lipatan validasi silang.

from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import automl, Input

# note that this is a code snippet -- you might have to modify the variable values to run it successfully

# make an Input object for the training data
my_training_data_input = Input(
    type=AssetTypes.MLTABLE, path="./data/training-mltable-folder"
)

# configure the classification job
classification_job = automl.classification(
    compute=my_compute_name,
    experiment_name=my_exp_name,
    training_data=my_training_data_input,
    target_column_name="y",
    primary_metric="accuracy",
    n_cross_validations=5,
    enable_model_explainability=True,
    tags={"my_custom_tag": "My custom value"}
)

# Limits are all optional
classification_job.set_limits(
    timeout_minutes=600, 
    trial_timeout_minutes=20, 
    max_trials=5,
    enable_early_termination=True,
)

# Training properties are optional
classification_job.set_training(
    blocked_training_algorithms=["logistic_regression"], 
    enable_onnx_compatible_models=True
)

Pilih jenis tugas pembelajaran mesin Anda

Sebelum Anda dapat mengirimkan pekerjaan AutoML Anda, tentukan jenis masalah pembelajaran mesin yang ingin Anda selesaikan. Masalah ini menentukan fungsi mana yang digunakan pekerjaan Anda dan algoritma model apa yang diterapkannya.

AutoML mendukung berbagai jenis tugas:

  • Tugas berbasis data tabular

    • klasifikasi
    • regresi
    • prakiraan

  • Tugas visi komputer, termasuk

    • Klasifikasi Gambar
    • Deteksi Objek

  • Tugas pemrosesan bahasa alami, termasuk

    • Klasifikasi teks
    • Pengenalan Entitas

Untuk informasi selengkapnya, lihat jenis tugas. Untuk informasi selengkapnya tentang menyiapkan pekerjaan prakiraan, lihat menyiapkan AutoML untuk melatih model prakiraan rangkaian waktu.

Algoritme yang didukung

AutoML mencoba model dan algoritma yang berbeda selama proses otomatisasi dan penyetelan. Sebagai pengguna, Anda tidak perlu menentukan algoritma.

Metode tugas menentukan daftar algoritma atau model yang akan diterapkan. Untuk memodifikasi iterasi lebih lanjut dengan model yang tersedia untuk disertakan atau dikecualikan, gunakan allowed_training_algorithms parameter atau blocked_training_algorithms dalam training konfigurasi pekerjaan.

Dalam tabel berikut, jelajahi algoritma yang didukung per tugas pembelajaran mesin.

Klasifikasi Regresi Prakiraan Rangkaian Waktu
Regresi Logistik* Jaring Elastis* AutoARIMA
GBM Cahaya* GBM Cahaya* Nabi
Peningkatan Gradien* Peningkatan Gradien* Jaring Elastis
Pohon Keputusan* Pohon Keputusan* GBM Cahaya
K Tetangga Terdekat* K Tetangga Terdekat* K Tetangga Terdekat
SVC Linier* LARS Lasso* Pohon Keputusan
Klasifikasi Vektor Dukungan (SVC)* Penurunan Gradien Stochastic (SGD)* Arimax
Hutan Acak* Hutan Acak LARS Lasso
Pohon yang Sangat Acak* Pohon yang Sangat Acak* Pohon yang Sangat Acak*
XGBoost* XGBoost* Hutan Acak
Naive Bayes* XGBoost TCNForecaster
Penurunan Gradien Stochastic (SGD)* Stochastic Penurunan Gradien (SGD) Peningkatan Gradien
EksponensialSmoothing
SeasonalNaive
Tengah
Naif
SeasonalAverage

Dengan algoritma lain:

Misalnya notebook dari setiap jenis tugas, lihat automl-standalone-jobs.

Metrik utama

Parameter primary_metric menentukan metrik yang akan digunakan selama pelatihan model untuk pengoptimalan. Jenis tugas yang Anda pilih menentukan metrik yang bisa Anda pilih.

Memilih metrik utama agar AutoML dapat dioptimalkan tergantung pada banyak faktor. Kami menyarankan pertimbangan utama Anda adalah untuk memilih metrik yang paling mewakili kebutuhan bisnis. Kemudian pertimbangkan apakah metrik cocok untuk profil himpunan data Anda, termasuk ukuran data, rentang, dan distribusi kelas. Bagian berikut meringkas metrik utama yang disarankan berdasarkan jenis tugas dan skenario bisnis.

Untuk mempelajari tentang definisi spesifik metrik ini, lihat mengevaluasi hasil eksperimen AutoML.

Metrik untuk skenario klasifikasi multi-kelas

Metrik ini berlaku untuk semua skenario klasifikasi, termasuk data tabular, gambar atau visi komputer, dan teks pemrosesan bahasa alami (NLP-Text).

Metrik yang bergantung pada ambang batas, seperti accuracy, recall_score_weighted, norm_macro_recall, dan precision_score_weighted mungkin tidak dioptimalkan juga untuk himpunan data yang kecil, memiliki kemiringan kelas besar (ketidakseimbangan kelas), atau ketika nilai metrik yang diharapkan sangat dekat dengan 0,0 atau 1,0. Dalam kasus tersebut, AUC_weighted bisa menjadi pilihan yang lebih baik untuk metrik utama. Setelah AutoML selesai, Anda dapat memilih model pemenang berdasarkan metrik yang paling sesuai dengan kebutuhan bisnis Anda.

Metrik Contoh kasus penggunaan
accuracy Klasifikasi gambar, analisis sentimen, prediksi Churn
AUC_weighted Deteksi penipuan, Klasifikasi gambar, Deteksi anomali/deteksi spam
average_precision_score_weighted Analisis sentimen
norm_macro_recall Prediksi Churn
precision_score_weighted

Metrik untuk skenario multi-label klasifikasi

Untuk klasifikasi teks multi-label, saat ini 'Akurasi' adalah satu-satunya metrik utama yang didukung.

Untuk klasifikasi gambar multi-label, metrik utama yang didukung ditentukan dalam ClassificationMultilabelPrimaryMetrics enum.

Metrik untuk skenario Pengenalan Entitas Bernama Teks NLP

Untuk teks NLP Named Entity Recognition (NER), saat ini 'Akurasi' adalah satu-satunya metrik utama yang didukung.

Metrik untuk skenario regresi

r2_score, normalized_mean_absolute_error, dan normalized_root_mean_squared_error semua mencoba meminimalkan kesalahan prediksi. r2_score dan normalized_root_mean_squared_error keduanya meminimalkan kesalahan kuadrat rata-rata sambil normalized_mean_absolute_error meminimalkan nilai absolut rata-rata kesalahan. Nilai absolut memperlakukan kesalahan di semua besaran sama dan kesalahan kuadrat memiliki penalti yang jauh lebih besar untuk kesalahan dengan nilai absolut yang lebih besar. Bergantung pada apakah kesalahan yang lebih besar harus dihukum lebih banyak atau tidak, Anda dapat memilih untuk mengoptimalkan kesalahan kuadrat atau kesalahan absolut.

Perbedaan utama antara r2_score dan normalized_root_mean_squared_error adalah bagaimana mereka dinormalisasi dan maknanya. normalized_root_mean_squared_error adalah akar rata-rata kesalahan kuadrat dinormalisasi oleh rentang dan dapat ditafsirkan sebagai besarnya kesalahan rata-rata untuk prediksi. r2_score adalah kesalahan kuadrat rata-rata yang dinormalisasi oleh perkiraan varians data. Ini adalah proporsi variasi yang dapat ditangkap model.

Catatan

r2_score dan normalized_root_mean_squared_error juga berperilaku serupa dengan metrik utama. Jika set validasi tetap diterapkan, kedua metrik ini mengoptimalkan target yang sama, kesalahan kuadrat rata-rata, dan dioptimalkan oleh model yang sama. Saat hanya satu set pelatihan yang tersedia dan validasi silang diterapkan, mereka akan sedikit berbeda karena normalizer untuk normalized_root_mean_squared_error diperbaiki sebagai rentang set pelatihan, tetapi normalizer untuk r2_score akan bervariasi untuk setiap lipatan karena varians untuk setiap lipatan.

Jika peringkat, alih-alih nilai yang tepat, menarik, spearman_correlation bisa menjadi pilihan yang lebih baik. Ini mengukur korelasi peringkat antara nilai nyata dan prediksi.

AutoML saat ini tidak mendukung metrik utama apa pun yang mengukur perbedaan relatif antara prediksi dan pengamatan. Metrik r2_score, normalized_mean_absolute_error, dan normalized_root_mean_squared_error adalah semua ukuran perbedaan absolut. Misalnya, jika prediksi berbeda dari pengamatan sebesar 10 unit, metrik ini menghitung nilai yang sama jika pengamatan adalah 20 unit atau 20.000 unit. Sebaliknya, perbedaan persentase, yang merupakan ukuran relatif, masing-masing memberikan kesalahan 50% dan 0,05%. Untuk mengoptimalkan perbedaan relatif, Anda dapat menjalankan AutoML dengan metrik utama yang didukung lalu memilih model dengan yang terbaik mean_absolute_percentage_error atau root_mean_squared_log_error. Metrik ini tidak terdefinisi ketika nilai pengamatan apa pun nol, sehingga mungkin tidak selalu menjadi pilihan yang baik.

Metrik Contoh kasus penggunaan
spearman_correlation
normalized_root_mean_squared_error Prediksi harga (rumah/produk/tip), Tinjau prediksi skor
r2_score Keterlambatan maskapai, Estimasi gaji, waktu resolusi bug
normalized_mean_absolute_error

Metrik untuk skenario Prakiraan Deret Waktu

Rekomendasinya mirip dengan rekomendasi untuk skenario regresi.

Metrik Contoh kasus penggunaan
normalized_root_mean_squared_error Prediksi harga (perkiraan), Pengoptimalan persediaan, Perkiraan permintaan
r2_score Prediksi harga (perkiraan), Pengoptimalan persediaan, Perkiraan permintaan
normalized_mean_absolute_error

Metrik untuk skenario Deteksi Objek Gambar

Untuk Deteksi Objek gambar, metrik utama yang didukung didefinisikan dalam ObjectDetectionPrimaryMetrics enum.

Metrik untuk skenario Segmentasi Instans Gambar

Untuk skenario Segmentasi Instans gambar, metrik utama yang didukung ditentukan dalam InstanceSegmentationPrimaryMetrics enum.

Featurisasi data

Dalam setiap eksperimen AutoML, data Anda secara otomatis diubah menjadi angka dan vektor angka. Data juga diskalakan dan dinormalisasi untuk membantu algoritma yang sensitif terhadap fitur yang berada pada skala yang berbeda. Transformasi data ini disebut fiturisasi.

Catatan

Langkah-langkah fiturisasi AutoML, seperti normalisasi fitur, menangani data yang hilang, dan mengonversi teks menjadi numerik, menjadi bagian dari model yang mendasar. Saat Anda menggunakan model untuk prediksi, langkah-langkah fiturisasi yang sama yang diterapkan selama pelatihan diterapkan ke data input Anda secara otomatis.

Saat mengonfigurasi pekerjaan AutoML, Anda dapat mengaktifkan atau menonaktifkan featurization pengaturan.

Tabel berikut menunjukkan pengaturan yang diterima untuk fiturisasi.

Konfigurasi Fiturisasi Deskripsi
"mode": 'auto' Menunjukkan bahwa, sebagai bagian dari praproses, pagar pembatas data dan langkah-langkah fiturisasi dilakukan secara otomatis. Nilai ini adalah pengaturan default.
"mode": 'off' Menunjukkan langkah fiturisasi tidak boleh dilakukan secara otomatis.
"mode": 'custom' Menunjukkan bahwa Anda harus menggunakan langkah fiturisasi yang disesuaikan.

Kode berikut menunjukkan cara memberikan fiturisasi kustom dalam hal ini untuk pekerjaan regresi.

from azure.ai.ml.automl import ColumnTransformer

transformer_params = {
    "imputer": [
        ColumnTransformer(fields=["CACH"], parameters={"strategy": "most_frequent"}),
        ColumnTransformer(fields=["PRP"], parameters={"strategy": "most_frequent"}),
    ],
}
regression_job.set_featurization(
    mode="custom",
    transformer_params=transformer_params,
    blocked_transformers=["LabelEncoding"],
    column_name_and_types={"CHMIN": "Categorical"},
)

Kriteria keluar

Anda dapat menentukan beberapa opsi dalam set_limits() fungsi untuk mengakhiri eksperimen Anda sebelum pekerjaan selesai.

Kriteria deskripsi
Tidak ada kriteria Jika Anda tidak menentukan parameter keluar apa pun, eksperimen berlanjut hingga tidak ada kemajuan lebih lanjut yang dibuat pada metrik utama Anda.
timeout Menentukan berapa lama, dalam menit, eksperimen Anda harus terus berjalan. Jika tidak ditentukan, total batas waktu pekerjaan default adalah enam hari (8.640 menit). Untuk menentukan batas waktu kurang dari atau sama dengan 1 jam (60 menit), pastikan ukuran himpunan data Anda tidak lebih besar dari 10.000.000 (kolom waktu baris) atau hasil kesalahan.

Batas waktu ini mencakup penyiapan, fiturisasi, dan eksekusi pelatihan tetapi tidak termasuk ansambel dan keterjelasan model berjalan di akhir proses karena tindakan tersebut perlu terjadi setelah semua percobaan (pekerjaan anak-anak) selesai.
trial_timeout_minutes Waktu maksimum dalam menit yang dapat dijalankan setiap percobaan (pekerjaan turunan) sebelum berakhir. Jika tidak ditentukan, AutoML menggunakan nilai 1 bulan atau 43200 menit.
enable_early_termination Apakah akan mengakhiri pekerjaan jika skor tidak membaik dalam jangka pendek.
max_trials Jumlah maksimum percobaan/menjalankan masing-masing dengan kombinasi algoritma dan hyper-parameter yang berbeda untuk dicoba selama pekerjaan. Jika tidak ditentukan, defaultnya adalah 1.000 percobaan. Jika Anda menggunakan enable_early_termination, AutoML mungkin menggunakan lebih sedikit uji coba.
max_concurrent_trials Jumlah maksimum uji coba (pekerjaan anak) yang akan berjalan secara paralel. Ini adalah praktik yang baik untuk mencocokkan angka ini dengan jumlah simpul kluster Anda.

Menjalankan eksperimen

Kirim eksperimen untuk menjalankan dan membuat model.

Catatan

Jika Anda menjalankan eksperimen dengan pengaturan konfigurasi dan metrik utama yang sama beberapa kali, Anda mungkin melihat variasi dalam skor metrik akhir setiap eksperimen dan model yang dihasilkan. Algoritma yang digunakan AutoML memiliki keacakan melekat yang dapat menyebabkan sedikit variasi dalam output model oleh eksperimen dan skor metrik akhir model yang direkomendasikan, seperti akurasi. Anda juga mungkin melihat hasil dengan nama model yang sama, tetapi parameter hiper yang berbeda yang digunakan.

Peringatan

Jika Anda telah menetapkan aturan di firewall atau Grup Keamanan Jaringan di ruang kerja Anda, verifikasi bahwa izin yang diperlukan diberikan untuk lalu lintas jaringan masuk dan keluar seperti yang ditentukan dalam mengonfigurasi lalu lintas jaringan masuk dan keluar.

Dengan yang MLClient dibuat dalam prasyarat, Anda dapat menjalankan perintah berikut di ruang kerja.


# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

# Get a URL for the status of the job
returned_job.services["Studio"].endpoint

Beberapa anak berjalan pada kluster

Anda dapat menjalankan eksekusi anak eksperimen AutoML pada kluster yang sudah menjalankan eksperimen lain. Waktu tergantung pada berapa banyak simpul yang dimiliki kluster dan apakah simpul tersebut tersedia untuk menjalankan eksperimen yang berbeda.

Setiap simpul dalam kluster bertindak sebagai komputer virtual individu (VM) yang dapat menyelesaikan satu pelatihan yang dijalankan. Untuk AutoML, ini berarti eksekusi anak. Jika semua simpul sibuk, AutoML mengantrekan eksperimen baru. Jika simpul gratis tersedia, eksperimen baru menjalankan eksekusi anak secara paralel dalam simpul atau komputer virtual yang tersedia.

Untuk membantu mengelola eksekusi anak dan kapan mereka dapat berjalan, kami sarankan Anda membuat kluster khusus per eksperimen, dan mencocokkan jumlah max_concurrent_iterations eksperimen Anda dengan jumlah simpul dalam kluster. Dengan cara ini, Anda menggunakan semua simpul kluster secara bersamaan dengan jumlah eksekusi anak bersamaan dan iterasi yang Anda inginkan.

Konfigurasikan max_concurrent_iterationslimits dalam konfigurasi. Jika tidak dikonfigurasi, maka secara default hanya satu eksekusi/iterasi turunan bersamaan yang diizinkan per eksperimen. Untuk instans komputasi, Anda dapat mengatur max_concurrent_trials agar sama dengan jumlah inti pada komputer virtual instans komputasi.

Menjelajahi model dan metrik

AutoML menawarkan opsi bagi Anda untuk memantau dan mengevaluasi hasil pelatihan Anda.

Dari antarmuka pengguna Azure Pembelajaran Mesin di halaman model, Anda juga dapat melihat parameter hiper yang digunakan saat melatih model tertentu dan juga melihat dan menyesuaikan kode pelatihan model internal yang digunakan.

Mendaftarkan dan menggunakan model

Setelah Anda menguji model dan mengonfirmasi bahwa Anda ingin menggunakannya dalam produksi, Anda dapat mendaftarkannya untuk digunakan nanti.

Petunjuk / Saran

Untuk model terdaftar, Anda dapat menggunakan penyebaran satu klik dengan menggunakan studio Azure Pembelajaran Mesin. Lihat menyebarkan model Anda.

Menggunakan AutoML dalam alur

Untuk menggunakan AutoML dalam alur kerja operasi pembelajaran mesin, Anda dapat menambahkan langkah-langkah Pekerjaan AutoML ke Alur Azure Machine Learning Anda. Pendekatan ini memungkinkan Anda mengotomatiskan seluruh alur kerja dengan menghubungkan skrip persiapan data Anda ke AutoML. Kemudian daftarkan dan validasi model terbaik yang dihasilkan.

Kode ini adalah alur sampel dengan komponen klasifikasi AutoML dan komponen perintah yang menunjukkan output yang dihasilkan. Kode mereferensikan input (data pelatihan dan validasi) dan output (model terbaik) dalam langkah yang berbeda.

# Define pipeline
@pipeline(
    description="AutoML Classification Pipeline",
    )
def automl_classification(
    classification_train_data,
    classification_validation_data
):
    # define the automl classification task with automl function
    classification_node = classification(
        training_data=classification_train_data,
        validation_data=classification_validation_data,
        target_column_name="y",
        primary_metric="accuracy",
        # currently need to specify outputs "mlflow_model" explictly to reference it in following nodes 
        outputs={"best_model": Output(type="mlflow_model")},
    )
    # set limits and training
    classification_node.set_limits(max_trials=1)
    classification_node.set_training(
        enable_stack_ensemble=False,
        enable_vote_ensemble=False
    )

    command_func = command(
        inputs=dict(
            automl_output=Input(type="mlflow_model")
        ),
        command="ls ${{inputs.automl_output}}",
        environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:latest"
    )
    show_output = command_func(automl_output=classification_node.outputs.best_model)


pipeline_job = automl_classification(
    classification_train_data=Input(path="./training-mltable-folder/", type="mltable"),
    classification_validation_data=Input(path="./validation-mltable-folder/", type="mltable"),
)

# set pipeline level compute
pipeline_job.settings.default_compute = compute_name

# submit the pipeline job
returned_pipeline_job = ml_client.jobs.create_or_update(
    pipeline_job,
    experiment_name=experiment_name
)
returned_pipeline_job

# ...
# Note that this is a snippet from the bankmarketing example you can find in our examples repo -> https://github.com/Azure/azureml-examples/tree/main/sdk/python/jobs/pipelines/1h_automl_in_pipeline/automl-classification-bankmarketing-in-pipeline

Untuk contoh selengkapnya tentang cara menyertakan AutoML dalam alur Anda, lihat repositori contoh.

Menggunakan AutoML dalam skala besar: pelatihan terdistribusi

Untuk skenario data besar, AutoML mendukung pelatihan terdistribusi untuk serangkaian model terbatas:

Algoritma terdistribusi Tugas yang didukung Batas ukuran data (perkiraan)
LightGBM Klasifikasi, regresi 1 Terabyte (TB)
TCNForecaster Prakiraan 200 GB

Algoritma pelatihan terdistribusi secara otomatis mempartisi dan mendistribusikan data Anda di beberapa simpul komputasi untuk pelatihan model.

Catatan

Validasi silang, model ansambel, dukungan ONNX, dan pembuatan kode saat ini tidak didukung dalam mode pelatihan terdistribusi. Selain itu, AutoML dapat membuat pilihan seperti membatasi fiturizer dan data sub-pengambilan sampel yang tersedia yang digunakan untuk validasi, penjelasan, dan evaluasi model.

Pelatihan terdistribusi untuk klasifikasi dan regresi

Untuk menggunakan pelatihan terdistribusi untuk klasifikasi atau regresi, atur training_mode properti dan max_nodes objek pekerjaan.

Properti Deskripsi
mode pelatihan Menunjukkan mode pelatihan: distributed atau non_distributed. Default ke non_distributed.
maksimal_simpul Jumlah simpul yang digunakan untuk pelatihan oleh setiap uji coba. Pengaturan ini harus lebih besar dari atau sama dengan 4.

Sampel kode berikut menunjukkan contoh pengaturan ini untuk pekerjaan klasifikasi:

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
classification_job.set_training(
    allowed_training_algorithms=["LightGBM"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes for each trial
classification_job.set_limits(
    max_nodes=4,
    # other limit settings
)

Catatan

Pelatihan terdistribusi untuk tugas klasifikasi dan regresi saat ini tidak mendukung beberapa uji coba bersamaan. Uji coba model berjalan secara berurutan dengan setiap uji coba menggunakan max_nodes simpul. max_concurrent_trials Pengaturan batas saat ini diabaikan.

Pelatihan terdistribusi untuk prakiraan

Untuk mempelajari cara kerja pelatihan terdistribusi untuk tugas prakiraan, lihat prakiraan dalam skala besar. Untuk menggunakan pelatihan terdistribusi untuk prakiraan, Anda perlu mengatur training_mode, , enable_dnn_trainingmax_nodes, dan secara max_concurrent_trials opsional properti objek pekerjaan.

Properti Deskripsi
mode pelatihan Menunjukkan mode pelatihan; distributed atau non_distributed. Default ke non_distributed.
aktifkan_pelatihan_dnn Bendera untuk mengaktifkan model jaringan neural mendalam.
uji coba bersamaan maksimum Nilai ini adalah jumlah maksimum model uji coba untuk dilatih secara paralel. Default ke 1.
maksimal_simpul Jumlah total simpul yang digunakan untuk pelatihan. Pengaturan ini harus lebih besar dari atau sama dengan 2. Untuk tugas prakiraan, setiap model uji coba dilatih menggunakan $\text{max}\left(2, \text{floor}( \text{max_nodes} / \text{max_concurrent_trials}) \right)$ node.

Sampel kode berikut menunjukkan contoh pengaturan ini untuk pekerjaan prakiraan:

from azure.ai.ml.constants import TabularTrainingMode

# Set the training mode to distributed
forecasting_job.set_training(
    enable_dnn_training=True,
    allowed_training_algorithms=["TCNForecaster"],
    training_mode=TabularTrainingMode.DISTRIBUTED
)

# Distribute training across 4 nodes
# Train 2 trial models in parallel => 2 nodes per trial
forecasting_job.set_limits(
    max_concurrent_trials=2,
    max_nodes=4,
    # other limit settings
)

Untuk sampel kode konfigurasi lengkap, lihat bagian sebelumnya tentang konfigurasi dan pengiriman pekerjaan.

Konten terkait

  • Last updated on