Apa itu pembelajaran mesin otomatis (AutoML)?

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

Pembelajaran mesin otomatis, juga dikenal sebagai ML atau AutoML otomatis, mengotomatiskan tugas pengembangan model pembelajaran mesin yang memakan waktu dan berulang. Dengan ML otomatis, ilmuwan data, analis, dan pengembang dapat membangun model pembelajaran mesin dalam skala besar dengan efisiensi dan produktivitas, sambil mempertahankan kualitas model. ML Otomatis di Azure Machine Learning didasarkan pada terobosan dari divisi Microsoft Research.

• Untuk pelanggan berpengalaman dalam pemrograman, instal Azure Machine Learning Python SDK. Mulai menggunakan Tutorial: Melatih model deteksi objek (pratinjau) dengan AutoML dan Python.

Bagaimana cara kerja AutoML?

Selama pelatihan, Azure Pembelajaran Mesin membuat banyak alur secara paralel yang mencoba algoritma dan parameter yang berbeda untuk Anda. Layanan ini melakukan iterasi melalui algoritma ML yang dipasangkan dengan pilihan fitur. Setiap iterasi menghasilkan model dengan skor hasil pelatihan. Semakin baik skor untuk metrik yang ingin Anda optimalkan, semakin baik model sesuai dengan data Anda. Proses berhenti setelah memenuhi kriteria keluar yang ditentukan dalam eksperimen.

Menggunakan Azure Machine Learning, Anda dapat mendesain dan menjalankan eksperimen pelatihan ML otomatis dengan langkah-langkah berikut:

1. Identifikasi masalah ML untuk dipecahkan: klasifikasi, prakiraan, regresi, visi komputer, atau NLP.

2. Pilih pengalaman code-first atau pengalaman web studio tanpa kode: Pengguna yang lebih memilih pengalaman code-first dapat menggunakan Azure Machine Learning SDKv2 atau Azure Machine Learning CLIv2. Mulai menggunakan Tutorial: Melatih model deteksi objek dengan AutoML dan Python. Pengguna yang lebih suka pengalaman terbatas atau tanpa kode dapat menggunakan antarmuka web di studio Azure Pembelajaran Mesin di https://ml.azure.com. Mulai menggunakan Tutorial: Membuat model klasifikasi dengan ML otomatis di Azure Pembelajaran Mesin.

3. Tentukan sumber data pelatihan berlabel: Bawa data Anda ke Azure Machine Learning dengan berbagai cara.

4. Mengonfigurasi parameter pembelajaran mesin otomatis: Atur jumlah iterasi di atas model yang berbeda, pengaturan hiperparameter, opsi praproses dan fiturisasi tingkat lanjut, dan metrik yang akan dievaluasi saat menentukan model terbaik.

5. Kirim pekerjaan pelatihan.

6. Tinjau hasilnya.

Diagram berikut mengilustrasikan proses ini.

Anda juga dapat memeriksa informasi pekerjaan yang tercatat di log, yang berisi metrik yang dikumpulkan selama pelaksanaan pekerjaan. Pekerjaan pelatihan ini menghasilkan objek serial Python (file .pkl) yang berisi model dan prapemrosesan data.

Saat pembangunan model dilakukan secara otomatis, Anda juga dapat mempelajari seberapa penting atau relevan fitur untuk model yang dihasilkan.

Kapan menggunakan AutoML: klasifikasi, regresi, prakiraan, visi komputer, dan NLP

Gunakan ML otomatis saat Anda ingin Azure Machine Learning melatih dan menyetel model untuk Anda dengan menggunakan metrik target yang Anda tentukan. ML otomatis mendemokratisasi proses pengembangan model pembelajaran mesin dan memberdayakan penggunanya, terlepas dari keahlian ilmu data mereka, untuk mengidentifikasi alur pembelajaran mesin end-to-end untuk masalah apa pun.

Profesional dan pengembang ML di seluruh industri dapat menggunakan ML otomatis untuk:

• Terapkan solusi ML tanpa pengetahuan pemrograman yang luas
• Menghemat waktu dan sumber daya
• Menerapkan praktik terbaik ilmu data
• Sediakan pemecahan masalah yang lincah

Klasifikasi

Klasifikasi adalah jenis pembelajaran yang diawasi di mana model belajar menggunakan data pelatihan dan menerapkan pembelajaran tersebut ke data baru. Azure Machine Learning menawarkan featurisasi khusus untuk tugas-tugas ini, seperti featurisasi teks jaringan saraf dalam untuk klasifikasi. Untuk informasi selengkapnya tentang opsi fiturisasi, lihat Fiturisasi data. Anda juga dapat menemukan daftar algoritma yang didukung oleh AutoML pada Algoritma yang didukung.

Tujuan utama model klasifikasi adalah untuk memprediksi kategori data baru mana yang termasuk dalam berdasarkan pembelajaran dari data pelatihannya. Contoh klasifikasi umum termasuk deteksi penipuan, pengenalan tulisan tangan, dan deteksi objek.

Lihat contoh klasifikasi dan pembelajaran mesin otomatis dalam notebook Python ini: Pemasaran Bank.

Regresi

Mirip dengan klasifikasi, tugas regresi juga merupakan tugas pembelajaran yang diawasi bersama. Azure Pembelajaran Mesin menawarkan fiturisasi khusus untuk masalah regresi. Pelajari selengkapnya tentang opsi fiturisasi. Anda juga dapat menemukan daftar algoritma yang didukung oleh AutoML pada Algoritma yang didukung.

Berbeda dari klasifikasi saat nilai output yang diprediksi memiliki kategori, model regresi memprediksi nilai output numerik berdasarkan prediktor independen. Dalam regresi, tujuannya adalah untuk membantu membangun hubungan di antara variabel prediktor independen dengan memperkirakan bagaimana satu variabel berdampak pada yang lain. Misalnya, model mungkin memprediksi harga mobil berdasarkan fitur seperti jarak tempuh gas dan peringkat keamanan.

Lihat contoh regresi dan pembelajaran mesin otomatis untuk prediksi di notebook Python ini: Performa Perangkat Keras.

Prakiraan rangkaian waktu

Prakiraan bangunan adalah bagian integral dari bisnis apa pun, baik itu pendapatan, inventaris, penjualan, atau permintaan pelanggan. Gunakan ML otomatis untuk menggabungkan teknik dan pendekatan dan mendapatkan perkiraan rangkaian waktu berkualitas tinggi yang direkomendasikan. Untuk daftar algoritma yang didukung oleh AutoML, lihat Algoritma yang didukung.

Eksperimen rangkaian waktu otomatis memperlakukan masalah sebagai masalah regresi multivariat. Nilai rangkaian waktu sebelumnya "dipivot" untuk menjadi lebih banyak dimensi bagi regressor bersama dengan prediktor lain. Pendekatan ini, tidak seperti metode rangkaian waktu klasik, memiliki keuntungan secara alami menggabungkan beberapa variabel kontekstual dan hubungannya satu sama lain selama pelatihan. ML otomatis mempelajari model tunggal, tetapi sering bercabang secara internal, untuk semua item dalam himpunan data dan cakrawala prediksi. Dengan demikian lebih banyak data tersedia untuk memperkirakan parameter model dan menjadi mungkin untuk menggeneralisasi ke seri yang tidak terlihat.

Konfigurasi prakiraan tingkat lanjut meliputi:

• Deteksi dan pendataan fitur liburan
• Pembelajar rangkaian waktu dan DNN (Auto-ARIMA, Prophet, ForecastTCN)
• Dukungan untuk banyak model melalui pengelompokan
• Validasi silang dengan metode rolling-origin
• Jeda yang dapat dikonfigurasi
• Fitur agregat jendela gulir

Untuk contoh prakiraan dan pembelajaran mesin otomatis, lihat notebook Python ini: Permintaan Energi.

Penglihatan Komputer

Dukungan untuk tugas visi komputer memungkinkan Anda membuat model yang dilatih pada data gambar dengan mudah untuk skenario seperti klasifikasi gambar dan deteksi objek.

Dengan kemampuan ini, Anda dapat:

• Integrasikan dengan mulus kemampuan pelabelan data dari Azure Machine Learning.
• Gunakan data berlabel untuk menghasilkan model gambar.
• Optimalkan performa model dengan menentukan algoritma model dan menyetel hiperparameter.
• Unduh atau sebarkan model yang dihasilkan sebagai layanan web di Azure Machine Learning.
• Mengoperasikan dalam skala besar, memanfaatkan kemampuan Azure Machine Learning MLOps dan ML Pipelines.

Anda dapat menulis model AutoML untuk tugas visi dengan menggunakan Azure Machine Learning Python SDK. Anda dapat mengakses pekerjaan, model, dan output eksperimen yang dihasilkan dari antarmuka pengguna studio Azure Machine Learning.

Pelajari cara menyiapkan pelatihan AutoML untuk model penglihatan komputer.

Gambar dari: http://cs231n.stanford.edu/slides/2021/lecture_15.pdf

AML otomatis untuk gambar mendukung tugas penglihatan komputer berikut:

Tugas	Deskripsi
Klasifikasi gambar multi-kelas	Tugas di mana gambar diklasifikasikan hanya dengan satu label dari satu set kelas - misalnya, setiap gambar diklasifikasikan sebagai gambar 'kucing' atau 'anjing' atau 'bebek'.
Klasifikasi gambar multi-label	Tugas di mana gambar dapat memiliki satu atau beberapa label dari sekumpulan label - misalnya, gambar dapat diberi label dengan 'kucing' dan 'anjing'.
Pendeteksian objek	Tugas untuk mengidentifikasi objek dalam gambar dan menemukan setiap objek dengan kotak pembatas, misalnya, menemukan semua anjing dan kucing dalam gambar dan menggambar kotak pembatas di sekitar masing-masing.
Segmentasi instans	Tugas untuk mengidentifikasi objek dalam gambar pada tingkat piksel, menggambar poligon di sekitar setiap objek dalam gambar.

Pemrosesan bahasa alami: NLP

Dukungan untuk tugas pemrosesan bahasa alami (NLP) di ML otomatis memungkinkan Anda untuk dengan mudah menghasilkan model yang dilatih pada data teks untuk klasifikasi teks dan skenario pengenalan entitas bernama. Anda dapat menulis model NLP terlatih ML otomatis melalui Azure Machine Learning Python SDK. Anda dapat mengakses pekerjaan, model, dan output eksperimen yang dihasilkan dari antarmuka pengguna studio Azure Machine Learning.

Kemampuan NLP mendukung:

• Pelatihan pengolahan bahasa alami (NLP) dengan jaringan saraf dalam end-to-end menggunakan model BERT yang sudah dilatih sebelumnya.
• Integrasi yang mulus dengan pelabelan data Azure Machine Learning
• Menggunakan data berlabel untuk menghasilkan model NLP
• Dukungan multibahasa dengan 104 bahasa
• Pelatihan terdistribusi dengan Horovod

Pelajari cara menyiapkan pelatihan AutoML untuk model NLP.

Pelatihan, validasi, dan data pengujian

Dengan ML otomatis, Anda menyediakan data pelatihan untuk melatih model ML, dan Anda dapat menentukan jenis validasi model apa yang akan dilakukan. ML otomatis melakukan validasi model sebagai bagian dari pelatihan. Artinya, ML otomatis menggunakan data validasi untuk menyetel hiperparameter model berdasarkan algoritma yang diterapkan untuk menemukan kombinasi yang paling sesuai dengan data pelatihan. Namun, data validasi yang sama digunakan untuk setiap iterasi penyetelan, yang memperkenalkan bias evaluasi model karena model terus meningkat dan sesuai dengan data validasi.

Untuk membantu mengonfirmasi bahwa bias tersebut tidak diterapkan pada model akhir yang direkomendasikan, ML otomatis mendukung penggunaan data uji untuk mengevaluasi model akhir yang direkomendasikan ML otomatis pada akhir percobaan Anda. Saat Anda memberikan data uji sebagai bagian dari konfigurasi eksperimen AutoML, model yang direkomendasikan ini diuji secara default di akhir eksperimen Anda (pratinjau).

Penting

Menguji model Anda dengan himpunan data uji untuk mengevaluasi model yang dihasilkan adalah fitur pratinjau. Kemampuan ini adalah fitur pratinjau eksperimental , dan dapat berubah kapan saja.

Pelajari cara mengonfigurasi eksperimen AutoML untuk menggunakan data uji (pratinjau) dengan SDK atau dengan studio Azure Machine Learning.

Rekayasa fitur

Rekayasa fitur menggunakan pengetahuan domain tentang data untuk membuat fitur yang membantu algoritma ML belajar lebih baik. Di Azure Machine Learning, teknik penskalaan dan normalisasi membantu rekayasa fitur. Secara kolektif, teknik dan rekayasa fitur ini disebut sebagai fiturisasi.

Untuk eksperimen pembelajaran mesin otomatis, fiturisasi terjadi secara otomatis, tetapi Anda juga dapat menyesuaikannya berdasarkan data Anda. Pelajari selengkapnya tentang fiturisasi apa yang disertakan (SDK v1) dan bagaimana AutoML membantu mencegah data yang terlalu pas dan tidak seimbang dalam model Anda.

Catatan

Langkah-langkah fiturisasi pembelajaran mesin otomatis, seperti normalisasi fitur, menangani data yang hilang, dan mengonversi teks menjadi numerik, menjadi bagian dari model yang mendasar. Saat Anda menggunakan model untuk prediksi, langkah-langkah fiturisasi yang sama yang diterapkan selama pelatihan secara otomatis diterapkan ke data input Anda.

Menyesuaikan fiturisasi

Anda juga dapat menggunakan teknik rekayasa fitur lainnya, seperti pengodean dan transformasi.

Aktifkan pengaturan ini dengan:

• Studio Azure Machine Learning: Aktifkan Fiturisasi otomatis di bagian Tampilkan konfigurasi tambahandengan langkah-langkah ini.

• Python SDK: Tentukan fiturisasi dalam objek Pekerjaan AutoML Anda. Pelajari selengkapnya tentang mengaktifkan fiturisasi.

Model ansambel

Pembelajaran mesin otomatis mendukung model ansambel, yang diaktifkan secara default. Pembelajaran ansambel meningkatkan hasil pembelajaran mesin dan performa prediktif dengan menggabungkan beberapa model alih-alih menggunakan model tunggal. Iterasi ansambel muncul sebagai perulangan akhir dari pekerjaan Anda. Pembelajaran mesin otomatis menggunakan metode ensemble voting dan stacking untuk menggabungkan model:

• Pemungutan Suara: Memprediksi berdasarkan rata-rata tertimbang probabilitas kelas yang diprediksi (untuk tugas klasifikasi) atau target regresi yang diprediksi (untuk tugas regresi).
• Stacking: Menggabungkan model heterogen dan melatih Meta-Model berdasarkan output dari model individual. Meta-model default saat ini adalah LogisticRegression untuk tugas klasifikasi dan ElasticNet untuk tugas regresi/prakiraan.

Algoritma pemilihan ansambel Caruana dengan inisialisasi ansambel yang diurutkan memutuskan model mana yang akan digunakan dalam ansambel. Pada tingkat tinggi, algoritma ini menginisialisasi ansambel dengan hingga lima model dengan skor individu terbaik dan memverifikasi bahwa model-model ini berada dalam ambang batas 5% dari skor terbaik untuk menghindari ansambel awal yang buruk. Kemudian untuk setiap perulangan ansambel, model baru ditambahkan ke ansambel yang ada dan skor yang dihasilkan dihitung. Jika model baru meningkatkan skor ansambel yang ada, ansambel akan diperbarui untuk menyertakan model baru.

Lihat paket AutoML untuk mengubah pengaturan ansambel default dalam pembelajaran mesin otomatis.

AutoML & ONNX

Dengan Azure Machine Learning, Anda dapat menggunakan ML otomatis untuk membuat model Python dan mengonversinya ke format ONNX. Setelah model dalam format ONNX, Anda dapat menjalankannya di berbagai platform dan perangkat. Pelajari selengkapnya cara mempercepat model ML dengan ONNX.

Lihat cara mengonversi ke format ONNX dalam contoh buku catatan Jupyter ini. Pelajari algoritma mana yang didukung di ONNX.

Runtime ONNX juga mendukung C#, sehingga Anda dapat menggunakan model yang dibuat secara otomatis di aplikasi C# Anda tanpa perlu melakukan pengkodean ulang atau latensi jaringan apa pun yang diperkenalkan oleh titik akhir REST. Pelajari selengkapnya tentang menggunakan model AutoML ONNX dalam aplikasi .NET dengan ML.NET dan inferensi model ONNX dengan runtime ONNX C# API.

Langkah berikutnya

Gunakan sumber daya berikut untuk memulai dan menjalankan AutoML.

Tutorial dan artikel cara penggunaan

Tutorial-tutorial adalah contoh pengantar menyeluruh dari skenario AutoML.

• Untuk pengalaman pertama kode, ikuti Tutorial: Melatih model deteksi objek dengan AutoML dan Python.

• Untuk pengalaman rendah kode atau tanpa kode, lihat Tutorial: Melatih model klasifikasi dengan AutoML tanpa kode di Azure Machine Learning Studio.

Artikel panduan memberikan detail selengkapnya tentang fungsionalitas apa yang ditawarkan ML otomatis. Contohnya,

• Mengonfigurasi pengaturan untuk eksperimen pelatihan otomatis

  • Tanpa kode di studio Azure Machine Learning.
  • Dengan Python SDK.

• Pelajari cara melatih model penglihatan komputer dengan Python.

• Pelajari cara melihat kode yang dihasilkan dari model ML otomatis (SDK v1).

Notebook Jupyter contoh

Tinjau contoh kode terperinci dan kasus penggunaan di repositori buku catatan GitHub untuk sampel pembelajaran mesin otomatis.

Referensi Python SDK

Perdalam keahlian Anda tentang pola desain SDK dan spesifikasi kelas dengan dokumentasi referensi kelas pekerjaan AutoML.

Catatan

Kemampuan pembelajaran mesin otomatis juga tersedia di solusi Microsoft lainnya, seperti ML.NET, HDInsight, Power BI, dan SQL Server.