Melatih model dengan Azure Machine Learning (v1)

Artikel
06/03/2023

Azure Machine Learning menyediakan beberapa cara untuk melatih model Anda, mulai dari solusi code-first menggunakan SDK hingga solusi kode rendah seperti pembelajaran mesin otomatis dan desainer visual. Gunakan daftar berikut untuk menentukan metode pelatihan mana yang tepat untuk Anda:

Azure Machine Learning SDK for Python: The Python SDK menyediakan beberapa cara untuk melatih model, masing-masing dengan kemampuan yang berbeda.

Metode pelatihan	Deskripsi
Konfigurasi jalankan	Cara khusus untuk melatih model adalah dengan menggunakan skrip pelatihan dan konfigurasi pekerjaan. Konfigurasi pekerjaan memberi informasi yang diperlukan untuk mengonfigurasi lingkungan pelatihan yang digunakan untuk melatih model. Anda dapat menentukan skrip pelatihan, target komputasi, dan lingkungan Azure Pembelajaran Mesin dalam konfigurasi pekerjaan Anda dan menjalankan pekerjaan pelatihan.
Pembelajaran mesin otomatis	Pembelajaran mesin otomatis memungkinkan Anda untuk melatih model tanpa ilmu data atau pengetahuan pemrograman yang luas. Bagi orang yang memiliki ilmu data dan latar belakang pemrograman, ini menjadi cara untuk menghemat waktu dan sumber daya dengan mengotomatiskan pemilihan algoritma dan penyetelan hyperparameter. Anda tidak perlu repot menentukan konfigurasi pekerjaan saat menggunakan pembelajaran mesin otomatis.
Alur pembelajaran mesin	Alur bukan merupakan metode pelatihan yang berbeda, tetapi merupakan cara menentukan alur kerja menggunakan langkah-langkah modular yang dapat digunakan kembali, yang dapat menyertakan pelatihan sebagai bagian dari alur kerja. Alur pembelajaran mesin mendukung penggunaan pembelajaran mesin otomatis dan konfigurasi jalankan untuk melatih model. Karena alur tidak difokuskan secara khusus pada pelatihan, alasan untuk menggunakan alur lebih bervariasi daripada metode pelatihan lainnya. Umumnya, Anda dapat menggunakan alur ketika: * Anda ingin menjadwalkan proses tanpa pengawasan seperti pekerjaan pelatihan yang berjalan lama atau penyiapan data. * Gunakan beberapa langkah yang dikoordinasikan di seluruh sumber daya komputasi heterogen dan lokasi penyimpanan. * Gunakan alur sebagai templat yang dapat digunakan kembali untuk skenario tertentu, seperti pelatihan ulang atau penilaian batch. * Pelacakan dan versi sumber data, input, dan output untuk alur kerja Anda. * Alur kerja Anda diimplementasikan oleh tim yang berbeda yang bekerja dengan langkah-langkah tertentu secara independen. Langkah-langkah kemudian dapat digabungkan dalam alur untuk mengimplementasikan alur kerja.

Perancang: Perancang Azure Machine Learning menyediakan titik masuk yang mudah ke dalam pembelajaran mesin untuk membangun bukti konsep, atau untuk pengguna dengan sedikit pengalaman pengkodean. Ini memungkinkan Anda untuk melatih model menggunakan UI berbasis web drag and drop. Anda dapat menggunakan kode Python sebagai bagian dari desain, atau melatih model tanpa menulis kode apa pun.
Azure CLI: CLI pembelajaran mesin menyediakan perintah untuk tugas umum dengan Azure Machine Learning, dan sering digunakan untuk tugas pembuatan skrip dan otomatisasi. Misalnya, setelah membuat skrip atau alur pelatihan, Anda dapat menggunakan CLI untuk memulai pekerjaan pelatihan sesuai jadwal atau saat file data yang digunakan untuk pelatihan diperbarui. Untuk model pelatihan, CLI menyediakan perintah yang mengirimkan pekerjaan pelatihan. CLI dapat mengirimkan pekerjaan menggunakan konfigurasi atau alur jalankan.

Masing-masing metode pelatihan ini dapat menggunakan berbagai jenis sumber daya komputasi untuk pelatihan. Secara kolektif, sumber daya ini disebut sebagai target komputasi. Target komputasi adalah mesin lokal atau sumber daya cloud, seperti Azure Machine Learning Compute, Azure HDInsight, atau mesin virtual jarak jauh.

Python SDK

Azure Machine Learning SDK for Python memungkinkan Anda membangun dan menjalankan alur kerja pembelajaran mesin dengan Azure Machine Learning. Anda dapat berinteraksi dengan layanan dari sesi Python interaktif, Jupyter Notebooks, Visual Studio Code, atau IDE lainnya.

Konfigurasi jalankan

Pekerjaan pelatihan umum dengan Azure Machine Learning dapat didefinisikan menggunakan ScriptRunConfig. Konfigurasi jalankan skrip kemudian digunakan, bersama dengan skrip pelatihan Anda untuk melatih model pada target komputasi.

Anda dapat memulai dengan konfigurasi jalankan untuk komputer lokal Anda, lalu beralih ke konfigurasi untuk target komputasi berbasis cloud sesuai kebutuhan. Saat mengubah target komputasi, Anda hanya mengubah konfigurasi jalankan yang Anda gunakan. Jalankan juga mencatat informasi tentang pekerjaan pelatihan, seperti input, output, dan log.

Pembelajaran Mesin Otomatis

Tentukan iterasi, pengaturan hyperparameter, featurisasi, dan pengaturan lainnya. Selama pelatihan, Azure Machine Learning mencoba algoritme dan parameter yang berbeda secara paralel. Pelatihan berhenti setelah mencapai kriteria keluar yang Anda tentukan.

Tip

Selain Python SDK, Anda juga dapat menggunakan ML Otomatis melalui studio Azure Machine Learning.

Alur pembelajaran mesin

Alur pembelajaran mesin dapat menggunakan metode pelatihan yang disebutkan sebelumnya. Alur berkaitan dengan pembuatan alur kerja, sehingga mencakup lebih dari sekadar pelatihan model. Dalam alur, Anda dapat melatih model menggunakan pembelajaran mesin otomatis atau konfigurasi jalankan.

Memahami apa yang terjadi ketika Anda mengirimkan pekerjaan pelatihan

Siklus hidup pelatihan Azure terdiri dari:

Zipping file di folder proyek Anda, mengabaikan yang ditentukan dalam .amlignore atau .gitignore
Meningkatkan kluster komputasi Anda
Membangun atau mengunduh dockerfile ke simpul komputasi
1. Sistem menghitung hash dari:
  - Gambar dasar
  - Langkah-langkah docker kustom (lihat Menyebarkan model menggunakan gambar dasar Docker kustom)
  - Definisi conda YAML (lihat Membuat & menggunakan lingkungan perangkat lunak di Azure Machine Learning)
2. Sistem menggunakan hash ini sebagai kunci dalam pencarian ruang kerja Azure Container Registry (ACR)
3. Jika tidak ditemukan, sistem akan mencari kecocokan di ACR global
4. Jika tidak ditemukan, sistem membangun gambar baru (yang akan di-cache dan terdaftar di ruang kerja ACR)
Mengunduh file proyek zip Anda ke penyimpanan sementara pada node komputasi
Mengekstrak file proyek
Node komputasi yang mengeksekusi python <entry script> <arguments>
Menyimpan log, file model, dan file lain yang ditulis ke ./outputs akun penyimpanan yang terkait dengan ruang kerja
Menghitung mundur komputasi, termasuk menghapus penyimpanan sementara

Jika Anda memilih untuk berlatih di komputer lokal Anda ("mengonfigurasi sebagai local run"), Anda tidak perlu menggunakan Docker. Anda dapat menggunakan Docker secara lokal jika Anda memilih (lihat bagian Mengonfigurasi alur ML misalnya).

Desainer Azure Machine Learning

Perancang memungkinkan Anda melatih model menggunakan antarmuka drag and drop di browser web Anda.

Azure CLI

CLI pembelajaran mesin adalah ekstensi untuk Azure CLI. Ini menyediakan perintah CLI lintas platform untuk bekerja dengan Azure Machine Learning. Biasanya, Anda menggunakan CLI untuk mengotomatiskan tugas, seperti melatih model pembelajaran mesin.

Langkah berikutnya

Pelajari cara Mengonfigurasi pelatihan jalankan.

Bagikan melalui