Apa itu Azure Machine Learning?

Azure Machine Learning merupakan layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin. Tenaga ahli pembelajaran mesin, ilmuwan data, dan teknisi dapat menggunakannya dalam alur kerja sehari-hari mereka: Melatih dan menyebarkan model, dan mengelola MLOps.

Anda dapat membuat model dalam Azure Machine Learning atau menggunakan model yang dibangun dari platform sumber terbuka, seperti Pytorch, TensorFlow, atau scikit-learn. Alat MLOps membantu Anda memantau, melatih ulang, dan menyebarkan ulang model.

Tip

Uji coba gratis! Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning. Anda mendapatkan kredit untuk dibelanjakan pada layanan Azure. Setelah habis, Anda dapat menyimpan akun dan menggunakan layanan Azure gratis. Kartu kredit Anda tidak pernah ditagih kecuali Anda secara eksplisit mengubah pengaturan Anda dan meminta untuk ditagih.

Azure Machine Learning dimaksudkan untuk siapa?

Azure Machine Learning dimaksudkan untuk individu dan tim yang menerapkan MLOps dalam organisasi mereka untuk memasukkan model pembelajaran mesin ke dalam produksi dalam lingkungan produksi yang aman dan dapat diaudit.

Ilmuwan data dan teknisi ML akan menemukan alat untuk mempercepat dan mengotomatisasi alur kerja sehari-hari mereka. Pengembang aplikasi akan menemukan alat untuk mengintegrasikan model ke dalam aplikasi atau layanan. Pengembang platform akan menemukan set alat yang kokoh, didukung oleh API Azure Resource Manager yang tahan lama, untuk membangun peralatan ML yang canggih.

Perusahaan yang bekerja di cloud Microsoft Azure akan menemukan keamanan dan kontrol akses berbasis peran (RBAC) untuk infrastruktur yang tidak asing. Anda dapat menyiapkan proyek untuk menolak akses ke data yang dilindungi dan memilih operasi.

Produktivitas untuk semua orang di tim

Proyek pembelajaran mesin sering memerlukan tim dengan set keterampilan yang bervariasi untuk membangun dan memelihara. Azure Machine Learning memiliki alat yang membantu Anda:

• Berkolaborasi dengan tim Anda melalui notebook bersama, sumber daya komputasi, komputasi tanpa server (pratinjau), data, dan lingkungan

• Mengembangkan model untuk keadilan dan keterjelaskan, pelacakan dan auditabilitas untuk memenuhi persyaratan kepatuhan silsilah data dan audit

• Menyebarkan model ML dengan cepat dan mudah dalam skala besar, serta mengelola dan mengaturnya secara efisien dengan MLOps

• Menjalankan beban kerja pembelajaran mesin di mana saja dengan tata kelola, keamanan, dan kepatuhan bawaan

Alat platform yang kompatibel silang yang memenuhi kebutuhan Anda

Siapa pun di tim ML dapat menggunakan alat pilihan mereka untuk menyelesaikan pekerjaan. Baik Anda menjalankan eksperimen cepat, penyetelan hiperparameter, membangun alur, atau mengelola inferensi, Anda dapat menggunakan antarmuka yang sudah dikenal termasuk:

• Studio Azure Machine Learning
• Python SDK (v2)
• CLI (v2))
• REST API Azure Resource Manager

Saat Anda menyempurnakan model dan berkolaborasi dengan orang lain di seluruh siklus pengembangan Pembelajaran Mesin lainnya, Anda dapat berbagi dan menemukan aset, sumber daya, dan metrik untuk proyek Anda di UI studio Azure Machine Learning.

Studio

Studio Azure Machine Learning menawarkan beberapa pengalaman penulisan tergantung pada jenis proyek dan tingkat pengalaman ML Anda sebelumnya, tanpa harus menginstal apa pun.

• Notebook: tulis dan jalankan kode Anda sendiri di server Jupyter Notebook terkelola yang terintegrasi langsung di studio.

• Memvisualisasikan metrik eksekusi: menganalisis dan mengoptimalkan eksperimen Anda dengan visualisasi.

  

• Perancang Azure Machine Learning: gunakan perancang untuk melatih dan menyebarkan model pembelajaran mesin tanpa menulis kode apa pun. Seret dan letakkan himpunan data serta komponen untuk membuat alur ML.

• UI pembelajaran mesin otomatis: Pelajari cara membuat eksperimen ML otomatis dengan antarmuka yang mudah digunakan.

• Pelabelan data: Gunakan pelabelan data Azure Machine Learning untuk mengoordinasikan pelabelan gambar atau proyek pelabelan teks secara efisien.

Kesiapan perusahaan dan keamanan

Azure Machine Learning terintegrasi dengan platform cloud Azure untuk menambahkan keamanan ke proyek ML.

Integrasi keamanan meliputi:

• Azure Virtual Network (VNet) dengan grup keamanan jaringan
• Azure Key Vault tempat Anda dapat menyimpan rahasia keamanan, seperti informasi akses untuk akun penyimpanan
• Penyiapan Azure Container Registry di balik VNet

Lihat Tutorial: Menyiapkan ruang kerja yang aman.

Integrasi Azure untuk solusi lengkap

Integrasi lainnya dengan layanan Azure mendukung proyek pembelajaran mesin dari ujung ke ujung. Dukungan tersebut termasuk:

• Azure Synapse Analytics untuk memroses dan melakukan streaming data dengan Spark
• Azure Arc, tempat Anda dapat menjalankan layanan Azure dalam lingkungan Kubernetes
• Opsi penyimpanan dan database, seperti Azure SQL Database, Azure Storage Blobs, dan sebagainya
• Azure App Service memungkinkan Anda menyebarkan dan mengelola aplikasi bertenaga ML
• Microsoft Purview memungkinkan Anda menemukan dan membuat katalog aset data di seluruh organisasi Anda

Penting

Azure Machine Learning tidak menyimpan atau memproses data Anda di luar wilayah tempat Anda menyebarkan.

Alur kerja proyek pembelajaran mesin

Umumnya model dikembangkan sebagai bagian dari proyek dengan sasaran dan tujuan. Proyek sering kali melibatkan lebih dari satu orang. Saat bereksperimen dengan data, algoritma, dan model, pengembangan bersifat iteratif.

Siklus hidup proyek

Meskipun siklus hidup proyek dapat bervariasi berdasarkan proyek, sering kali siklus hidup proyek akan terlihat seperti ini:

Ruang kerja mengatur proyek dan memungkinkan kolaborasi bagi banyak pengguna yang bekerja beriringan untuk mencapai tujuan bersama. Pengguna dalam ruang kerja dapat dengan mudah membagikan hasil eksekusi mereka dari eksperimen di antarmuka pengguna studio atau menggunakan aset yang dengan nomor versi untuk pekerjaan seperti referensi lingkungan dan penyimpanan.

Untuk informasi lebih lanjut, lihat Mengelola ruang kerja Azure Machine Learning.

Saat proyek siap untuk operasionalisasi, pekerjaan pengguna dapat diotomatisasi dalam alur pembelajaran mesin dan dipicu dalam jadwal atau permintaan HTTPS.

Model dapat disebarkan ke solusi inferensi yang dikelola, baik untuk penyebaran real time dan batch, mengabstraksikan manajemen infrastruktur yang umumnya diperlukan untuk menyebarkan model.

Latih model

Dalam Azure Machine Learning, Anda dapat menjalankan skrip pelatihan di cloud atau membangun model dari awal. Pelanggan sering kali membawa model yang mereka bangun dan latih di kerangka kerja sumber terbuka, sehingga mereka dapat mengoperasionalkannya di cloud.

Terbuka dan dapat dioperasikan

Ilmuwan data dapat menggunakan model pada Azure Machine Learning yang telah mereka buat dalam kerangka kerja Python umum, seperti:

• PyTorch
• TensorFlow
• scikit-learn
• XGBoost
• LightGBM

Bahasa komputer dan kerangka kerja lainnya juga didukung, termasuk:

• R
• .NET

Lihat Integrasi sumber terbuka dengan Azure Machine Learning.

Fiturisasi otomatis dan pemilihan algoritma (AutoML)

Dalam proses yang berulang dan memakan waktu, pada pembelajaran mesin klasik, para ilmuwan data menggunakan pengalaman dan intuisi sebelumnya untuk memilih fiturisasi data dan algoritma yang tepat untuk pelatihan. ML otomatis (AutoML) mempercepat proses ini dan dapat digunakan melalui UI studio atau Python SDK.

Lihat Apa itu pembelajaran mesin otomatis?

Optimasi hiperparameter

Optimasi hiperparameter, atau penyetelan hiperparameter, dapat menjadi tugas yang membosankan. Azure Machine Learning dapat mengotomatiskan tugas ini untuk perintah parameter arbitrer dengan sedikit modifikasi terhadap definisi pekerjaan Anda. Hasilnya divisualisasikan di studio.

Lihat Cara menyetel hiperparameter.

Pelatihan terdistribusi multinode

Efisiensi pelatihan untuk pembelajaran mendalam dan terkadang pekerjaan pelatihan pembelajaran mesin klasik dapat ditingkatkan secara drastis melalui pelatihan terdistribusi multinode. Kluster komputasi Azure Machine Learning dan komputasi tanpa server (pratinjau) menawarkan opsi GPU terbaru.

Didukung melalui Azure Machine Learning Kubernetes, kluster komputasi Azure Machine Learning, dan komputasi tanpa server (pratinjau):

• PyTorch
• TensorFlow
• MPI

Distribusi MPI dapat digunakan untuk Horovod atau logika multinode kustom. Selain itu, Apache Spark didukung melalui kluster Spark Azure Synapse Analytics (pratinjau).

Penting

Menggunakan Apache Spark melalui kluster Azure Synapse Analytics Spark berada dalam pratinjau publik. Versi pratinjau disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Lihat Pelatihan terdistribusi dengan Azure Machine Learning.

Pelatihan yang benar-benar paralel

Menskalakan proyek pembelajaran mesin mungkin memerlukan penskalaan pelatihan model yang benar-benar paralel. Pola ini umum untuk skenario seperti permintaan prakiraan, tempat model dapat dilatih untuk banyak penyimpanan.

Terapkan model

Untuk membawa model ke dalam produksi, model disebarkan. Titik akhir terkelola Azure Machine Learning mengabstrakkan infrastruktur yang diperlukan untuk penskoran (inferensi) model batch atau real time (online).

Penskoran real time dan batch (inferensi)

Penskoran batch, atau inferensi batch, melibatkan permintaan titik akhir dengan referensi ke data. Titik akhir batch menjalankan pekerjaan secara asinkron untuk memroses data secara paralel pada kluster komputasi dan menyimpan data untuk analisis lebih lanjut.

Penskoran real time, atau inferensi online, melibatkan permintaan titik akhir dengan satu atau lebih penyebaran model dan menerima respons mendekati real time melalui HTTP. Lalu lintas dapat dibagi ke beberapa penyebaran, memungkinkan pengujian versi model baru dengan mengalihkan sebagian lalu lintas di awal dan meningkat setelah keyakinan pada model baru dihasilkan.

Lihat:

• Menyebarkan model dengan titik akhir terkelola real time
• Menggunakan titik akhir batch untuk penskoran

MLOps: DevOps untuk pembelajaran mesin

DevOps untuk model pembelajaran mesin, sering kali disebut MLOps, merupakan proses untuk mengembangkan model untuk produksi. Siklus hidup model dari pelatihan hingga penyebaran harus bersifat dapat diaudit jika tidak dapat direproduksi.

Siklus hidup model ML

Pelajari lebih lanjut MLOps dalam Azure Machine Learning.

MLOPs yang mengaktifkan integrasi

Azure Machine Learning dibangun dengan mempertimbangkan siklus hidup model. Anda dapat mengaudit siklus hidup model hingga ke penerapan dan lingkungan tertentu.

Beberapa fitur utama yang mengaktifkan MLOps meliputi:

• Integrasi git
• Integrasi MLflow
• Penjadwalan alur pembelajaran mesin
• Integrasi Azure Event Grid untuk pemicu kustom
• Mudah digunakan dengan alat CI/CD seperti GitHub Actions atau Azure DevOps

Selain itu, Azure Machine Learning meliputi fitur untuk pemantauan dan audit:

• Artefak pekerjaan, seperti rekam jepret kode, log, dan output lainnya
• Silsilah data antara pekerjaan dan aset, seperti kontainer, data, dan sumber daya komputasi

Langkah berikutnya

Memulai menggunakan Azure Machine Learning:

• Menyiapkan ruang kerja Azure Machine Learning
• Tutorial: Membangun proyek pembelajaran mesin pertama
• Cara menjalankan pekerjaan pelatihan