Apa itu Azure Machine Learning?

Azure Machine Learning adalah layanan cloud yang mempercepat dan mengelola siklus hidup proyek pembelajaran mesin (ML). Profesional ML, ilmuwan data, dan insinyur menggunakannya dalam alur kerja harian mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin (MLOps).

Anda dapat membuat model di Pembelajaran Mesin atau menggunakan model yang dibangun dari platform sumber terbuka, seperti PyTorch, TensorFlow, atau scikit-learn. Alat MLOps membantu Anda memantau, melatih ulang, dan menyebarkan ulang model.

Petunjuk / Saran

Uji coba gratis! Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning. Anda mendapatkan kredit untuk dibelanjakan pada layanan Azure. Setelah Anda menggunakan kredit, Anda dapat menyimpan akun dan menggunakan layanan Azure gratis. Kartu kredit Anda tidak dikenakan biaya kecuali Anda secara eksplisit mengubah pengaturan anda dan meminta untuk ditagih.

Azure Machine Learning dimaksudkan untuk siapa?

Pembelajaran Mesin adalah untuk individu dan tim yang menerapkan MLOps dalam organisasi mereka untuk membawa model ML ke dalam produksi di lingkungan produksi yang aman dan dapat diaudit.

Ilmuwan data dan insinyur ML dapat menggunakan alat untuk mempercepat dan mengotomatiskan alur kerja harian mereka. Pengembang aplikasi dapat menggunakan alat untuk mengintegrasikan model ke dalam aplikasi atau layanan. Pengembang platform dapat menggunakan sekumpulan alat yang kuat, didukung oleh API Azure Resource Manager yang tahan lama, untuk membangun alat ML tingkat lanjut.

Perusahaan yang bekerja di cloud Microsoft Azure dapat menggunakan keamanan yang familier dan kontrol akses berbasis peran untuk infrastruktur. Anda dapat menyiapkan proyek untuk menolak akses ke data yang dilindungi dan memilih operasi.

Produktivitas untuk semua orang di tim

Proyek ML sering membutuhkan tim dengan keterampilan yang bervariasi untuk membangun dan memelihara. Pembelajaran Mesin memiliki alat yang memungkinkan Anda untuk:

• Berkolaborasi dengan tim Anda melalui notebook bersama, sumber daya komputasi, komputasi tanpa server, data, dan lingkungan

• Mengembangkan model untuk kewajaran dan keterjelaskan, pelacakan, dan auditabilitas untuk memenuhi persyaratan kepatuhan silsilah data dan audit

• Menyebarkan model ML dengan cepat dan mudah dalam skala besar, serta mengelola dan mengaturnya secara efisien dengan MLOps

• Menjalankan beban kerja pembelajaran mesin di mana saja dengan tata kelola, keamanan, dan kepatuhan bawaan

Perangkat lintas platform yang memenuhi kebutuhan Anda

Siapa pun di tim ML dapat menggunakan alat pilihan mereka untuk menyelesaikan pekerjaan. Baik Anda menjalankan eksperimen cepat, penyetelan hiperparameter, membangun alur, atau mengelola inferensi, Anda dapat menggunakan antarmuka yang sudah dikenal termasuk:

• Azure Machine Learning Studio
• Python SDK (v2)
• Azure CLI (v2)
• Azure Resource Manager API REST

Saat menyempurnakan model dan berkolaborasi dengan orang lain di seluruh siklus pengembangan Pembelajaran Mesin, Anda dapat berbagi dan menemukan aset, sumber daya, dan metrik untuk proyek Anda di UI studio Pembelajaran Mesin.

Studio

Studio Pembelajaran Mesin menawarkan beberapa pengalaman penulisan tergantung pada jenis proyek dan tingkat pengalaman ML Anda sebelumnya, tanpa mengharuskan Anda menginstal apa pun.

• Notebooks: Tulis dan jalankan kode Anda sendiri di server Jupyter Notebook terkelola yang terintegrasi langsung di studio. Atau, buka buku catatan di Visual Studio Code, di web atau di desktop Anda.

• Memvisualisasikan metrik eksekusi: Menganalisis dan mengoptimalkan eksperimen Anda dengan visualisasi.

  

• Perancang Azure Pembelajaran Mesin: Gunakan perancang untuk melatih dan menyebarkan model ML tanpa menulis kode apa pun. Seret dan letakkan himpunan data serta komponen untuk membuat alur ML.

• UI pembelajaran mesin otomatis: Pelajari cara membuat eksperimen ML otomatis dengan antarmuka yang mudah digunakan.

• Pelabelan data: Gunakan pelabelan data Pembelajaran Mesin untuk mengoordinasikan pelabelan gambar atau proyek pelabelan teks secara efisien.

Bekerja dengan LLM dan AI Generatif

Azure Pembelajaran Mesin menyertakan alat untuk membantu Anda membangun aplikasi AI Generatif yang didukung oleh Model Bahasa Besar (LLM). Solusinya mencakup katalog model, alur prompt, dan serangkaian alat untuk menyederhanakan siklus pengembangan aplikasi AI.

Studio Azure Machine Learning dan Microsoft Foundry memungkinkan Anda bekerja dengan LLM. Gunakan panduan ini untuk menentukan studio mana yang harus Anda gunakan.

Katalog model

Katalog model di studio Azure Pembelajaran Mesin adalah hub untuk menemukan dan menggunakan berbagai model yang memungkinkan Anda membangun aplikasi AI Generatif. Katalog model ini menampilkan ratusan model dari penyedia model seperti layanan Azure OpenAI, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih oleh Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft, seperti yang didefinisikan dalam Ketentuan Produk Microsoft, dan tunduk pada persyaratan yang disediakan dengan model.

Alur perintah

Azure Machine Learning prompt flow adalah alat pengembangan yang dirancang untuk menyederhanakan seluruh siklus pengembangan aplikasi AI yang didukung oleh Model Bahasa Berskala Besar (LLM). Alur prompt menyediakan solusi komprehensif yang menyederhanakan proses membuat prototipe, melakukan eksperimen, melakukan iterasi, dan menyebarkan aplikasi AI Anda.

Kesiapan dan keamanan perusahaan

Pembelajaran Mesin terintegrasi dengan platform cloud Azure untuk menambahkan keamanan ke proyek ML.

Integrasi keamanan meliputi:

• Azure Virtual Networks dengan grup keamanan jaringan
• Azure Key Vault, tempat Anda dapat menyimpan rahasia keamanan, seperti informasi akses untuk akun penyimpanan
• Azure Container Registry dikonfigurasikan di belakang jaringan virtual

Untuk informasi selengkapnya, lihat Tutorial: Menyiapkan ruang kerja yang aman.

Integrasi Azure untuk solusi lengkap

Integrasi lain dengan layanan Azure mendukung proyek ML dari ujung ke ujung. Meliputi:

• Azure Synapse Analytics, untuk memproses dan mengalirkan data dengan Spark
• Azure Arc, tempat Anda dapat menjalankan layanan Azure di lingkungan Kubernetes
• Opsi penyimpanan dan database, seperti Azure SQL Database dan Azure Blob Storage
• Azure App Service, untuk menyebarkan dan mengelola aplikasi yang didukung ML
• Microsoft Purview, untuk menemukan dan membuat katalog aset data di seluruh organisasi Anda

Penting

Azure Machine Learning tidak menyimpan atau memproses data Anda di luar wilayah tempat Anda menyebarkan.

Alur kerja proyek pembelajaran mesin

Biasanya, model dikembangkan sebagai bagian dari proyek dengan tujuan dan sasaran. Proyek sering kali melibatkan lebih dari satu orang. Saat Anda bereksperimen dengan data, algoritma, dan model, pengembangan bersifat berulang.

Siklus hidup proyek

Siklus hidup proyek dapat bervariasi menurut proyek, tetapi sering terlihat seperti diagram ini.

Ruang kerja mengatur proyek dan memungkinkan kolaborasi bagi banyak pengguna yang bekerja beriringan untuk mencapai tujuan bersama. Pengguna di ruang kerja dapat dengan mudah berbagi hasil eksekusi mereka dari eksperimen di antarmuka pengguna studio. Atau mereka dapat menggunakan aset yang memiliki versi untuk pekerjaan seperti lingkungan dan referensi penyimpanan.

Untuk informasi lebih lanjut, lihat Mengelola ruang kerja Azure Machine Learning.

Ketika proyek siap untuk operasionalisasi, pekerjaan pengguna dapat diotomatisasi dalam alur ML dan dipicu sesuai jadwal atau permintaan HTTPS.

Anda dapat menyebarkan model ke solusi inferensi terkelola, baik untuk penyebaran waktu nyata maupun batch, dengan mengabstraksi proses manajemen infrastruktur yang biasanya diperlukan untuk menyebarkan model.

Latih model

Dalam Azure Machine Learning, Anda dapat menjalankan skrip pelatihan di cloud atau membangun model dari awal. Pelanggan sering membawa model yang telah mereka bangun dan latih dalam kerangka kerja sumber terbuka sehingga mereka dapat mengoprasionalkannya di cloud.

Terbuka dan dapat dioperasikan

Ilmuwan data dapat menggunakan model pada Azure Machine Learning yang telah mereka buat dalam kerangka kerja Python umum, seperti:

• PyTorch
• TensorFlow
• scikit-learn
• XGBoost
• LightGBM

Bahasa dan kerangka kerja lain juga didukung:

• R
• .NET

Untuk informasi selengkapnya, lihat Integrasi sumber terbuka dengan Azure Pembelajaran Mesin.

Fiturisasi dan pilihan algoritma otomatis

Dalam ML klasik, ilmuwan data menggunakan pengalaman dan intuisi sebelumnya untuk memilih fiturisasi dan algoritma data yang tepat untuk pelatihan dalam proses berulang yang memakan waktu. ML Otomatis (AutoML) mempercepat proses ini. Anda dapat menggunakannya melalui antarmuka pengguna studio Pembelajaran Mesin atau Python SDK.

Untuk informasi selengkapnya, lihat Apa itu pembelajaran mesin otomatis?.

Optimasi hiperparameter

Optimasi hiperparameter, atau penyetelan hiperparameter, dapat menjadi tugas yang membosankan. Pembelajaran Mesin dapat mengotomatiskan tugas ini untuk perintah berparameter arbitrer dengan sedikit modifikasi pada definisi pekerjaan Anda. Hasilnya divisualisasikan di studio.

Untuk informasi selengkapnya, lihat Menyetel hiperparameter.

Pelatihan terdistribusi multinode

Efisiensi pelatihan untuk pembelajaran mendalam dan terkadang pekerjaan pelatihan pembelajaran mesin klasik dapat ditingkatkan secara drastis melalui pelatihan terdistribusi multinode. Azure Machine Learning kluster komputasi dan komputasi serverless menawarkan opsi GPU terbaru.

Didukung melalui Azure Machine Learning Kubernetes, kluster komputasi Azure Machine Learning, dan komputasi tanpa server:

• PyTorch
• TensorFlow
• MPI

Anda dapat menggunakan distribusi MPI untuk Horovod atau logika multinode kustom. Apache Spark didukung melalui komputasi Spark tanpa server dan kumpulan Synapse Spark terlampir yang menggunakan kluster Azure Synapse Analytics Spark.

Untuk informasi selengkapnya, lihat Pelatihan terdistribusi dengan Azure Pembelajaran Mesin.

Pelatihan yang benar-benar paralel

Penskalaan proyek ML mungkin memerlukan penskalaan pelatihan model paralel yang memalukan. Pola ini umum untuk skenario seperti prakiraan permintaan, di mana model mungkin dilatih di banyak toko.

Terapkan model

Untuk membawa model ke tahap produksi, Anda menerapkan model. Endpoint terkelola Azure Machine Learning mengabstraksi infrastruktur yang diperlukan untuk penilaian model secara batch atau real-time (online) atau inferensi.

Penilaian waktu nyata dan batch (inferensi)

Batch scoring, atau batch inferencing, melibatkan pemanggilan endpoint dengan referensi ke data. Titik akhir batch menjalankan pekerjaan secara asinkron untuk memroses data secara paralel pada kluster komputasi dan menyimpan data untuk analisis lebih lanjut.

Penilaian real-time, atau inferensi online, melibatkan pemanggilan titik akhir dengan satu atau beberapa penyebaran model dan menerima respons mendekati real-time melalui HTTPS. Lalu lintas dapat dibagi ke beberapa deployment, memungkinkan pengujian versi terbaru model dengan mengalihkan sebagian lalu lintas pada awalnya dan meningkatkannya setelah ada kepercayaan terhadap model baru tersebut.

Untuk informasi selengkapnya, lihat:

• Menyebarkan model dengan titik akhir terkelola real time
• Menggunakan titik akhir batch untuk penskoran

MLOps: DevOps untuk pembelajaran mesin

DevOps untuk model ML, sering disebut MLOps, adalah proses untuk mengembangkan model untuk produksi. Siklus hidup model dari pelatihan hingga penyebaran harus bersifat dapat diaudit jika tidak dapat direproduksi.

Siklus hidup model ML

Pelajari lebih lanjut MLOps dalam Azure Machine Learning.

Integrasi yang mengaktifkan MLOps

Pembelajaran Mesin dibangun dengan mengingat siklus hidup model. Anda dapat mengaudit siklus hidup model hingga ke tingkat commit dan lingkungan tertentu.

Beberapa fitur utama yang mengaktifkan MLOps meliputi:

• Integrasi Git
• Integrasi MLflow
• Penjadwalan alur pembelajaran mesin
• Integrasi Azure Event Grid untuk pemicu kustom
• Kemudahan penggunaan dengan alat CI/CD seperti GitHub Actions atau Azure DevOps

Pembelajaran Mesin juga mencakup fitur untuk pemantauan dan audit:

• Artefak pekerjaan, seperti rekam jepret kode, log, dan output lainnya
• Hubungan antara tugas dan aset, seperti kontainer, data, dan sumber daya komputasi

Jika Anda menggunakan Apache Airflow, paket airflow-provider-azure-machinelearning adalah penyedia yang memungkinkan Anda mengirimkan alur kerja ke Azure Machine Learning dari Apache Airflow.

Konten terkait

Memulai menggunakan Azure Machine Learning:

• Menyiapkan ruang kerja Azure Machine Learning
• Tutorial: Membangun proyek pembelajaran mesin pertama
• Menjalankan pekerjaan pelatihan