Apa itu Azure Machine Learning?
Azure Pembelajaran Mesin adalah layanan cloud untuk mempercepat dan mengelola siklus hidup proyek pembelajaran mesin (ML). Profesional ML, ilmuwan data, dan insinyur dapat menggunakannya dalam alur kerja sehari-hari mereka untuk melatih dan menyebarkan model dan mengelola operasi pembelajaran mesin (MLOps).
Anda dapat membuat model di Pembelajaran Mesin atau menggunakan model yang dibangun dari platform sumber terbuka, seperti PyTorch, TensorFlow, atau scikit-learn. Alat MLOps membantu Anda memantau, melatih ulang, dan menyebarkan ulang model.
Tip
Uji coba gratis! Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning. Anda mendapatkan kredit untuk dibelanjakan pada layanan Azure. Setelah habis, Anda dapat menyimpan akun dan menggunakan layanan Azure gratis. Kartu kredit Anda tidak pernah ditagih kecuali Anda secara eksplisit mengubah pengaturan Anda dan meminta untuk ditagih.
Azure Machine Learning dimaksudkan untuk siapa?
Pembelajaran Mesin adalah untuk individu dan tim yang menerapkan MLOps dalam organisasi mereka untuk membawa model ML ke dalam produksi di lingkungan produksi yang aman dan dapat diaudit.
Ilmuwan data dan insinyur ML dapat menggunakan alat untuk mempercepat dan mengotomatiskan alur kerja sehari-hari mereka. Pengembang aplikasi dapat menggunakan alat untuk mengintegrasikan model ke dalam aplikasi atau layanan. Pengembang platform dapat menggunakan sekumpulan alat yang kuat, didukung oleh API Azure Resource Manager yang tahan lama, untuk membangun alat ML tingkat lanjut.
Perusahaan yang bekerja di cloud Microsoft Azure dapat menggunakan keamanan yang familier dan kontrol akses berbasis peran untuk infrastruktur. Anda dapat menyiapkan proyek untuk menolak akses ke data yang dilindungi dan memilih operasi.
Produktivitas untuk semua orang di tim
Proyek ML sering memerlukan tim dengan set keterampilan yang bervariasi untuk membangun dan memelihara. Pembelajaran Mesin memiliki alat yang membantu Memungkinkan Anda untuk:
Berkolaborasi dengan tim Anda melalui notebook bersama, sumber daya komputasi, komputasi tanpa server, data, dan lingkungan
Mengembangkan model untuk kewajaran dan keterjelaskan, pelacakan dan auditabilitas untuk memenuhi persyaratan kepatuhan silsilah data dan audit
Menyebarkan model ML dengan cepat dan mudah dalam skala besar, serta mengelola dan mengaturnya secara efisien dengan MLOps
Menjalankan beban kerja pembelajaran mesin di mana saja dengan tata kelola, keamanan, dan kepatuhan bawaan
Alat platform yang kompatibel silang yang memenuhi kebutuhan Anda
Siapa pun di tim ML dapat menggunakan alat pilihan mereka untuk menyelesaikan pekerjaan. Baik Anda menjalankan eksperimen cepat, penyetelan hiperparameter, membangun alur, atau mengelola inferensi, Anda dapat menggunakan antarmuka yang sudah dikenal termasuk:
Saat Menyempurnakan model dan berkolaborasi dengan orang lain di seluruh siklus pengembangan Pembelajaran Mesin lainnya, Anda dapat berbagi dan menemukan aset, sumber daya, dan metrik untuk proyek Anda di antarmuka pengguna studio Pembelajaran Mesin.
Studio
Pembelajaran Mesin studio menawarkan beberapa pengalaman penulisan tergantung pada jenis proyek dan tingkat pengalaman ML Anda sebelumnya, tanpa harus menginstal apa pun.
Notebooks: Tulis dan jalankan kode Anda sendiri di server Jupyter Notebook terkelola yang terintegrasi langsung di studio. Atau, buka buku catatan di Visual Studio Code, di web atau di desktop Anda.
Memvisualisasikan metrik eksekusi: Menganalisis dan mengoptimalkan eksperimen Anda dengan visualisasi.
Perancang Azure Pembelajaran Mesin: Gunakan perancang untuk melatih dan menyebarkan model ML tanpa menulis kode apa pun. Seret dan letakkan himpunan data serta komponen untuk membuat alur ML.
UI pembelajaran mesin otomatis: Pelajari cara membuat eksperimen ML otomatis dengan antarmuka yang mudah digunakan.
Pelabelan data: Gunakan pelabelan data Pembelajaran Mesin untuk mengoordinasikan pelabelan gambar atau proyek pelabelan teks secara efisien.
Bekerja dengan LLM dan AI Generatif
Azure Pembelajaran Mesin menyertakan alat untuk membantu Anda membangun aplikasi AI Generatif yang didukung oleh Model Bahasa Besar (LLM). Solusinya mencakup katalog model, alur prompt, dan serangkaian alat untuk menyederhanakan siklus pengembangan aplikasi AI.
Azure Pembelajaran Mesin Studio dan Azure AI Studio memungkinkan Anda bekerja dengan LLM. Gunakan panduan ini untuk menentukan studio mana yang harus Anda gunakan.
Katalog model
Katalog model di studio Azure Pembelajaran Mesin adalah hub untuk menemukan dan menggunakan berbagai model yang memungkinkan Anda membangun aplikasi AI Generatif. Katalog model ini menampilkan ratusan model dari penyedia model seperti layanan Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, termasuk model yang dilatih oleh Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft, seperti yang didefinisikan dalam Ketentuan Produk Microsoft, dan tunduk pada persyaratan yang disediakan dengan model.
Alur perintah
Alur permintaan Azure Pembelajaran Mesin adalah alat pengembangan yang dirancang untuk menyederhanakan seluruh siklus pengembangan aplikasi AI yang didukung oleh Model Bahasa Besar (LLM). Alur prompt menyediakan solusi komprehensif yang menyederhanakan proses prototipe, bereksperimen, iterasi, dan penyebaran aplikasi AI Anda.
Kesiapan perusahaan dan keamanan
Pembelajaran Mesin terintegrasi dengan platform cloud Azure untuk menambahkan keamanan ke proyek ML.
Integrasi keamanan meliputi:
- Azure Virtual Networks dengan kelompok keamanan jaringan.
- Azure Key Vault, tempat Anda dapat menyimpan rahasia keamanan, seperti informasi akses untuk akun penyimpanan.
- Azure Container Registry disiapkan di belakang jaringan virtual.
Untuk informasi selengkapnya, lihat Tutorial: Menyiapkan ruang kerja yang aman.
Integrasi Azure untuk solusi lengkap
Integrasi lain dengan layanan Azure mendukung proyek ML dari ujung ke ujung. Meliputi:
- Azure Synapse Analytics, yang digunakan untuk memproses dan mengalirkan data dengan Spark.
- Azure Arc, tempat Anda dapat menjalankan layanan Azure di lingkungan Kubernetes.
- Opsi penyimpanan dan database, seperti Azure SQL Database dan Azure Blob Storage.
- Azure App Service, yang dapat Anda gunakan untuk menyebarkan dan mengelola aplikasi yang didukung ML.
- Microsoft Purview, yang memungkinkan Anda menemukan dan membuat katalog aset data di seluruh organisasi Anda.
Penting
Azure Machine Learning tidak menyimpan atau memproses data Anda di luar wilayah tempat Anda menyebarkan.
Alur kerja proyek pembelajaran mesin
Biasanya, model dikembangkan sebagai bagian dari proyek dengan tujuan dan tujuan. Proyek sering kali melibatkan lebih dari satu orang. Saat Anda bereksperimen dengan data, algoritma, dan model, pengembangan bersifat berulang.
Siklus hidup proyek
Siklus hidup proyek dapat bervariasi menurut proyek, tetapi sering terlihat seperti diagram ini.
Ruang kerja mengatur proyek dan memungkinkan kolaborasi bagi banyak pengguna yang bekerja beriringan untuk mencapai tujuan bersama. Pengguna di ruang kerja dapat dengan mudah berbagi hasil eksekusi mereka dari eksperimen di antarmuka pengguna studio. Atau mereka dapat menggunakan aset versi untuk pekerjaan seperti lingkungan dan referensi penyimpanan.
Untuk informasi lebih lanjut, lihat Mengelola ruang kerja Azure Machine Learning.
Ketika proyek siap untuk operasionalisasi, pekerjaan pengguna dapat diotomatisasi dalam alur ML dan dipicu sesuai jadwal atau permintaan HTTPS.
Anda dapat menyebarkan model ke solusi inferensi terkelola, untuk penyebaran real time dan batch, mengabstraksi manajemen infrastruktur yang biasanya diperlukan untuk menyebarkan model.
Latih model
Dalam Azure Machine Learning, Anda dapat menjalankan skrip pelatihan di cloud atau membangun model dari awal. Pelanggan sering membawa model yang telah mereka bangun dan latih dalam kerangka kerja sumber terbuka sehingga mereka dapat mengoprasionalkannya di cloud.
Terbuka dan dapat dioperasikan
Ilmuwan data dapat menggunakan model pada Azure Machine Learning yang telah mereka buat dalam kerangka kerja Python umum, seperti:
- PyTorch
- TensorFlow
- scikit-learn
- XGBoost
- LightGBM
Bahasa dan kerangka kerja lain juga didukung:
- R
- .NET
Untuk informasi selengkapnya, lihat Integrasi sumber terbuka dengan Azure Pembelajaran Mesin.
Fiturisasi dan pilihan algoritma otomatis
Dalam proses berulang yang memakan waktu, dalam ML klasik, ilmuwan data menggunakan pengalaman dan intuisi sebelumnya untuk memilih fiturisasi dan algoritma data yang tepat untuk pelatihan. ML Otomatis (AutoML) mempercepat proses ini. Anda dapat menggunakannya melalui antarmuka pengguna studio Pembelajaran Mesin atau Python SDK.
Untuk informasi selengkapnya, lihat Apa itu pembelajaran mesin otomatis?.
Optimasi hiperparameter
Optimasi hiperparameter, atau penyetelan hiperparameter, dapat menjadi tugas yang membosankan. Pembelajaran Mesin dapat mengotomatiskan tugas ini untuk perintah berparameter arbitrer dengan sedikit modifikasi pada definisi pekerjaan Anda. Hasilnya divisualisasikan di studio.
Untuk informasi selengkapnya, lihat Menyetel hiperparameter.
Pelatihan terdistribusi multinode
Efisiensi pelatihan untuk pembelajaran mendalam dan terkadang pekerjaan pelatihan pembelajaran mesin klasik dapat ditingkatkan secara drastis melalui pelatihan terdistribusi multinode. Azure Pembelajaran Mesin kluster komputasi dan komputasi tanpa server menawarkan opsi GPU terbaru.
Didukung melalui Azure Pembelajaran Mesin Kubernetes, azure Pembelajaran Mesin kluster komputasi, dan komputasi tanpa server:
- PyTorch
- TensorFlow
- MPI
Anda dapat menggunakan distribusi MPI untuk Horovod atau logika multinode kustom. Apache Spark didukung melalui komputasi Spark tanpa server dan kumpulan Synapse Spark terlampir yang menggunakan kluster Azure Synapse Analytics Spark.
Untuk informasi selengkapnya, lihat Pelatihan terdistribusi dengan Azure Pembelajaran Mesin.
Pelatihan yang benar-benar paralel
Penskalaan proyek ML mungkin memerlukan penskalaan pelatihan model paralel yang memalukan. Pola ini umum untuk skenario seperti permintaan prakiraan, di mana model mungkin dilatih untuk banyak toko.
Terapkan model
Untuk membawa model ke dalam produksi, Anda menyebarkan model. Titik akhir terkelola Azure Pembelajaran Mesin mengabstraksi infrastruktur yang diperlukan untuk penilaian model batch atau real-time (online) (inferensi).
Penskoran real time dan batch (inferensi)
Penskoran batch, atau inferensi batch, melibatkan permintaan titik akhir dengan referensi ke data. Titik akhir batch menjalankan pekerjaan secara asinkron untuk memroses data secara paralel pada kluster komputasi dan menyimpan data untuk analisis lebih lanjut.
Penilaian real time, atau inferensi online, melibatkan pemanggilan titik akhir dengan satu atau beberapa penyebaran model dan menerima respons mendekati real time melalui HTTPS. Lalu lintas dapat dibagi di beberapa penyebaran, memungkinkan pengujian versi model baru dengan mengalihkan beberapa jumlah lalu lintas awalnya dan meningkat setelah keyakinan pada model baru ditetapkan.
Untuk informasi selengkapnya, lihat:
- Menyebarkan model dengan titik akhir terkelola real time
- Menggunakan titik akhir batch untuk penskoran
MLOps: DevOps untuk pembelajaran mesin
DevOps untuk model ML, sering disebut MLOps, adalah proses untuk mengembangkan model untuk produksi. Siklus hidup model dari pelatihan hingga penyebaran harus bersifat dapat diaudit jika tidak dapat direproduksi.
Siklus hidup model ML
Pelajari lebih lanjut MLOps dalam Azure Machine Learning.
MLOPs yang mengaktifkan integrasi
Pembelajaran Mesin dibangun dengan mengingat siklus hidup model. Anda dapat mengaudit siklus hidup model hingga ke penerapan dan lingkungan tertentu.
Beberapa fitur utama yang mengaktifkan MLOps meliputi:
gitintegrasi.- Integrasi MLflow.
- Penjadwalan alur pembelajaran mesin.
- Integrasi Azure Event Grid untuk pemicu kustom.
- Kemudahan penggunaan dengan alat CI/CD seperti GitHub Actions atau Azure DevOps.
Pembelajaran Mesin juga mencakup fitur untuk pemantauan dan audit:
- Artefak pekerjaan, seperti rekam jepret kode, log, dan output lainnya.
- Silsilah data antara pekerjaan dan aset, seperti kontainer, data, dan sumber daya komputasi.
Jika Anda menggunakan Apache Airflow, paket airflow-provider-azure-machinelearning adalah penyedia yang memungkinkan Anda mengirimkan alur kerja ke Azure Pembelajaran Mesin dari Apache AirFlow.
Konten terkait
Memulai menggunakan Azure Machine Learning: