Mengatur dan menyiapkan lingkungan Azure Machine Learning

Saat Anda merencanakan penyebaran Azure Pembelajaran Mesin untuk lingkungan perusahaan, ada beberapa poin keputusan umum yang memengaruhi cara Anda membuat ruang kerja:

• Struktur tim: Cara Anda mengatur tim ilmu data dan berkolaborasi pada proyek, pemisahan kasus penggunaan dan data yang diberikan, atau persyaratan manajemen biaya
• Lingkungan: Lingkungan yang Anda gunakan sebagai bagian dari alur kerja pengembangan dan rilis Anda untuk memisahkan pengembangan dari produksi
• Wilayah: Lokasi data dan audiens yang Anda butuhkan untuk melayani solusi pembelajaran mesin Anda

Struktur tim serta penyiapan ruang kerja

Ruang kerja adalah sumber daya tingkat atas dalam Azure Machine Learning. Ini menyimpan artefak yang diproduksi saat bekerja dengan pembelajaran mesin dan komputasi dan penunjuk terkelola ke sumber daya yang terpasang dan terkait. Dari sudut pandang pengelolaan, ruang kerja sebagai sumber daya Azure Resource Manager mendukung kontrol akses berbasis peran Azure (Azure RBAC), manajemen menurut Kebijakan, dan Anda dapat menggunakannya sebagai unit untuk pelaporan biaya.

Organisasi pada umumnya memilih satu atau kombinasi dari pola solusi berikut untuk mengikuti persyaratan pengelolaan.

Ruang kerja per tim: Gunakan satu ruang kerja untuk setiap tim ketika semua anggota tim memerlukan tingkat akses yang sama ke data dan aset eksperimen. Misalnya, organisasi dengan tiga tim pembelajaran mesin mungkin membuat tiga ruang kerja, satu untuk setiap tim.

Manfaat menggunakan satu ruang kerja per tim adalah bahwa semua artefak pembelajaran mesin untuk proyek tim disimpan di satu tempat. Anda dapat melihat peningkatan produktivitas karena anggota tim dapat dengan mudah mengakses, menjelajahi, dan menggunakan kembali hasil eksperimen. Mengatur ruang kerja Anda berdasarkan tim akan mengurangi jejak Azure Anda dan menyederhanakan manajemen biaya oleh tim. Karena jumlah aset eksperimen dapat tumbuh dengan cepat, Anda dapat menjaga artefak tetap terorganisir dengan mengikuti konvensi penamaan dan penandaan. Untuk rekomendasi tentang cara pemberian nama sumber daya, lihat Mengembangkan strategi penamaan dan penandaan untuk sumber daya Azure.

Dengan pendekatan ini, setiap anggota tim harus memiliki izin tingkat akses data yang sama. Kontrol akses berbasis peran granular (RBAC) dan daftar kontrol akses (ACL) untuk sumber data dan aset eksperimen dibatasi dalam ruang kerja. Anda tidak dapat menggunakan persyaratan pemisahan data kasus.

Ruang kerja per proyek: Gunakan satu ruang kerja untuk setiap proyek jika Anda memerlukan pemisahan data dan aset eksperimen berdasarkan proyek, atau memiliki persyaratan pelaporan dan penganggaran biaya di tingkat proyek. Misalnya, Anda mungkin memiliki organisasi dengan empat tim pembelajaran mesin yang menjalankan tiga proyek masing-masing untuk total 12 instans ruang kerja.

Manfaat menggunakan satu ruang kerja per proyek adalah Anda mengelola biaya di tingkat proyek. Tim biasanya membuat grup sumber daya khusus untuk Azure Pembelajaran Mesin dan sumber daya terkait karena alasan serupa. Saat Anda bekerja dengan kontributor eksternal, misalnya, ruang kerja yang berpusat pada proyek menyederhanakan kolaborasi pada proyek karena pengguna eksternal hanya perlu diberikan akses ke sumber daya proyek, bukan sumber daya tim.

Sesuatu yang perlu dipertimbangkan dengan pendekatan ini adalah isolasi hasil eksperimen dan aset. Penemuan dan penggunaan kembali aset mungkin lebih sulit karena aset tersebar di beberapa instans ruang kerja.

Ruang Kerja Tunggal: Gunakan satu ruang kerja untuk pekerjaan terkait non-tim atau non-proyek, atau ketika biaya tidak dapat langsung dikaitkan dengan unit penagihan tertentu, misalnya dengan R&D.

Keuntungan dari pengaturan ini adalah biaya pekerjaan individu yang tidak terkait proyek dapat dipisahkan dari biaya terkait proyek. Ketika menyiapkan satu ruang kerja agar semua pengguna melakukan pekerjaan masing-masing, Anda mengurangi jejak Azure.

Dengan pendekatan ini, ruang kerja mungkin menjadi berantakan dengan cepat ketika banyak praktisi pembelajaran mesin berbagi instans yang sama. Pengguna mungkin membutuhkan pemfilteran aset berbasis UI untuk menemukan sumber daya mereka secara efektif. Anda dapat membuat ruang kerja pembelajaran mesin bersama untuk setiap divisi bisnis untuk mengurangi masalah skala atau untuk segmentasi anggaran.

Pengaturan lingkungan dan ruang kerja

Lingkungan adalah kumpulan sumber daya yang ditargetkan penyebaran berdasarkan tahap mereka di dalam siklus hidup aplikasi. Contoh umum dari nama lingkungan adalah Pengembangan, Pengujian, QA, Staging, dan Produksi.

Proses pengembangan dalam organisasi Anda memengaruhi persyaratan untuk penggunaan lingkungan. Lingkungan Anda memengaruhi penyiapan Azure Pembelajaran Mesin dan sumber daya terkait, seperti komputasi terlampir. Misalnya, ketersediaan data mungkin membatasi pengelolaan memiliki instans pembelajaran mesin yang tersedia untuk setiap lingkungan. Berikut adalah pola solusi yang umum:

Penyebaran ruang kerja lingkungan tunggal: Saat Anda memilih satu penyebaran ruang kerja lingkungan, Azure Pembelajaran Mesin disebarkan ke satu lingkungan. Penyiapan ini umum untuk skenario yang berpusat pada penelitian, di mana tidak perlu merilis artefak pembelajaran mesin berdasarkan tahap siklus hidup mereka, di seluruh lingkungan. Skenario lain di mana pengaturan ini masuk akal adalah ketika hanya menyimpulkan layanan, dan bukan alur pembelajaran mesin, disebarkan di seluruh lingkungan.

Keuntungan dari pengaturan yang berpusat pada penelitian adalah jejak Azure yang lebih kecil dan overhead manajemen yang minim. Dengan cara kerja ini, Anda tidak perlu memiliki ruang kerja Azure Machine Learning yang digunakan di setiap lingkungan.

Dengan pendekatan ini, penyebaran lingkungan tunggal tunduk pada ketersediaan data. Jadi, berhati-hatilah saat Anda menyiapkan datastore Anda. Jika Anda mengatur akses yang luas, misalnya, akses penulis pada sumber data produksi, ada kemungkinan Anda secara tidak sengaja membahayakan kualitas data. Jika Anda membawa pekerjaan ke produksi di lingkungan yang sama di mana pengembangan terjadi, pembatasan RBAC yang sama berlaku untuk pekerjaan pengembangan dan pekerjaan produksi. Pengaturan ini mungkin membuat kedua lingkungan terlalu kaku atau justru terlalu fleksibel.

Penyebaran beberapa ruang kerja lingkungan: Saat Anda memilih beberapa penyebaran ruang kerja lingkungan, instans ruang kerja disebarkan untuk setiap lingkungan. Skenario umum untuk pengaturan ini adalah tempat kerja yang diatur dengan pemisahan tugas yang jelas antar lingkungan, dan juga bagi pengguna yang mempunyai akses sumber daya ke lingkungan tersebut.

Keuntungan dari pengaturan ini adalah:

• Peluncuran alur kerja dan artefak pembelajaran mesin bertahap. Misalnya, model di seluruh lingkungan, dengan potensi untuk meningkatkan kelincahan dan mengurangi waktu penyebaran.
• Keamanan dan kontrol sumber daya yang ditingkatkan karena Anda dapat menetapkan lebih banyak pembatasan akses di lingkungan hilir.
• Skenario pelatihan pada data produksi dalam lingkungan non-pengembangan karena Anda dapat memberikan akses kepada sekelompok pengguna tertentu.

Dengan pendekatan ini, Anda berisiko untuk lebih banyak manajemen dan proses overhead. Penyiapan ini memerlukan proses pengembangan dan peluncuran yang halus untuk artefak pembelajaran mesin di seluruh instans ruang kerja. Selain itu, upaya manajemen dan rekayasa data mungkin diperlukan untuk membuat data produksi tersedia untuk pelatihan di lingkungan pengembangan. Manajemen akses mengharuskan Anda untuk memberikan akses kepada tim untuk menyelesaikan dan menyelidiki insiden dalam produksi. Dan akhirnya, tim Anda membutuhkan Azure DevOps dan keahlian teknik pembelajaran mesin untuk menerapkan alur kerja otomatisasi.

Satu lingkungan dengan akses data terbatas, satu dengan akses data produksi: Saat Anda memilih penyiapan ini, Azure Pembelajaran Mesin menyebarkan ke dua lingkungan: satu dengan akses data terbatas dan satu dengan akses data produksi. Pengaturan ini umum digunakan jika Anda perlu memisahkan lingkungan pengembangan dan lingkungan produksi. Misalnya, Anda mungkin bekerja di bawah batasan organisasi untuk membuat data produksi tersedia di lingkungan apa pun, atau Anda mungkin ingin memisahkan pekerjaan pengembangan dari pekerjaan produksi tanpa menduplikasi data lebih dari yang dibutuhkan karena tingginya biaya pemeliharaan.

Keuntungan dari pengaturan ini adalah pemisahan tugas dan akses yang jelas antara lingkungan pengembangan dan lingkungan produksi. Keuntungan lainnya adalah overhead manajemen sumber daya yang lebih rendah jika dibandingkan dengan skenario penyebaran multilingkungan.

Dengan pendekatan ini, Anda memerlukan proses pengembangan dan peluncuran yang ditentukan untuk artefak pembelajaran mesin di seluruh ruang kerja. Selain itu, mungkin memerlukan upaya manajemen dan rekayasa data untuk membuat data produksi tersedia untuk pelatihan di lingkungan pengembangan. Tetapi pendekatan ini mungkin memerlukan upaya yang relatif lebih sedikit daripada penyebaran ruang kerja multi-lingkungan.

Pengaturan wilayah dan sumber daya

Lokasi sumber daya, data, atau pengguna mungkin mengharuskan Anda membuat instans ruang kerja Azure Machine Learning serta sumber daya terkait di beberapa wilayah Azure. Misalnya, satu proyek mungkin menjangkau sumber dayanya di seluruh wilayah Azure Eropa Barat dan US Timur untuk alasan performa, biaya, dan juga kepatuhan. Berikut skenario yang umum:

Pelatihan regional: Pekerjaan pelatihan pembelajaran mesin berjalan di wilayah Azure yang sama dengan tempat data berada. Dalam penyiapan ini, ruang kerja pembelajaran mesin disebarkan ke setiap wilayah Azure tempat data berada. Skenario ini umum ketika Anda perlu memenuhi kepatuhan, atau ketika Anda memiliki batasan pergerakan data di seluruh wilayah.

Manfaat dari penyiapan ini adalah Anda dapat melakukan eksperimen di pusat data tempat data berada dengan latensi jaringan paling sedikit. Dengan pendekatan ini, ketika alur pembelajaran mesin berjalan di beberapa instans ruang kerja, alur ini menambahkan lebih banyak kompleksitas manajemen. Sehingga sulit untuk membandingkan hasil eksperimen di seluruh instans dan menambahkan overhead ke kuota dan manajemen komputasi.

Jika Anda ingin melampirkan penyimpanan di seluruh wilayah, tetapi menggunakan komputasi dari satu wilayah, Azure Machine Learning mendukung skenario melampirkan akun penyimpanan di wilayah daripada ruang kerja. Metadata, misalnya metrik, disimpan di wilayah ruang kerja.

Penyajian regional: Layanan pembelajaran mesin disebarkan dekat dengan tempat audiens target berada. Misalnya, jika pengguna target berada di Australia dan wilayah penyimpanan dan eksperimen utama adalah Eropa Barat, sebarkan ruang kerja pembelajaran mesin untuk eksperimen di Eropa Barat. Anda kemudian menyebarkan kluster AKS untuk penyebaran titik akhir inferensi di Australia.

Keuntungan dari pengaturan ini adalah kesempatan untuk melakukan inferensi di pusat data tempat data baru diserap, meminimalkan latensi dan pergerakan data, serta kepatuhan terhadap peraturan setempat.

Dengan pendekatan ini, pengaturan multi-wilayah memberikan beberapa keuntungan, tetapi juga menambahkan lebih banyak overhead pada kuota dan manajemen komputasi. Ketika Anda memiliki persyaratan untuk inferensi batch, penyajian regional mungkin memerlukan penyebaran multi-ruang kerja. Data yang dikumpulkan melalui titik akhir inferensi mungkin perlu ditransfer di seluruh wilayah untuk melatih kembali skenario.

Penyempurnaan regional: Model dasar melatih pada himpunan data awal, misalnya, data publik atau data dari semua wilayah, dan kemudian disempurnakan dengan himpunan data regional. Himpunan data regional mungkin hanya terdapat di wilayah tertentu karena kepatuhan atau batasan pergerakan data. Misalnya, Anda mungkin memerlukan pelatihan model dasar untuk dilakukan di ruang kerja di wilayah A, sementara penyetelan halus terjadi di ruang kerja di wilayah B.

Manfaat dari penyiapan ini adalah Anda dapat bereksperimen sesuai di pusat data tempat data berada. Anda juga masih dapat memanfaatkan pelatihan model dasar pada himpunan data yang lebih besar pada tahap alur sebelumnya.

Pendekatan ini mendukung alur eksperimen yang kompleks tetapi mungkin menciptakan lebih banyak tantangan. Misalnya, saat Anda membandingkan hasil eksperimen di seluruh wilayah, itu mungkin menambahkan lebih banyak overhead ke manajemen kuota dan komputasi.

Implementasi referensi

Untuk mengilustrasikan penyebaran Azure Pembelajaran Mesin dalam pengaturan yang lebih besar, bagian ini menunjukkan bagaimana organisasi 'Contoso' menyiapkan Azure Pembelajaran Mesin, mengingat batasan organisasi, pelaporan, dan persyaratan penganggaran mereka:

• Contoso membuat grup sumber daya berdasarkan solusi untuk manajemen biaya dan alasan pelaporan.
• Administrator TI hanya membuat grup sumber daya dan sumber daya untuk solusi yang didanai untuk memenuhi persyaratan anggaran.
• Karena sifat Ilmu Data yang eksploratif dan tidak pasti, pengguna membutuhkan tempat untuk bereksperimen dan bekerja untuk kasus penggunaan dan eksplorasi data. Seringkali, pekerjaan eksplorasi tidak dapat langsung dikaitkan dengan kasus penggunaan tertentu, dan hanya dapat dikaitkan dengan anggaran R&D. Contoso ingin mendanai beberapa sumber daya pembelajaran mesin secara terpusat yang dapat digunakan siapa pun untuk tujuan eksplorasi.
• Setelah kasus penggunaan pembelajaran mesin terbukti berhasil di lingkungan eksplorasi, tim dapat meminta grup sumber daya. Misalnya, perusahaan dapat menyiapkan Dev, QA, dan Production untuk pekerjaan proyek eksperimen berulang, dan akses ke sumber data produksi.
• Persyaratan pemisahan serta kepatuhan data tidak memungkinkan data produksi langsung ada di lingkungan pengembangan.
• Persyaratan RBAC yang berbeda ada untuk berbagai grup pengguna berdasarkan kebijakan IT per lingkungan, misalnya, akses lebih ketat dalam produksi.
• Semua data, eksperimen, dan inferensi terjadi dalam satu wilayah Azure.

Untuk mematuhi persyaratan di atas, Contoso menyiapkan sumber daya mereka dengan cara berikut:

• Azure Pembelajaran Mesin ruang kerja dan grup sumber daya yang dilingkup per proyek untuk mengikuti persyaratan pemisahan kasus penganggaran dan penggunaan.
• Penyiapan multi-lingkungan untuk Azure Machine Learning dan sumber daya terkait untuk mengatasi persyaratan manajemen biaya, RBAC, serta akses data.
• Satu grup sumber daya dan ruang kerja pembelajaran mesin yang didedikasikan untuk eksplorasi.
• Grup Microsoft Entra yang berbeda per peran dan lingkungan pengguna. Misalnya, operasi yang dapat dilakukan ilmuwan data di lingkungan produksi berbeda dari di lingkungan pengembangan, dan tingkat akses mungkin berbeda per solusi.
• Semua sumber daya yang dibuat dalam satu wilayah Azure.

Langkah berikutnya

Pelajari tentang praktik terbaik tentang DevOps pembelajaran mesin dengan Azure Pembelajaran Mesin.

Panduan Azure DevOps pembelajaran mesin

Pelajari tentang pertimbangan saat mengelola anggaran, kuota, dan biaya dengan Azure Pembelajaran Mesin.

Mengelola anggaran, biaya, dan kuota untuk Azure Machine Learning dalam skala organisasi