Apa yang dimaksud dengan instans komputasi Azure Machine Learning?

  • Artikel

Instans komputasi Azure Machine Learning adalah stasiun kerja berbasis cloud yang dikelola untuk ilmuwan data. Setiap instans komputasi hanya memiliki satu pemilik, meskipun Anda dapat berbagi file di antara beberapa instans komputasi.

Instans komputasi memudahkan untuk memulai pengembangan Azure Pembelajaran Mesin dan menyediakan kemampuan manajemen dan kesiapan perusahaan untuk administrator TI.

Gunakan instans komputasi sebagai lingkungan pengembangan yang terkonfigurasi dan terkelola sepenuhnya di cloud untuk pembelajaran mesin. Hal ini juga dapat digunakan sebagai target komputasi pada pelatihan dan inferensi untuk tujuan pengembangan dan pengujian.

Agar fungsionalitas Jupyter instans komputasi berfungsi, pastikan bahwa komunikasi soket web tidak dinonaktifkan. Pastikan jaringan Anda mengizinkan koneksi soket web ke *.instances.azureml.net dan *.instances.azureml.ms.

Penting

Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Versi pratinjau disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Mengapa menggunakan instans komputasi?

Instans komputasi adalah stasiun kerja berbasis cloud terkelola sepenuhnya yang dioptimalkan untuk lingkungan pengembangan pembelajaran mesin Anda. Itu memberikan manfaat berikut:

Manfaat utama Deskripsi
Produktivitas Anda dapat membuat dan menyebarkan model menggunakan notebooks terintegrasi dan alat berikut di studio Azure Machine Learning:
- Jupyter
- JupyterLab
- VS Code (pratinjau)
Instans komputasi terintegrasi penuh dengan ruang kerja dan studio Azure Machine Learning. Anda dapat berbagi notebooks dan data dengan ilmuwan data lain di ruang kerja.
Terkelola & aman Kurangi jejak keamanan Anda dan tambahkan kepatuhan terhadap persyaratan keamanan perusahaan. Instans komputasi menyediakan kebijakan manajemen yang kuat dan konfigurasi jaringan yang aman seperti:

- Penyediaan otomatis dari templat Resource Manager untuk SDK Azure Machine Learning
- Kontrol akses berbasis peran Azure (Azure RBAC)
- Dukungan jaringan virtual
- Kebijakan Azure untuk menonaktifkan akses SSH
- Kebijakan Azure untuk memberlakukan pembuatan di jaringan virtual
- Matikan otomatis/mulai otomatis berdasarkan jadwal
TLS 1.2 Diaktifkan
Dikonfigurasi sebelumnya untuk ML Hemat waktu pada tugas penyiapan dengan paket ML yang telah dikonfigurasi sebelumnya dan terbaru, kerangka kerja pembelajaran mendalam, driver GPU.
Dapat disesuaikan sepenuhnya Dukungan luas untuk jenis VM Azure termasuk GPU dan penyesuaian tingkat rendah yang berkelanjutan seperti menginstal paket dan driver membuat skenario tingkat lanjut menjadi mudah. Anda juga dapat menggunakan skrip pengaturan untuk mengotomatiskan penyesuaian

Alat dan lingkungan

Instans komputasi Azure Machine Learning memungkinkan Anda membuat, melatih, dan menyebarkan model dalam pengalaman notebook terintegrasi penuh di ruang kerja Anda.

Anda dapat menjalankan notebook dari ruang kerja Azure Pembelajaran Mesin, Jupyter, JupyterLab, atau Visual Studio Code. Visual Studio Code Desktop dapat dikonfigurasi untuk mengakses instans komputasi Anda. Atau gunakan Visual Studio Code untuk Web, langsung dari browser, dan tanpa penginstalan atau dependensi yang diperlukan.

Kami sarankan Anda mencoba Visual Studio Code untuk Web untuk memanfaatkan integrasi yang mudah dan lingkungan pengembangan yang kaya yang disediakannya. Visual Studio Code untuk Web memberi Anda banyak fitur Visual Studio Code Desktop yang Anda sukai, termasuk penyorotan pencarian dan sintaksis saat menjelajah dan mengedit. Untuk informasi selengkapnya tentang menggunakan Visual Studio Code Desktop dan VISUAL Code untuk Web, lihat Meluncurkan Visual Studio Code yang terintegrasi dengan Azure Pembelajaran Mesin (pratinjau) dan Bekerja di VISUAL Code yang terhubung dari jarak jauh ke instans komputasi (pratinjau).

Anda dapat menginstal paket dan menambahkan kernel ke instans komputer Anda.

Alat dan lingkungan berikut sudah diinstal pada instans komputasi:

Alat & lingkungan umum Detail
Driver CUDA
cuDNN
NVIDIA
Blob FUSE
Pustaka MPI Intel
Azure CLI
Sampel Azure Machine Learning
Docker
Nginx.
NCCL 2.0
Protobuf
R alat & lingkungan Detail
Kernel R

Anda dapat Menambahkan RStudio atau Posit Workbench (sebelumnya RStudio Workbench) saat membuat instans.

PYTHON alat & lingkungan Detail
Anaconda Python
Jupyter dan ekstensi
Jupyterlab dan ekstensi
Azure Pembelajaran Mesin SDK
untuk Python dari PyPI		 Termasuk azure-ai-ml dan banyak paket tambahan azure umum. Untuk melihat daftar lengkapnya,
buka jendela terminal pada instans komputasi Anda dan jalankan
conda list -n azureml_py310_sdkv2 ^azure
Paket PyPI lainnya jupytext
tensorboard
nbconvert
notebook
Pillow
paket Conda cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Paket pembelajaran mendalam PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
Paket ONNX keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Contoh Python Pembelajaran Mesin Azure

Instans komputasi memiliki Ubuntu sebagai OS dasar.

Mengakses file

Notebook dan skrip Python disimpan di akun penyimpanan default ruang kerja Anda di berbagi file Azure. File-file ini terletak di bawah direktori "File pengguna" Anda. Penyimpanan ini memudahkan untuk berbagi notebooks di antara instans komputasi. Akun penyimpanan juga menyimpan notebooks Anda dengan aman saat Anda menghentikan atau menghapus instans komputasi.

Akun berbagi file Azure dari ruang kerja Anda dipasang sebagai drive pada instans komputasi. Drive ini adalah direktori kerja default untuk Jupyter, Jupyter Labs, RStudio, dan Posit Workbench. Ini berarti bahwa notebook dan file lain yang Anda buat di Jupyter, JupyterLab, VS Code untuk Web, RStudio, atau Posit secara otomatis disimpan pada berbagi file dan tersedia untuk digunakan dalam instans komputasi lain juga.

File dalam berbagi file dapat diakses dari semua instans komputasi di ruang kerja yang sama. Setiap perubahan pada file ini pada instans komputasi akan dipertahankan dengan andal hingga berbagi file.

Anda juga dapat mengkloning sampel Azure Machine Learning terbaru ke folder di bagian direktori file pengguna di berbagi file ruang kerja.

Menulis file kecil dapat menjadi lebih lambat di drive jaringan daripada menulis ke disk lokal instans komputasi itu sendiri. Jika Anda menulis banyak file kecil, coba gunakan direktori langsung pada instans komputasi, seperti /tmp direktori. Perhatikan bahwa file-file ini tidak akan dapat diakses dari instans komputasi lainnya.

Jangan simpan data pelatihan di berbagi file notebooks. Untuk informasi tentang berbagai opsi untuk menyimpan data, lihat Mengakses data dalam pekerjaan.

Anda dapat menggunakan direktori /tmp pada instans komputasi untuk data sementara. Namun, jangan menulis file data yang besar pada disk OS instans komputasi. Disk OS pada instans komputasi memiliki kapasitas 128 GB. Anda juga dapat menyimpan data pelatihan sementara pada disk sementara yang dipasang di /mnt. Ukuran disk sementara dapat dikonfigurasi berdasarkan ukuran mesin virtual yang dipilih dan dapat menyimpan jumlah data yang lebih besar jika mesin virtual dengan ukuran yang lebih tinggi dipilih. Paket perangkat lunak apa pun yang Anda instal disimpan pada disk OS instans komputasi. Perhatikan bahwa enkripsi kunci yang dikelola pelanggan saat ini tidak didukung untuk disk OS. Disk OS untuk instans komputasi dienkripsi dengan kunci yang dikelola Microsoft.

Anda juga dapat memasang penyimpanan data dan himpunan data.

Membuat

Ikuti langkah-langkah dalam Membuat sumber daya yang Anda butuhkan untuk mulai membuat instans komputasi dasar.

Untuk opsi lainnya, lihat membuat instans komputasi baru.

Sebagai administrator, Anda dapat membuat instans komputasi untuk orang lain di ruang kerja.

Anda juga dapat menggunakan skrip penyiapan untuk cara otomatis untuk menyesuaikan dan mengonfigurasi instans komputasi.

Cara lain untuk membuat instans komputasi:

Core khusus per wilayah per kuota keluarga VM dan kuota total regional, yang berlaku untuk pembuatan instans komputasi, disatukan dan dibagikan dengan kuota kluster komputasi pelatihan Azure Machine Learning. Menghentikan instans komputasi tidak membebaskan kuota untuk memastikan Anda dapat memulai ulang instans komputasi. Jangan hentikan instans komputasi melalui terminal OS dengan melakukan penonaktifan sudo.

Instans komputasi dilengkapi dengan disk OS P10. Jenis disk sementara tergantung pada ukuran VM yang dipilih. Saat ini, tidak mungkin untuk mengubah jenis disk OS.

Target komputasi

Instans komputasi dapat digunakan sebagai target komputasi pelatihan yang serupa dengan kluster pelatihan komputasi Azure Machine Learning. Tetapi instans komputasi hanya memiliki node tunggal, sementara kluster komputasi dapat memiliki lebih banyak node.

Instans komputasi:

  • Memiliki antrean pekerjaan.
  • Menjalankan pekerjaan dengan aman di lingkungan jaringan virtual, tanpa mengharuskan perusahaan untuk membuka port SSH. Pekerjaan dijalankan dalam lingkungan ter-kontainer dan mengemas dependensi model Anda dalam kontainer Docker.
  • Dapat menjalankan beberapa pekerjaan kecil secara paralel. Satu pekerjaan per vCPU dapat berjalan secara paralel saat pekerjaan lainnya diantrekan.
  • Mendukung pekerjaan pelatihan terdistribusi single-node multi-GPU

Anda dapat menggunakan instans komputasi sebagai target penyebaran inferensi lokal untuk skenario pengujian/debug.

Tip

Instans komputasi memiliki disk OS 120GB. Jika Anda kehabisan ruang disk dan masuk ke status tidak dapat digunakan, harap kosongkan setidaknya 5 GB ruang disk pada disk OS (dipasang di /) melalui terminal instans komputasi dengan menghapus file/folder dan kemudian lakukan sudo reboot. Disk sementara akan dibebaskan setelah dimulai ulang; Anda tidak perlu membersihkan ruang pada disk sementara secara manual. Untuk mengakses terminal, buka halaman daftar komputasi atau halaman detail instans komputasi dan klik tautan Terminal. Anda dapat memeriksa ruang disk yang tersedia dengan menjalankan df -h di terminal. Kosongkan setidaknya 5 GB ruang sebelum melakukan sudo reboot. Harap jangan menghentikan atau memulai ulang instans komputasi melalui Studio hingga ruang disk 5 GB kosong. Matikan otomatis, termasuk mulai atau berhenti terjadwal serta matikan diam, tidak akan berfungsi jika disk CI penuh.

Langkah berikutnya