Siapkan lingkungan pengembangan Python untuk Azure Machine Learning

Artikel
04/08/2024

Pelajari cara mengonfigurasi lingkungan pengembangan Python untuk Azure Machine Learning.

Tabel berikut ini memperlihatkan setiap lingkungan pengembangan yang tercakup dalam artikel ini, bersama dengan pro dan kontra.

Lingkungan	Pro	Kontra
Lingkungan lokal	Kontrol penuh atas lingkungan pengembangan dan dependensi Anda. Jalankan dengan alat build, lingkungan, atau IDE pilihan Anda.	Butuh waktu lebih lama untuk memulai. Paket SDK yang diperlukan harus diinstal, dan lingkungan juga harus diinstal jika Anda belum memilikinya.
Data Science Virtual Machine (DSVM)	Mirip dengan instans komputasi berbasis cloud (Python telah diinstal sebelumnya), tetapi dengan ilmu data populer tambahan dan alat pembelajaran mesin yang telah diinstal sebelumnya. Mudah diskalakan dan digabungkan dengan alat dan alur kerja kustom lainnya.	Pengalaman memulai yang lebih lambat dibandingkan dengan instans komputasi berbasis cloud.
Instans komputasi Azure Machine Learning	Cara termudah untuk memulai. SDK sudah diinstal di VM ruang kerja Anda, dan tutorial notebook telah dikloning sebelumnya dan siap dijalankan.	Kurangnya kontrol atas lingkungan pengembangan dan dependensi Anda. Biaya tambahan yang dikeluarkan untuk Linux VM (VM dapat dihentikan ketika tidak digunakan untuk menghindari biaya). Lihat detail harga.

Artikel ini juga menyediakan tip penggunaan tambahan untuk alat berikut:

Jupyter Notebooks: Jika sudah menggunakan Jupyter Notebooks, SDK memiliki beberapa tambahan yang harus Anda instal.
Visual Studio Code: Jika Anda menggunakan Visual Studio Code, ekstensi Azure Machine Learning menyertakan dukungan bahasa untuk Python, dan fitur untuk membuat bekerja dengan Azure Machine Learning jauh lebih nyaman dan produktif.

Prasyarat

Ruang kerja Azure Machine Learning. Jika tidak memilikinya, Anda bisa membuat ruang kerja Azure Machine Learning melalui Portal Azure, Azure CLI, dan templat Azure Resource Manager.

Hanya lokal dan DSVM: Buat file konfigurasi ruang kerja

File konfigurasi ruang kerja adalah file JSON yang memberi tahu SDK cara berkomunikasi dengan ruang kerja Azure Machine Learning Anda. File diberi nama config.js, dan memiliki format berikut:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

File JSON ini harus berada dalam struktur direktori yang berisi skrip Python atau Jupyter Notebooks Anda. Ini bisa berada di direktori yang sama, subdirektori bernama.azureml*, atau di direktori induk.

Untuk menggunakan file ini dari kode Anda, gunakan MLClient.from_configmetode. Kode ini memuat informasi dari file dan terhubung ke ruang kerja Anda.

Buat file konfigurasi ruang kerja di salah satu metode berikut:

Studio Azure Machine Learning

Unduh file:
1. Masuk ke Studio Azure Machine Learning
2. Di toolbar studio Azure Machine Learning, di kanan atas, pilih nama ruang kerja Anda.
3. Pilih tautan Unduh file konfigurasi .

Azure Machine Learning Python SDK

Buat skrip untuk menyambungkan ke ruang kerja Azure Machine Learning Anda. Pastikan untuk subscription_id mengganti, resource_group dan workspace_name dengan milik Anda sendiri.

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Komputer lokal atau lingkungan komputer virtual jarak jauh

Anda dapat mengatur lingkungan di komputer lokal atau mesin virtual jarak jauh, seperti instans komputasi Azure Machine Learning atau Data Science VM.

Untuk mengonfigurasi lingkungan pengembangan lokal atau komputer virtual jarak jauh:

Buat lingkungan virtual Python (virtualenv, conda).

Catatan

Meskipun tidak diperlukan, Anda disarankan menggunakan Anaconda atau Miniconda untuk mengelola lingkungan virtual Python dan menginstal paket.

Penting

Jika Anda menggunakan Linux atau macOS dan menggunakan shell selain bash (misalnya, zsh) Anda mungkin menerima kesalahan saat menjalankan beberapa perintah. Untuk mengatasi masalah ini, gunakan bash perintah untuk memulai bash shell baru dan jalankan perintah di sana.
Aktifkan lingkungan virtual Python yang baru dibuat.
Instal Azure Machine Learning Python SDK yang diinstal.
Untuk mengonfigurasi lingkungan lokal Anda untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Setelah menyiapkan lingkungan lokal, Anda siap untuk mulai bekerja dengan Azure Machine Learning. Lihat Tutorial: Azure Machine Learning dalam sehari untuk memulai.

Jupyter Notebooks

Saat menjalankan server Jupyter Notebooks lokal, disarankan agar Anda membuat kernel IPython untuk lingkungan virtual Python Anda. Proses ini membantu memastikan perilaku impor kernel dan paket yang diharapkan.

Aktifkan kernel IPython khusus lingkungan
```
conda install notebook ipykernel
```
Buat kernel untuk lingkungan virtual Python Anda. Pastikan untuk mengganti <myenv> dengan nama lingkungan virtual Python Anda.
```
ipython kernel install --user --name <myenv> --display-name "Python (myenv)"
```
Luncurkan server Jupyter Notebook

Tip

Misalnya notebook, lihat repositori AzureML-Examples . Contoh SDK terletak di bawah /sdk/python. Misalnya, contoh notebook Konfigurasi .

Visual Studio Code

Untuk menggunakan Visual Studio Code untuk pengembangan:

Instal Visual Studio Code.
Instal ekstensi Azure Machine Learning Visual Studio Code (pratinjau).

Setelah ekstensi Visual Studio Code terinstal, gunakan ekstensi tersebut untuk:

Instans komputasi Azure Machine Learning

Instans komputasi Azure Machine Learning adalah stasiun kerja Azure berbasis cloud yang aman yang menyediakan server Jupyter Notebook, JupyterLab, dan lingkungan pembelajaran mesin yang dikelola sepenuhnya kepada ilmuwan data.

Tidak ada yang perlu diinstal atau dikonfigurasi untuk instans komputasi.

Buat kapan saja dari dalam ruang kerja Azure Machine Learning Anda. Berikan nama saja dan tentukan jenis Azure VM. Coba sekarang dengan Buat sumber daya untuk memulai.

Untuk mempelajari selengkapnya tentang instans komputasi, termasuk cara menginstal paket, lihat Membuat instans komputasi Azure Machine Learning.

Tip

Untuk mencegah dikenakan biaya untuk instans komputasi yang tidak digunakan, aktifkan matikan diam.

Selain server Jupyter Notebook dan JupyterLab, Anda dapat menggunakan instans komputasi di fitur notebook terintegrasi di dalam studio Azure Machine Learning.

Anda juga dapat menggunakan ekstensi Azure Machine Learning Visual Studio Code untuk terhubung ke instans komputasi jarak jauh menggunakan VS Code.

Data Science Virtual Machine

Data Science VM adalah gambar mesin virtual (VM) khusus yang dapat Anda gunakan sebagai lingkungan pengembangan. Ini dirancang untuk pekerjaan ilmu data yang telah dikonfigurasi sebelumnya alat dan perangkat lunak seperti:

Paket seperti TensorFlow, PyTorch, Scikit-learn, XGBoost, dan Azure Machine Learning SDK
Alat ilmu data populer seperti Spark Standalone dan Drill
Alat Azure seperti Azure CLI, AzCopy, dan Storage Explorer
Lingkungan pengembangan terintegrasi (IDEs) seperti Visual Studio Code dan PyCharm
Jupyter Notebook Server

Untuk daftar alat yang lebih komprehensif, lihat panduan alat Data Science VM.

Penting

Jika Anda berencana menggunakan Data Science VM sebagai target komputasi untuk pelatihan atau tugas inferensi Anda, hanya Ubuntu yang didukung.

Untuk menggunakan Data Science VM sebagai lingkungan pengembangan:

Buat Data Science VM menggunakan salah satu metode berikut:

Gunakan portal Microsoft Azure untuk membuat Ubuntu atau Windows DSVM.
Buat Data Science VM menggunakan templat ARM.

Menggunakan Azure CLI

Untuk membuat Ubuntu Data Science VM, gunakan perintah berikut:

# create a Ubuntu Data Science VM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
# If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password

Untuk membuat Windows DSVM, gunakan perintah berikut:

# create a Windows Server 2016 DSVM in your resource group
# note you need to be at least a contributor to the resource group in order to execute this command successfully
az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password

Buat lingkungan conda untuk Azure Machine Learning SDK:
```
conda create -n py310 python=310
```

Setelah lingkungan dibuat, aktifkan dan instal SDK

conda activate py310
pip install azure-ai-ml azure-identity

Untuk mengonfigurasi Data Science VM untuk menggunakan ruang kerja Azure Machine Learning Anda, buat file konfigurasi ruang kerja, atau gunakan yang sudah ada.

Tip

Mirip dengan lingkungan lokal, Anda dapat menggunakan Visual Studio Code dan ekstensi Azure Machine Learning Visual Studio Code untuk berinteraksi dengan Azure Machine Learning.

Selengkapnya, lihat Data Science Virtual Machines.

Langkah berikutnya

Latih dan sebarkan model di Azure Machine Learning dengan himpunan data MNIST.
Lihat Azure Machine Learning SDK untuk referensi Python.