Membuat alur prediktif menggunakan Machine Learning Studio (klasik) dengan Azure Data Factory atau Synapse Analytics
BERLAKU UNTUK:
Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Penting
Dukungan untuk Azure Pembelajaran Mesin Studio (klasik) akan berakhir pada 31 Agustus 2024. Kami menyarankan agar Anda beralih ke Azure Pembelajaran Mesin pada tanggal tersebut.
Mulai 1 Desember 2021, Anda tidak dapat membuat sumber daya Pembelajaran Mesin Studio (klasik) baru (ruang kerja dan paket layanan web). Hingga 31 Agustus 2024, Anda dapat terus menggunakan eksperimen dan layanan web Pembelajaran Mesin Studio (klasik) yang ada. Untuk informasi selengkapnya, lihat:
- Bermigrasi ke Azure Pembelajaran Mesin dari Pembelajaran Mesin Studio (klasik)
- Apa itu Azure Pembelajaran Mesin?
dokumentasi Pembelajaran Mesin Studio (klasik) sedang dihentikan dan mungkin tidak diperbarui di masa mendatang.
Catatan
Karena sumber daya Machine Learning Studio (klasik) tidak dapat lagi dibuat setelah 1 Des 2021, pengguna disarankan untuk menggunakan Azure Machine Learning dengan aktivitas Alur Eksekusi Pembelajaran Mesin daripada menggunakan Aktivitas Eksekusi Batch untuk menjalankan batch Machine Learning Studio (klasik).
ML Studio (klasik) memungkinkan Anda membuat, menguji, dan menyebarkan solusi analisis prediktif. Dari sudut pandang tingkat tinggi, itu dilakukan dalam tiga langkah:
- Buat eksperimen pelatihan. Anda melakukan langkah ini dengan ML Studio (klasik). ML Studio (klasik) adalah lingkungan pengembangan visual kolaboratif yang Anda gunakan untuk melatih dan menguji model analisis prediktif menggunakan data pelatihan.
- Konversikan menjadi eksperimen prediktif. Setelah model Anda dilatih dengan data yang ada dan Anda siap menggunakannya untuk menilai data baru, Anda mempersiapkan dan menyederhanakan eksperimen untuk penilaian.
- Sebarkan sebagai layanan web. Anda dapat menerbitkan eksperimen penilaian Anda sebagai layanan web Azure. Anda dapat mengirim data ke model Anda melalui titik akhir layanan web ini dan menerima prediksi hasil dari model.
Menggunakan Machine Learning Studio (klasik) dengan Azure Data Factory atau Synapse Analytics
Azure Data Factory dan Synapse Analytics memungkinkan Anda dengan mudah membuat alur yang menggunakan layanan web Machine Learning Studio (klasik) yang diterbitkan untuk analisis prediktif. Dengan menggunakan Aktivitas Eksekusi Batch dalam alur, Anda dapat memanggil layanan web Machine Learning Studio (klasik) untuk membuat prediksi pada data dalam batch.
Seiring waktu, model prediktif dalam eksperimen penilai Machine Learning Studio (klasik) perlu dilatih ulang menggunakan himpunan data input baru. Anda dapat melatih kembali model dari alur Data Factory dengan melakukan langkah-langkah berikut:
- Terbitkan eksperimen pelatihan (bukan eksperimen prediktif) sebagai layanan web. Anda melakukan langkah ini di ML Studio (klasik) seperti yang Anda lakukan untuk mengekspos eksperimen prediktif sebagai layanan web dalam skenario sebelumnya.
- Gunakan Aktivitas Eksekusi Batch ML Studio (klasik) untuk memanggil layanan web untuk eksperimen pelatihan. Pada dasarnya, Anda dapat menggunakan aktivitas Eksekusi Batch ML Studio (klasik) untuk memanggil layanan web pelatihan dan layanan web penilaian.
Setelah Anda selesai dengan pelatihan ulang, perbarui layanan web penilaian (eksperimen prediktif yang diekspos sebagai layanan web) dengan model yang baru dilatih menggunakan Aktivitas Sumber Daya Pembaruan ML Studio (klasik). Lihat artikel Memperbarui model menggunakan Perbarui Aktivitas Sumber Daya untuk detailnya.
Layanan tertaut ML Studio (klasik)
Anda membuat layanan tertaut Machine Learning Studio (klasik) untuk menautkan Layanan Web Machine Learning Studio (klasik). Layanan Tertaut digunakan oleh Aktivitas Eksekusi Batch dan Aktivitas Sumber Daya Pembaruan Machine Learning Studio (klasik).
{
"type" : "linkedServices",
"name": "AzureMLLinkedService",
"properties": {
"type": "AzureML",
"typeProperties": {
"mlEndpoint": "URL to Azure ML Predictive Web Service",
"apiKey": {
"type": "SecureString",
"value": "api key"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Lihat artikel Layanan tertaut komputasi untuk deskripsi tentang properti dalam definisi JSON.
Machine Learning Studio (klasik) mendukung Layanan Web Klasik dan Layanan Web Baru untuk eksperimen prediktif Anda. Anda dapat memilih yang tepat untuk digunakan dari Data Factory atau ruang kerja Synapse Anda. Untuk mendapatkan informasi yang diperlukan untuk membuat Layanan Tertaut Machine Learning Studio (klasik), buka https://services.azureml.net, tempat semua Layanan Web (baru) dan Layanan Web Klasik Anda terdaftar. Klik Layanan Web yang ingin Anda akses, dan klik halaman Konsumsi. Salin Kunci Utama untuk properti apiKey, dan Permintaan Batch untuk properti mlEndpoint.
Aktivitas Eksekusi Batch ML Studio (klasik)
Cuplikan JSON berikut mendefinisikan aktivitas Eksekusi Batch ML Studio (klasik). Definisi aktivitas memiliki referensi ke layanan tertaut ML Studio (klasik) yang Anda buat sebelumnya.
{
"name": "AzureMLExecutionActivityTemplate",
"description": "description",
"type": "AzureMLBatchExecution",
"linkedServiceName": {
"referenceName": "AzureMLLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"webServiceInputs": {
"<web service input name 1>": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService1",
"type": "LinkedServiceReference"
},
"FilePath":"path1"
},
"<web service input name 2>": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService1",
"type": "LinkedServiceReference"
},
"FilePath":"path2"
}
},
"webServiceOutputs": {
"<web service output name 1>": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService2",
"type": "LinkedServiceReference"
},
"FilePath":"path3"
},
"<web service output name 2>": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService2",
"type": "LinkedServiceReference"
},
"FilePath":"path4"
}
},
"globalParameters": {
"<Parameter 1 Name>": "<parameter value>",
"<parameter 2 name>": "<parameter 2 value>"
}
}
}
| Properti | Deskripsi | Wajib |
|---|---|---|
| nama | Nama aktivitas di dalam alur | Ya |
| description | Teks yang menjelaskan apa yang dilakukan aktivitas. | No |
| jenis | Untuk aktivitas Data Lake Analytics U-SQL, jenis aktivitasnya adalah AzureMLBatchExecution. | Ya |
| linkedServiceName | Layanan Tertaut ke Layanan Tertaut ML Studio (klasik). Untuk mempelajari layanan tertaut ini, lihat artikel Layanan tertaut komputasi. | Ya |
| webServiceInputs | Kunci, Pasangan nilai, pemetaan nama Input Layanan Web ML Studio (klasik). Kunci harus sesuai dengan parameter input yang ditentukan dalam Layanan Web ML Studio (klasik) yang diterbitkan. Value adalah pasangan properti Azure Storage Linked Services dan FilePath yang menentukan lokasi Blob input. | No |
| webServiceOutputs | Kunci, Pasangan nilai, pemetaan nama Output Layanan Web ML Studio (klasik). Kunci harus sesuai dengan parameter output yang ditentukan dalam Layanan Web ML Studio (klasik) yang diterbitkan. Value adalah pasangan properti Azure Storage Linked Services dan FilePath yang menentukan lokasi Blob output. | No |
| globalParameters | Kunci, Pasangan nilai yang akan diteruskan ke titik akhir Layanan Eksekusi Batch ML Studio (klasik). Kunci harus sesuai dengan nama parameter layanan web yang ditentukan dalam layanan web ML Studio (klasik) yang diterbitkan. Nilai diteruskan di properti GlobalParameters dari permintaan eksekusi batch ML Studio (klasik) | No |
Skenario 1: Eksperimen menggunakan input/output layanan Web yang merujuk ke data di Azure Blob Storage
Dalam skenario ini, layanan Web Machine Learning Studio (klasik) membuat prediksi menggunakan data dari file di penyimpanan blob Azure dan menyimpan hasil prediksi di penyimpanan blob. JSON berikut mendefinisikan alur Data Factory dengan aktivitas AzureMLBatchExecution. Data input dan output di Azure Blob Storage direferensikan menggunakan pasangan LinkedName dan FilePath. Dalam sampel, Layanan Tertaut dari input dan output berbeda, Anda dapat menggunakan Layanan Tertaut yang berbeda untuk setiap input/output Anda agar layanan dapat mengambil file yang tepat dan mengirim ke Layanan Web Machine Learning Studio (klasik).
Penting
Dalam eksperimen ML Studio (klasik), port input dan output layanan web, serta parameter global memiliki nama default ("input1", "input2") yang dapat Anda sesuaikan. Nama yang Anda gunakan untuk pengaturan webServiceInputs, webServiceOutputs, dan globalParameters harus sama persis dengan nama dalam eksperimen. Anda dapat melihat contoh permintaan muatan di halaman Bantuan Eksekusi Batch untuk titik akhir ML Studio (klasik) Anda untuk memverifikasi pemetaan yang diharapkan.
{
"name": "AzureMLExecutionActivityTemplate",
"description": "description",
"type": "AzureMLBatchExecution",
"linkedServiceName": {
"referenceName": "AzureMLLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"webServiceInputs": {
"input1": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService1",
"type": "LinkedServiceReference"
},
"FilePath":"amltest/input/in1.csv"
},
"input2": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService1",
"type": "LinkedServiceReference"
},
"FilePath":"amltest/input/in2.csv"
}
},
"webServiceOutputs": {
"outputName1": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService2",
"type": "LinkedServiceReference"
},
"FilePath":"amltest2/output/out1.csv"
},
"outputName2": {
"LinkedServiceName":{
"referenceName": "AzureStorageLinkedService2",
"type": "LinkedServiceReference"
},
"FilePath":"amltest2/output/out2.csv"
}
}
}
}
Skenario 2: Eksperimen menggunakan Modul Pembaca/Penulis untuk merujuk ke data di berbagai penyimpanan
Skenario umum lainnya saat membuat eksperimen ML Studio (klasik) adalah menggunakan modul Impor Data dan Output Data. Modul Impor Data digunakan untuk memuat data ke dalam eksperimen dan modul Data Output adalah untuk menyimpan data dari eksperimen Anda. Untuk detail tentang modul Impor Data dan Data Output, lihat topik Mengimpor Data dan Data Output di Pustaka MSDN.
Saat menggunakan modul Data Impor dan Data Output, adalah praktik yang baik untuk menggunakan parameter layanan Web untuk setiap properti modul ini. Parameter web ini memungkinkan Anda mengonfigurasi nilai selama runtime. Misalnya, Anda dapat membuat eksperimen dengan modul Impor Data yang menggunakan Azure SQL Database: XXX.database.windows.net. Setelah layanan web disebarkan, Anda ingin mengaktifkan konsumen layanan web untuk menentukan server SQL logis lain yang disebut YYY.database.windows.net. Anda bisa menggunakan parameter layanan Web untuk memperbolehkan nilai ini dikonfigurasi.
Catatan
Input dan output layanan web berbeda dari parameter layanan Web. Dalam skenario pertama, Anda telah melihat bagaimana input dan output dapat ditentukan untuk layanan Web ML Studio (klasik). Dalam skenario ini, Anda melewati parameter untuk layanan Web yang sesuai dengan properti modul Impor Data/Output Data.
Mari kita lihat skenario untuk menggunakan parameter layanan Web. Anda memiliki layanan web ML Studio (klasik) yang disebarkan yang menggunakan modul pembaca untuk membaca data dari salah satu sumber data yang didukung oleh ML Studio (klasik) (misalnya: Azure SQL Database). Setelah eksekusi batch dilakukan, hasilnya ditulis menggunakan modul Penulis (Azure SQL Database). Tidak ada input dan output layanan web yang didefinisikan dalam eksperimen. Dalam hal ini, kami sarankan Anda mengonfigurasi parameter layanan web yang relevan untuk pembaca dan modul penulis. Konfigurasi ini memungkinkan modul pembaca/penulis dikonfigurasi saat menggunakan aktivitas AzureMLBatchExecution. Anda menentukan parameter layanan Web di bagian globalParameters dalam aktivitas JSON sebagai berikut.
"typeProperties": {
"globalParameters": {
"Database server name": "<myserver>.database.windows.net",
"Database name": "<database>",
"Server user account name": "<user name>",
"Server user account password": "<password>"
}
}
Catatan
Parameter layanan Web peka huruf besar/kecil, jadi pastikan bahwa nama yang Anda tentukan dalam aktivitas JSON cocok dengan yang diekspos oleh layanan Web.
Setelah Anda selesai dengan pelatihan ulang, perbarui layanan web penilaian (eksperimen prediktif yang diekspos sebagai layanan web) dengan model yang baru dilatih menggunakan Aktivitas Sumber Daya Pembaruan ML Studio (klasik). Lihat artikel Memperbarui model menggunakan Perbarui Aktivitas Sumber Daya untuk detailnya.
Konten terkait
Lihat artikel berikut yang menjelaskan cara mentransformasikan data dengan cara lain: