Ekspor Data

Penting

Dukungan untuk Studio Azure Machine Learning (klasik) akan berakhir pada 31 Agustus 2024. Sebaiknya Anda transisi ke Azure Machine Learning sebelum tanggal tersebut.

Mulai 1 Desember 2021, Anda tidak akan dapat membuat sumber daya Studio Azure Machine Learning (klasik) baru. Hingga 31 Agustus 2024, Anda dapat terus menggunakan sumber daya Pembelajaran Mesin Studio (klasik) yang ada.

• Lihat informasi tentang memindahkan proyek pembelajaran mesin dari ML Studio (klasik) ke Azure Machine Learning.
• Mer informasjon tentang Azure Machine Learning.

ML Dokumentasi Studio (klasik) sedang berhenti dan mungkin tidak diperbarui di masa mendatang.

Menulis himpunan data ke berbagai bentuk penyimpanan berbasis cloud di Azure, seperti tabel, blob, dan database SQL do Azure

Kategori: Input dan Output Data

Catatan

Berlaku untuk: Pembelajaran Mesin Studio (klasik) saja

Modul drag-and-drop serupa tersedia di Azure Machine Learning desainer.

Ringkasan Modul

Artikel ini menjelaskan cara menggunakan modul Ekspor Data di Pembelajaran Mesin Studio (klasik), untuk menyimpan hasil, data perantara, dan data kerja dari eksperimen Anda ke tujuan penyimpanan cloud di luar Pembelajaran Mesin Studio (klasik).

Modul ini mendukung ekspor atau penyimpanan data Anda ke layanan data cloud berikut:

• Ekspor ke Kueri Hive: Tulis data ke tabel Hive dalam kluster HDInsight Hadoop.

• Mengekspor ke Azure SQL Database: Menyimpan data untuk Azure SQL Database atau ke SQL do Azure Data Warehouse.

• Ekspor ke Azure Table: Simpan data ke layanan penyimpanan tabel di Azure. Penyimpanan tabel baik untuk menyimpan data dalam jumlah besar. Ini menyediakan format tabular yang dapat diskalakan, murah, dan sangat tersedia.

• Mengekspor ke Azure Blob Storage: Menyimpan data ke layanan Blob di Azure. Opsi ini berguna untuk gambar, teks tidak terstruktur, atau data biner. Data dalam layanan Blob dapat dibagikan secara publik atau disimpan di penyimpanan data aplikasi yang aman.

Catatan

Modul data ekspor tidak mendukung penyambingan ke akun penyimpanan Azure Blob jika opsi "Secure Transfer Required" diaktifkan.

Tugas terkait

• Unduh data: Untuk mengunduh data Anda sehingga Anda dapat membukanya di Excel atau aplikasi lain, gunakan modul seperti Konversi ke CSV atau Konversi ke TSV untuk menyiapkan data dalam format tertentu, lalu unduh data.

• Anda dapat mengunduh hasil modul apa pun yang mengeluarkan himpunan data dengan mengklik kanan output dan memilih Unduh himpunan data. Secara default, data diekspor dalam format CSV.

• Unduh definisi modul atau grafik eksperimen: Pustaka PowerShell baru memungkinkan Anda mengunduh metadata lengkap untuk eksperimen Anda, atau detail untuk modul tertentu. Pustaka PowerShell for Pembelajaran Mesin adalah rilis eksperimental, tetapi memiliki banyak cmdlet yang berguna:

  • Get-AmlExperiment mencantumkan semua eksperimen di ruang kerja.
  • Export-AmlExperimentGraph mengekspor definisi eksperimen lengkap ke file JSON.
  • Download-AmlExperimentNodeOutput memungkinkan Anda mengekstrak informasi yang diberikan pada port output modul apa pun.

Cara mengonfigurasi Data Ekspor

1. Tambahkan modul Ekspor Data ke eksperimen Anda di Studio (klasik). Anda dapat menemukan modul ini di kategori Input dan Output.

2. Koneksi Mengekspor Data ke modul yang berisi data yang ingin Anda ekspor.

3. Klik ganda Ekspor Data untuk membuka panel Properti .

4. Untuk tujuan Data, pilih jenis penyimpanan cloud tempat Anda akan menyimpan data. Jika Anda membuat perubahan pada opsi ini, semua properti lainnya akan diatur ulang. Jadi pastikan untuk memilih opsi ini terlebih dahulu!

5. Berikan nama akun dan metode autentikasi yang diperlukan untuk mengakses akun penyimpanan yang ditentukan.

   Bergantung pada jenis penyimpanan dan apakah akun diamankan, Anda mungkin perlu memberikan nama akun, jenis file, kunci akses, atau nama kontainer. Untuk sumber yang tidak memerlukan autentikasi, umumnya cukup mengetahui URL.

   Untuk contoh setiap jenis, lihat topik berikut:

   • Ekspor ke Kueri Hive

   • Ekspor ke Azure SQL Database

   • Ekspor ke Azure Table

   • Ekspor ke Azure Blob Storage

6. Opsinya, Gunakan hasil cache, memungkinkan Anda mengulangi eksperimen tanpa menulis ulang hasil yang sama setiap kali.

   Jika Anda membatalkan pilihan opsi ini, hasil ditulis ke penyimpanan setiap kali percobaan dijalankan, terlepas dari apakah data output telah berubah.

   Jika Anda memilih opsi ini, Ekspor Data menggunakan data yang di-cache, jika tersedia. Hasil baru dihasilkan hanya ketika ada perubahan hulu yang akan mempengaruhi hasil.

7. Jalankan eksperimen.

Contoh

Untuk contoh cara menggunakan modul Ekspor Data , lihat Galeri AI Azure:

• Klasifikasi Teks: Sampel ini menggunakan Data Ekspor untuk menyimpan hasil perantara dan kemudian menggunakan Data Impor untuk mendapatkannya dari penyimpanan untuk langkah selanjutnya dalam percobaan.

• Retail Forecasting Langkah 1 dari 6 - praproses data: Template peramalan ritel menggambarkan tugas pembelajaran mesin berdasarkan data yang disimpan dalam Azure SQL Database. Ini menunjukkan beberapa teknik yang berguna seperti cara membuat database SQL do Azure untuk pembelajaran mesin, menggunakan database SQL do Azure untuk meneruskan dataset antara eksperimen di akun yang berbeda, menyimpan dan menggabungkan perkiraan.

• Membangun dan menyebarkan model pembelajaran mesin menggunakan SQL Server pada VM Azure: Artikel ini menunjukkan bagaimana Anda dapat menggunakan database SQL Server yang dihosting di Vm Azure sebagai sumber untuk menyimpan data pelatihan dan prediksi yang dihasilkan oleh eksperimen. Ini juga menggambarkan bagaimana database relasional dapat digunakan untuk rekayasa fitur dan pemilihan fitur.

• Cara menggunakan Azure ML dengan SQL do Azure Data Warehouse: Artikel ini menunjukkan bagaimana Anda dapat membuat model pembelajaran mesin menggunakan data dalam SQL do Azure Data Warehouse.

Catatan teknis

Bagian ini berisi detail implementasi, tips, dan jawaban atas pertanyaan yang sering diajukan.

Detail implementasi

• Modul ini sebelumnya bernama Writer. Jika Anda memiliki eksperimen yang ada yang menggunakan modul Writer , modul diganti namanya menjadi Export Data saat Anda menyegarkan eksperimen.

• Tidak semua modul menghasilkan output yang kompatibel dengan tujuan Data Ekspor . Misalnya, Export Data tidak dapat menyimpan himpunan data yang telah dikonversi ke format SVMLight. Export Data mendukung format ini:

  • Dataset (Azure ML internal format)
  • .NET DataTable
  • CSV dengan atau tanpa header
  • TSV dengan atau tanpa header

Masalah yang diketahui

• Saat Anda memilih Azure Table sebagai lokasi untuk mengeluarkan data Anda, terkadang mungkin ada kesalahan saat menulis ke tabel yang ditentukan. Ketika ini terjadi, data mungkin ditulis ke blob sebagai gantinya.

  Jika kesalahan ini terjadi dan kemudian Anda tidak dapat membaca dari tabel yang diharapkan, coba gunakan utilitas penyimpanan Azure untuk memeriksa blob dalam kontainer yang ditentukan di akun penyimpanan Anda.

• Saat ini, Anda tidak dapat menyimpan blob ke dalam tabel Hive tertentu. Jika Anda perlu menulis hasil perantara, hindari menggunakan tabel Hive di HDInsight, dan gunakan penyimpanan blob atau penyimpanan tabel sebagai gantinya.

• Saat ini, jika Anda memilih HDFS sebagai lokasi untuk menyimpan data output, pesan kesalahan ini dikembalikan: "Microsoft.Analytics.Exceptions.ErrorMapping+ModuleException."

Input yang diharapkan

Nama	Jenis	Deskripsi
Himpunan Data	Tabel Data	Dataset yang akan ditulis.

Parameter modul

Tabel ini mencantumkan parameter yang berlaku untuk semua opsi Ekspor Data . Parameter lainnya bersifat dinamis dan berubah tergantung pada tujuan data yang Anda pilih.

Nama	Rentang	Jenis	Default	Deskripsi
Harap tentukan tujuan data	Daftar	DataSourceOrsink	Layanan blob di Azure Storage	Tunjukkan apakah tujuan data adalah file di layanan Blob, file di layanan Tabel, database SQL di Azure, atau tabel Hive.
Menggunakan hasil cache	BENAR/SALAH	Boolean	FALSE	Pilih opsi ini untuk menghindari penulisan ulang hasil yang tidak perlu. Jika ada yang berubah di hulu dalam percobaan, Export Data akan selalu mengeksekusi dan menulis hasil baru. Namun jika tidak ada yang berubah, dan Anda telah memilih opsi ini, Export Data tidak akan dijalankan untuk menghindari penulisan ulang hasil yang sama.

Pengecualian

Pengecualian	Deskripsi
Kesalahan 0057	Pengecualian terjadi ketika mencoba membuat file atau blob yang sudah ada.
Kesalahan 0001	Pengecualian terjadi jika satu atau beberapa kolom tertentu dari himpunan data tidak dapat ditemukan.
Kesalahan 0027	Pengecualian terjadi ketika dua objek harus memiliki ukuran yang sama, tetapi tidak.
Kesalahan 0079	Pengecualian terjadi jika nama kontainer di Azure Storage ditentukan secara tidak benar.
Kesalahan 0052	Pengecualian terjadi jika kunci akses penyimpanan untuk akun Azure ditentukan secara tidak benar.
Kesalahan 0064	Pengecualian terjadi jika nama akun atau kunci akses penyimpanan untuk akun Azure ditentukan secara tidak benar.
Kesalahan 0071	Pengecualian terjadi jika kredensial yang diberikan salah.
Kesalahan 0018	Pengecualian terjadi jika himpunan data input tidak valid.
Kesalahan 0029	Pengecualian terjadi ketika URI yang tidak valid dilewatkan.
Kesalahan 0003	Pengecualian terjadi jika satu atau beberapa input null atau kosong.

Untuk daftar kesalahan khusus untuk modul Studio (klasik), lihat Pembelajaran Mesin Kode kesalahan.

Untuk daftar pengecualian API, lihat Pembelajaran Mesin Kode Kesalahan REST API.

Lihat juga

Mengimpor data
Input dan Output Data
Transformasi Data
Membandingkan Storage dan Azure SQL Database Azure Table
Daftar Modul A-Z