Menyalin data ke Azure Data Explorer menggunakan Azure Data Factory

Penting

Konektor ini dapat digunakan dalam Real-Time Intelligence di Microsoft Fabric. Gunakan instruksi dalam artikel ini dengan pengecualian berikut:

• Jika diperlukan, buat database menggunakan instruksi di Membuat database KQL.
• Jika diperlukan, buat tabel menggunakan instruksi di Membuat tabel kosong.
• Dapatkan URI kueri atau penyerapan menggunakan instruksi di Salin URI.
• Jalankan kueri dalam set kueri KQL.

Azure Data Explorer adalah layanan analitik data yang cepat, dikelola sepenuhnya. Ini menawarkan analisis real-time pada volume besar data yang mengalir dari banyak sumber, seperti aplikasi, situs web, dan perangkat IoT. Dengan Azure Data Explorer, Anda dapat secara berulang menjelajahi data dan mengidentifikasi pola dan anomali untuk meningkatkan produk, meningkatkan pengalaman pelanggan, memantau perangkat, dan meningkatkan operasi. Ini membantu Anda menjelajahi pertanyaan baru dan mendapatkan jawaban dalam beberapa menit.

Azure Data Factory adalah layanan integrasi data berbasis cloud yang dikelola sepenuhnya. Anda dapat menggunakannya untuk mengisi database Azure Data Explorer Anda dengan data dari sistem yang sudah ada. Ini dapat membantu Anda menghemat waktu saat Anda membangun solusi analitik.

Saat Anda memuat data ke Azure Data Explorer, Data Factory memberikan manfaat berikut:

• Penyiapan mudah: Dapatkan wizard lima langkah yang intuitif tanpa perlu membuat skrip.
• Dukungan penyimpanan data yang kaya: Dapatkan dukungan bawaan untuk sekumpulan penyimpanan data lokal dan berbasis cloud yang kaya. Untuk daftar detailnya, lihat tabel Penyimpanan data yang didukung.
• Aman dan sesuai: Data ditransfer melalui HTTPS atau Azure ExpressRoute. Kehadiran layanan global memastikan bahwa data Anda tidak pernah meninggalkan batas geografis.
• Performa tinggi: Kecepatan pemuatan data hingga 1 gigabyte per detik (GBps) ke Azure Data Explorer. Untuk mengetahui informasi selengkapnya, lihat Performa aktivitas penyalin.

Dalam artikel ini, Anda menggunakan alat Data Salin Data Data Factory untuk memuat data dari Amazon Simple Storage Service (S3) ke Azure Data Explorer. Anda dapat mengikuti proses serupa untuk menyalin data dari penyimpanan data lain, seperti:

• Azure Blob Storage
• Azure SQL Database
• Azure SQL Data Warehouse
• Google BigQuery
• Oracle
• Sistem file

Prasyarat

• Langganan Azure. Membuat akun Azure gratis.
• Kluster dan database Azure Data Explorer. Membuat kluster dan database.
• Sumber data.

Membuat pabrik data

1. Masuk ke portal Azure.

2. Di panel kiri, pilih Buat sumber daya>Analytics>Data Factory.

   

3. Di panel Pabrik data baru, berikan nilai untuk bidang dalam tabel berikut ini:

   

   Pengaturan	Nilai untuk dimasukkan
   Nama	Dalam kotak, masukkan nama unik global untuk pabrik data Anda. Jika Anda menerima kesalahan, Nama pabrik data "LoadADXDemo" tidak tersedia, masukkan nama yang berbeda untuk pabrik data. Untuk aturan tentang penamaan artefak Data Factory, lihat Aturan penamaan Data Factory.
   Langganan	Di daftar drop-down, pilih langganan Azure untuk membuat pabrik data.
   Grup Sumber Daya	Pilih Buat baru, lalu masukkan nama grup sumber daya baru. Jika Anda sudah memiliki grup sumber daya, pilih Gunakan yang sudah ada.
   Versi	Di daftar drop-down, pilih V2.
   Location	Di daftar drop-down, pilih lokasi untuk pabrik data. Hanya lokasi yang didukung yang ditampilkan dalam daftar. Penyimpanan data yang digunakan oleh pabrik data dapat ada di lokasi atau wilayah lain.

4. Pilih Buat.

5. Untuk memantau proses pembuatan, pilih Pemberitahuan pada toolbar. Setelah Anda membuat pabrik data, pilih pabrik data tersebut.

   Panel Data Factory terbuka.

   

6. Untuk membuka aplikasi di panel terpisah, pilih petak peta Penulis & Monitor .

Memuat data ke Azure Data Explorer

Anda dapat memuat data dari berbagai jenis penyimpanan data ke Azure Data Explorer. Artikel ini membahas cara memuat data dari Amazon S3.

Anda dapat memuat data Anda dengan salah satu cara berikut:

• Di antarmuka pengguna Azure Data Factory, di panel kiri, pilih ikon Penulis . Ini ditampilkan di bagian "Buat pabrik data" dari Buat pabrik data dengan menggunakan antarmuka pengguna Azure Data Factory.
• Di alat Salin Data Azure Data Factory, seperti yang ditunjukkan di Gunakan alat Salin Data untuk menyalin data.

Menyalin data dari Amazon S3 (sumber)

1. Di panel Mari kita mulai , buka alat Salin Data dengan memilih Salin Data.

   

2. Di panel Properti , dalam kotak Nama tugas, masukkan nama, lalu pilih Berikutnya.

   

3. Di panel Penyimpanan data sumber, pilih Buat koneksi baru.

   

4. Pilih Amazon S3, lalu pilih Lanjutkan.

   

5. Di panel Layanan Tertaut Baru (Amazon S3), lakukan hal berikut:

   

   a. Dalam kotak Nama , masukkan nama layanan tertaut baru Anda.

   b. Di daftar drop-down Sambungkan melalui runtime integrasi, pilih nilai .

   c. Dalam kotak ID Kunci Akses, masukkan nilai .

   Catatan

   Di Amazon S3, untuk menemukan kunci akses Anda, pilih nama pengguna Amazon Anda di bilah navigasi, lalu pilih Kredensial Keamanan Saya.

   d. Dalam kotak Kunci Akses Rahasia, masukkan nilai.

   e. Untuk menguji koneksi layanan tertaut yang Anda buat, pilih Uji Koneksi.

   f. Pilih Selesai.

   Panel Penyimpanan data sumber menampilkan koneksi AmazonS31 baru Anda.

6. Pilih Selanjutnya.

   

7. Di panel Pilih file atau folder input, lakukan langkah-langkah berikut:

   a. Telusuri ke file atau folder yang ingin Anda salin, lalu pilih file atau folder tersebut.

   b. Pilih perilaku salin yang Anda inginkan. Pastikan kotak centang Salinan biner dikosongkan.

   c. Pilih Selanjutnya.

   

8. Di panel Pengaturan format file, pilih pengaturan yang relevan untuk file Anda. lalu pilih Berikutnya.

   

Menyalin data ke Azure Data Explorer (tujuan)

Layanan tertaut Azure Data Explorer baru dibuat untuk menyalin data ke dalam tabel tujuan (sink) Azure Data Explorer yang ditentukan di bagian ini.

Catatan

Gunakan aktivitas perintah Azure Data Factory untuk menjalankan perintah manajemen Azure Data Explorer dan gunakan salah satu penyerapan dari perintah kueri, seperti .set-or-replace.

Membuat layanan tertaut Azure Data Explorer

Untuk membuat layanan tertaut Azure Data Explorer, lakukan langkah-langkah berikut:

1. Untuk menggunakan koneksi penyimpanan data yang sudah ada atau menentukan penyimpanan data baru, di panel Penyimpanan data tujuan, pilih Buat koneksi baru.

   

2. Di panel Layanan Tertaut Baru, pilih Azure Data Explorer, lalu pilih Lanjutkan.

   

3. Di panel Layanan Tertaut Baru (Azure Data Explorer), lakukan langkah-langkah berikut:

   

   1. Dalam kotak Nama , masukkan nama untuk layanan tertaut Azure Data Explorer.

   2. Di bawah Metode autentikasi, pilih Identitas Terkelola atau Perwakilan Layanan yang Ditetapkan Sistem.

      • Untuk Mengautentikasi menggunakan Identitas Terkelola, berikan akses Identitas Terkelola ke database dengan menggunakan Nama identitas terkelola atau ID objek identitas terkelola.

      • Untuk Mengautentikasi menggunakan Perwakilan Layanan:

        1. Dalam kotak Penyewa , masukkan nama penyewa.
        2. Dalam kotak ID perwakilan layanan, masukkan ID perwakilan layanan.
        3. Pilih Kunci perwakilan layanan lalu, dalam kotak Kunci perwakilan layanan, masukkan nilai untuk kunci tersebut.

      Catatan

      • Perwakilan layanan digunakan oleh Azure Data Factory untuk mengakses layanan Azure Data Explorer. Untuk membuat perwakilan layanan, buka membuat perwakilan layanan Microsoft Entra.
      • Untuk menetapkan izin ke Identitas Terkelola atau Perwakilan Layanan atau , lihat mengelola izin.
      • Jangan gunakan metode Azure Key Vault atau Identitas Terkelola yang Ditetapkan Pengguna.

   3. Di bawah Metode pemilihan akun, pilih salah satu opsi berikut:

      • Pilih Dari langganan Azure lalu, di daftar drop-down, pilih langganan Azure dan Kluster Anda.

        Catatan

        • Kontrol drop-down Kluster hanya mencantumkan kluster yang terkait dengan langganan Anda.
        • Kluster Anda harus memiliki SKU yang sesuai untuk performa terbaik.

      • Pilih Masukkan secara manual, lalu masukkan Titik Akhir Anda.

   4. Di daftar drop-down Database, pilih nama database Anda. Atau, pilih kotak centang Edit , lalu masukkan nama database.

   5. Untuk menguji koneksi layanan tertaut yang Anda buat, pilih Uji Koneksi. Jika Anda bisa menyambungkan ke layanan tertaut, panel menampilkan tanda centang hijau dan pesan Koneksi berhasil .

   6. Pilih Buat untuk menyelesaikan pembuatan layanan tertaut.

Mengonfigurasi koneksi data Azure Data Explorer

Setelah Anda membuat koneksi layanan tertaut, panel Penyimpanan data tujuan terbuka, dan koneksi yang Anda buat tersedia untuk digunakan. Untuk mengonfigurasi koneksi, lakukan langkah-langkah berikut:

1. Pilih Selanjutnya.

   

2. Di panel Pemetaan tabel, atur nama tabel tujuan, lalu pilih Berikutnya.

   

3. Di panel Pemetaan kolom, pemetaan berikut ini terjadi:

   a. Pemetaan pertama dilakukan oleh Azure Data Factory sesuai dengan pemetaan skema Azure Data Factory. Lakukan:

   • Atur Pemetaan kolom untuk tabel tujuan Azure Data Factory. Pemetaan default ditampilkan dari sumber ke tabel tujuan Azure Data Factory.

   • Batalkan pilihan kolom yang tidak perlu Anda tentukan pemetaan kolom Anda.

   b. Pemetaan kedua terjadi ketika data tabular ini diserap ke Azure Data Explorer. Pemetaan dilakukan sesuai dengan aturan pemetaan CSV. Bahkan jika data sumber tidak dalam format CSV, Azure Data Factory mengonversi data menjadi format tabular. Oleh karena itu, pemetaan CSV adalah satu-satunya pemetaan yang relevan pada tahap ini. Lakukan:

   • (Opsional) Di bawah properti sink Azure Data Explorer (Kusto), tambahkan nama pemetaan Penyerapan yang relevan sehingga pemetaan kolom dapat digunakan.

   • Jika Nama pemetaan penyerapan tidak ditentukan, urutan pemetaan menurut nama yang ditentukan di bagian Pemetaan kolom akan digunakan. Jika pemetaan berdasarkan nama gagal, Azure Data Explorer mencoba menyerap data dalam urutan posisi menurut kolom (yaitu, memetakan berdasarkan posisi sebagai default).

   • Pilih Selanjutnya.

   

4. Di panel Pengaturan , lakukan langkah-langkah berikut ini:

   a. Di bawah Pengaturan toleransi kesalahan, masukkan pengaturan yang relevan.

   b. Di bawah Pengaturan performa, Aktifkan penahapan tidak berlaku, dan Pengaturan tingkat lanjut menyertakan pertimbangan biaya. Jika Anda tidak memiliki persyaratan khusus, biarkan pengaturan ini apa adanya.

   c. Pilih Selanjutnya.

   

5. Di panel Ringkasan , tinjau pengaturan, lalu pilih Berikutnya.

   

6. Di panel Penyebaran selesai , lakukan hal berikut:

   a. Untuk beralih ke tab Monitor dan melihat status alur (yaitu, kemajuan, kesalahan, dan aliran data), pilih Pantau.

   b. Untuk mengedit layanan, himpunan data, dan alur tertaut, pilih Edit Alur.

   c. Pilih Selesai untuk menyelesaikan tugas salin data.

   

Konten terkait

• Pelajari tentang konektor Azure Data Explorer untuk Azure Data Factory.
• Edit layanan tertaut, himpunan data, dan alur di antarmuka pengguna Data Factory.
• Mengkueri data di antarmuka pengguna web Azure Data Explorer.