Mendapatkan data dari penyimpanan Azure

Dalam artikel ini, Anda mempelajari cara mendapatkan data dari penyimpanan Azure (kontainer ADLS Gen2, kontainer blob, atau blob individual) ke dalam tabel baru atau yang sudah ada.

Prasyarat

Sumber

  1. Pada pita bawah database KQL Anda, pilih Dapatkan Data.

    Di jendela Dapatkan data , tab Sumber dipilih.

  2. Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari penyimpanan Azure.

    Screenshot of get data window with source tab selected.

Mengonfigurasi

  1. Pilih tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih + Tabel baru dan masukkan nama tabel.

    Catatan

    Nama tabel dapat mencapai 1024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.

  2. Untuk menambahkan sumber data Anda, tempelkan string koneksi penyimpanan Anda di bidang URI, lalu pilih +. Tabel berikut mencantumkan metode autentikasi yang didukung dan izin yang diperlukan untuk menyerap data dari penyimpanan Azure.

    Metode autentikasi Blob individual Kontainer blob Azure Data Lake Storage Gen2
    Token Akses Bersama (SAS) Baca dan Tulis Baca dan Daftar Baca dan Daftar
    Kunci akses akun penyimpanan

    Catatan

    • Anda dapat menambahkan hingga 10 blob individual, atau menyerap hingga 5000 blob dari satu kontainer. Anda tidak dapat menyerap keduanya pada saat yang sama.
    • Setiap blob dapat menjadi maksimal 1 GB yang tidak dikompresi.
    1. Jika Anda menempelkan string koneksi untuk kontainer blob atau Azure Data Lake Storage Gen2, Anda kemudian dapat menambahkan filter opsional berikut:

      Screenshot of configure tab with new table entered and one sample data file selected.

      Pengaturan Deskripsi bidang
      Filter file (opsional)
      Jalur folder Memfilter data untuk menyerap file dengan jalur folder tertentu.
      Ekstensi {i>file Memfilter data untuk menyerap file dengan ekstensi file tertentu saja.
  3. Pilih Selanjutnya

Memeriksa

Tab Periksa terbuka dengan pratinjau data.

Untuk menyelesaikan proses penyerapan, pilih Selesai.

Screenshot of the inspect tab.

Opsional:

  • Pilih Penampil perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.
  • Gunakan menu dropdown File definisi skema untuk mengubah file tempat skema disimpulkan.
  • Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu dropdown. Untuk informasi selengkapnya, lihat Format data yang didukung oleh Analitik Real Time.
  • Edit kolom.
  • Jelajahi Opsi tingkat lanjut berdasarkan jenis data.

Edit kolom

Catatan

  • Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
  • Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.

Perubahan yang dapat Anda lakukan dalam tabel tergantung pada parameter berikut:

  • Jenis tabel baru atau sudah ada
  • Jenis pemetaan baru atau sudah ada
Jenis tabel Jenis Pemetaan Penyesuaian yang tersedia
Tabel Baru Tambahkan Pemetaan Baru Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom
Tabel yang sudah ada Tambahkan Pemetaan Baru Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui)
Tabel yang sudah ada Pemetaan yang ada tidak ada

Screenshot of columns open for editing.

Memindahkan transformasi

Some data format mappings (Parquet, JSON, and Avro) support simple ingest-time transformations. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom .

Transformasi pemetaan dapat dilakukan pada kolom string jenis atau tanggalwaktu, dengan sumber memiliki tipe data int atau panjang. Supported mapping transformations are:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opsi tingkat lanjut berdasarkan jenis data

Tabular (CSV, TSV, PSV):

  • Jika Anda menyerap format tabular dalam tabel yang sudah ada, Anda bisa memilih Skema tabel Pertahankan Tingkat Lanjut>. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama. Jika opsi ini tidak dicentang, kolom baru dibuat untuk data masuk, terlepas dari struktur data.

  • Untuk menggunakan baris pertama sebagai nama kolom, pilih Baris pertama Tingkat Lanjut>adalah header kolom.

    Screenshot of advanced CSV options.

JSON:

  • Untuk menentukan pembagian kolom data JSON, pilih Tingkat Berlapis Tingkat Lanjut>, dari 1 hingga 100.

  • Jika Anda memilih Tingkat Lanjut>Lewati baris JSON dengan kesalahan, data diserap dalam format JSON. Jika Anda membiarkan kotak centang ini tidak dipilih, data diserap dalam format multijson.

    Screenshot of advanced JSON options.

Ringkasan

Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa memilih kartu untuk dikueri, menghilangkan data yang diserap, atau melihat dasbor ringkasan penyerapan Anda.

Screenshot of summary page with successful ingestion completed.