Mendapatkan data dari penyimpanan Azure
Penyerapan data adalah proses yang digunakan untuk memuat data dari satu atau beberapa sumber ke dalam tabel di Azure Data Explorer. Setelah diserap, data menjadi tersedia untuk kueri. Dalam artikel ini, Anda mempelajari cara mendapatkan data dari penyimpanan Azure (kontainer ADLS Gen2, kontainer blob, atau blob individual) ke dalam tabel baru atau yang sudah ada.
Penyerapan dapat dilakukan sebagai operasi satu kali, atau sebagai metode berkelanjutan. Penyerapan berkelanjutan hanya dapat dikonfigurasi melalui portal.
Untuk informasi umum tentang penyerapan data, lihat Gambaran umum penyerapan data azure Data Explorer.
Prasyarat
- Akun Microsoft atau identitas pengguna Microsoft Entra. Langganan Azure tidak diperlukan.
- Masuk ke antarmuka pengguna web Azure Data Explorer.
- Kluster dan database Azure Data Explorer. Membuat kluster dan database.
- Akun penyimpanan.
Dapatkan data
Dari menu sebelah kiri, pilih Kueri.
Klik kanan pada database tempat Anda ingin menyerap data. Pilih Dapatkan data.
Source
Di jendela Dapatkan data , tab Sumber dipilih.
Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari penyimpanan Azure.
Konfigurasikan
Pilih database dan tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih + Tabel baru dan masukkan nama tabel.
Catatan
Nama tabel dapat mencapai 1024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.
Untuk menambahkan sumber Anda, pilih Pilih kontainer atau Tambahkan URI.
Jika Anda memilih Pilih kontainer, isi bidang berikut:
Pengaturan Deskripsi bidang Langganan ID langganan tempat akun penyimpanan berada. Akun penyimpanan Nama yang mengidentifikasi akun penyimpanan Anda. Kontainer Kontainer penyimpanan yang ingin Anda serap. Filter file (opsional) Jalur folder Memfilter data untuk menyerap file dengan jalur folder tertentu. Ekstensi file Memfilter data untuk menyerap file dengan ekstensi file tertentu saja. Jika Anda memilih Tambahkan URI, tempelkan string koneksi penyimpanan Anda untuk kontainer blob atau file individual di bidang URI, lalu pilih +.
Catatan
- Anda dapat menambahkan hingga 10 blob individual. Setiap blob dapat menjadi maksimal 1 GB yang tidak dikompresi.
- Anda dapat menyerap hingga 5000 blob dari satu kontainer.
Pilih Selanjutnya
Memeriksa
Tab Inspeksi terbuka dengan pratinjau data.
Untuk menyelesaikan proses penyerapan, pilih Selesai.
Opsional:
- Pilih Penampil perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.
- Gunakan dropdown File definisi skema untuk mengubah file tempat skema disimpulkan.
- Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu drop-down. Lihat Format data yang didukung oleh Azure Data Explorer untuk penyerapan.
- Edit kolom.
- Jelajahi Opsi tingkat lanjut berdasarkan jenis data.
Edit kolom
Catatan
- Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
- Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.
Perubahan yang dapat Anda lakukan dalam tabel tergantung pada parameter berikut:
- Pilih Baru atau Yang Sudah Ada
- Pilih Baru atau Yang Sudah Ada
| Jenis tabel | Jenis Pemetaan | Penyesuaian yang tersedia |
|---|---|---|
| Tabel Baru | Tambahkan Pemetaan Baru | Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom |
| Tabel yang sudah ada | Tambahkan Pemetaan Baru | Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui) |
| Tabel yang sudah ada | Pemetaan yang ada | tidak ada |
Memindahkan transformasi
Some data format mappings (Parquet, JSON, and Avro) support simple ingest-time transformations. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom .
Transformasi pemetaan dapat dilakukan pada kolom jenis string atau tanggalwaktu, dengan sumber memiliki tipe data int atau panjang. Supported mapping transformations are:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Opsi tingkat lanjut berdasarkan jenis data
Tabular (CSV, TSV, PSV):
Jika Anda menyerap format tabular dalam tabel yang sudah ada, Anda bisa memilih Tingkat Lanjut>Pertahankan skema tabel saat ini. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama. Jika opsi ini tidak dicentang, kolom baru dibuat untuk data masuk, terlepas dari struktur data.
Untuk menggunakan baris pertama sebagai nama kolom, pilih Baris pertama Tingkat Lanjut>adalah header kolom.
JSON:
Untuk menentukan pembagian kolom data JSON, pilihTingkat BerlapisTingkat Lanjut>, dari 1 hingga 100.
Jika Anda memilihKesalahan format data AbaikanTingkat Lanjut>, data diserap dalam format JSON. Jika Anda membiarkan kotak centang ini tidak dipilih, data diserap dalam format multijson.
Ringkasan
Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa menampilkan perintah yang digunakan untuk setiap langkah, atau memilih kartu untuk mengkueri, memvisualisasikan, atau menghilangkan data yang diserap.
