Bagikan melalui

Mendapatkan data dari Amazon S3

Dalam artikel ini, Anda mempelajari cara mendapatkan data dari Amazon S3 ke dalam tabel baru atau yang sudah ada. Amazon S3 adalah layanan penyimpanan objek yang dibuat untuk menyimpan dan mengambil data.

Untuk informasi selengkapnya tentang Amazon S3, lihat Apa itu Amazon S3?.

Prasyarat

Sumber

  1. Pada pita bawah database KQL Anda, pilih Dapatkan Data.

    Di jendela Dapatkan data , tab Sumber dipilih.

  2. Pilih sumber data dari daftar yang tersedia. Dalam contoh ini, Anda menyerap data dari Amazon S3.

    Cuplikan layar jendela dapatkan data dengan tab sumber dipilih.

Konfigurasi

  1. Pilih tabel target. Jika Anda ingin menyerap data ke dalam tabel baru, pilih +Tabel baru dan masukkan nama tabel.

    Nota

    Nama tabel dapat mencapai 1024 karakter termasuk spasi, alfanumerik, tanda hubung, dan garis bawah. Karakter khusus tidak didukung.

  2. Di bidang URI, tempelkan string koneksi wadah tunggal, atau objek individual dalam format berikut.

    Ember: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Secara opsional, Anda dapat menerapkan filter wadah untuk memfilter data sesuai dengan ekstensi file tertentu.

    Cuplikan layar tab konfigurasi dengan tabel baru dimasukkan dan string koneksi Amazon S3 ditempelkan.

  3. Pilih Berikutnya.

Inspeksi

Tab Inspect terbuka dengan pratinjau data.

Untuk menyelesaikan proses penyerapan, pilih Selesai.

Cuplikan layar tab inspeksi.

Anda dapat melihat, memeriksa, dan mengonfigurasi data yang diserap. Angka dalam gambar sesuai dengan opsi ini:

Pilih Pemirsa Perintah untuk melihat dan menyalin perintah otomatis yang dihasilkan dari input Anda.

(2) Gunakan dropdown berkas definisi skema untuk memilih berkas yang menjadi dasar skema.

(3) Ubah format data yang disimpulkan secara otomatis dengan memilih format yang diinginkan dari menu dropdown. Untuk informasi selengkapnya, lihat format Data yang didukung oleh Real-Time Intelligence.

(4) Ubah kolom.

(5) Jelajahi opsi tingkat lanjut berdasarkan jenis data.

Menyunting kolom

Nota

  • Untuk format tabular (CSV, TSV, PSV), Anda tidak dapat memetakan kolom dua kali. Untuk memetakan ke kolom yang sudah ada, pertama-tama hapus kolom baru.
  • Anda tidak dapat mengubah tipe kolom yang sudah ada. Jika Anda mencoba memetakan ke kolom yang memiliki format yang berbeda, Anda mungkin berakhir dengan kolom kosong.

Perubahan yang dapat Anda buat dalam tabel bergantung pada parameter berikut:

  • Jenis tabel baru atau sudah ada
  • jenis Pemetaan baru atau sudah ada
Jenis tabel Jenis pemetaan Penyesuaian yang tersedia
Tabel baru Pemetaan baru Ganti nama kolom, ubah jenis data, ubah sumber data, transformasi pemetaan, tambahkan kolom, hapus kolom
Tabel yang sudah ada Pemetaan baru Tambahkan kolom (di mana Anda kemudian dapat mengubah jenis data, mengganti nama, dan memperbarui)
Tabel yang sudah ada Pemetaan yang ada tidak

Cuplikan layar kolom terbuka untuk pengeditan.

Transformasi dalam pemetaan

Beberapa pemetaan format data (Parquet, JSON, dan Avro) mendukung transformasi ingest-time sederhana. Untuk menerapkan transformasi pemetaan, buat atau perbarui kolom di jendela Edit kolom.

Transformasi pemetaan dapat dilakukan pada kolom dengan jenis string atau datetime, dengan sumber memiliki tipe data int atau long. Untuk informasi selengkapnya, lihat daftar lengkap transformasi pemetaan yang didukung.

Opsi tingkat lanjut berdasarkan jenis data

Tabular (CSV, TSV, PSV):

  • Jika Anda menyerap format tabular dalam tabel yang ada, Anda dapat memilih Tingkat Lanjut>Pertahankan skema tabel. Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Ketika opsi ini dicentang, pemetaan dilakukan secara berurutan, dan skema tabel tetap sama. Jika opsi ini tidak dicentang, kolom baru dibuat untuk data masuk, terlepas dari struktur data.

    Tangkapan layar opsi lanjutan.

  • Data tabular tidak selalu menyertakan nama kolom yang digunakan untuk memetakan data sumber ke kolom yang ada. Untuk menggunakan baris pertama sebagai nama kolom, pilih Baris pertama adalah tajuk kolom.

    Cuplikan layar dari baris Pertama adalah sakelar tajuk kolom.

Ringkasan

Di jendela Persiapan data, ketiga langkah ditandai dengan tanda centang hijau saat penyerapan data berhasil diselesaikan. Anda bisa memilih kartu untuk melakukan kueri, menghapus data yang telah diambil, atau melihat dasbor ringkasan pengambilan data Anda.

Cuplikan layar halaman ringkasan dengan pemrosesan data berhasil diselesaikan.

Konten terkait