Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Ada beberapa cara untuk memasukkan data ke lakehouse, mulai dari unggahan file sederhana hingga alur yang dapat diskalakan dan streaming real time. Pendekatan yang tepat tergantung pada sumber data, volume, kompleksitas transformasi, dan apakah Anda memerlukan beban satu kali atau penyerapan berkelanjutan.
Cara memuat data ke lakehouse
Bagian berikut menjelaskan setiap pendekatan — unggah file, pintasan, dataflow Gen2, data pipeline, kode notebook, dan eventstream — yang diurutkan dari opsi tanpa kode yang paling sederhana hingga metode programatik dan real-time yang lebih maju.
Unggah berkas
Untuk memuat file kecil ke lakehouse tanpa transformasi apa pun, unggah langsung dari komputer lokal Anda melalui penjelajah Lakehouse.
Jalan pintas
Pintasan memungkinkan Anda mereferensikan data di lokasi penyimpanan lain tanpa menyalinnya. Pintasan muncul sebagai folder di lakehouse Anda tetapi menunjuk ke data yang disimpan di tempat lain — di lakehouse lain, dalam akun Azure Data Lake Storage Gen2, Amazon S3, atau sumber lain yang didukung. Pintasan berguna saat Anda ingin mengkueri atau menggabungkan data di seluruh sumber tanpa menduplikasinya. Untuk informasi selengkapnya, lihat Pintasan di lakehouse.
Aliran Data Gen2
Dataflow Gen2 adalah alat transformasi data kode rendah dengan lebih dari 200 konektor. Anda menentukan transformasi secara visual dalam antarmuka Power Query dan menghasilkan hasilnya ke tabel lakehouse. Dataflow Gen2 adalah pilihan yang baik untuk himpunan data yang lebih kecil atau saat Anda memerlukan konektor yang tidak tersedia di alat lain. Untuk informasi selengkapnya, lihat Membuat aliran data pertama Anda untuk mendapatkan dan mengubah data.
Pipa Data
Alur data menyediakan alat salinan yang dapat diskalakan untuk memindahkan data dalam volume besar ke lakehouse. Aktivitas Salin tersambung ke berbagai sumber data dan dapat memuat data dalam format aslinya atau mengonversinya ke tabel Delta. Anda dapat menjadwalkan alur, memicunya berdasarkan peristiwa, dan menautkan beberapa aktivitas bersama-sama. Untuk informasi selengkapnya, lihat Cara menyalin data menggunakan aktivitas salin.
Kode buku catatan
Notebook Spark memberi Anda kontrol terprogram penuh atas penyerapan data. Gunakan pustaka Spark untuk menyambungkan ke sumber data, memuat data ke dalam DataFrame, menerapkan transformasi, dan menyimpan hasilnya ke lakehouse. Pendekatan ini adalah yang paling fleksibel dan sesuai dengan logika transformasi kompleks atau sumber yang tidak didukung alat lain.
Catatan
Tabel Delta eksternal yang dibuat dengan kode Spark tidak terlihat oleh titik akhir analitik SQL. Gunakan pintasan di bagian Tabel untuk membuat tabel Delta eksternal terlihat untuk titik akhir analitik SQL. Untuk informasi selengkapnya, lihat Pintasan di lakehouse.
Eventstream
Eventstream menyerap, memproses, dan merutekan acara real-time berkapasitas tinggi dari berbagai macam sumber. Anda dapat menambahkan lakehouse sebagai lokasi tujuan untuk mengalirkan data streaming langsung ke tabel Delta.
Untuk informasi lebih lanjut, lihat Dapatkan data dari eventstream di sebuah rumah danau.
Untuk skenario streaming deret waktu atau throughput tinggi, Anda juga dapat streaming acara ke eventhouse dan mengaktifkan ketersediaan OneLake. Ini membuat sebuah tabel Delta di OneLake yang dapat diakses oleh rumah data danau melalui tombol pintas. Untuk informasi lebih lanjut, lihat ketersediaan eventhouse OneLake.
Pilih pendekatan
Tabel berikut meringkas kapan masing-masing pendekatan sebaiknya digunakan untuk memuat data ke dalam lakehouse.
| Skenario | Pendekatan yang direkomendasikan |
|---|---|
| File kecil dari komputer lokal | Unggah berkas |
| Mereferensikan data tanpa menyalinnya | Jalan pintas |
| Data kecil hingga menengah dengan transformasi visual | Aliran Data Gen2 |
| Pergerakan data skala besar | Pipa Data |
| Transformasi kompleks atau sumber yang tidak didukung | kode buku catatan |
| Pengambilan peristiwa waktu nyata | Eventstream |
| Streaming data deret waktu atau streaming throughput tinggi | Dari Eventstream ke rumah acara dengan ketersediaan OneLake |
Konten terkait
- Pintasan di rumah danau
- Pemaniran data ke dalam lakehouse dengan Spark
- Cara menyalin data menggunakan aktivitas salin
- Membuat aliran data pertama Anda untuk mendapatkan dan mengubah data
- Menjelajahi data di lakehouse Anda dengan buku catatan
- Menambahkan tujuan lakehouse ke eventstream
- Ketersediaan Eventhouse OneLake