Tutorial: Menggunakan buku catatan dengan Apache Spark untuk mengkueri database KQL

Notebook adalah dokumen yang dapat dibaca yang berisi deskripsi analisis data dan hasil serta dokumen yang dapat dieksekusi yang dapat dijalankan untuk melakukan analisis data. Dalam artikel ini, Anda mempelajari cara menggunakan buku catatan Microsoft Fabric untuk membaca dan menulis data ke database KQL menggunakan Apache Spark. Tutorial ini menggunakan himpunan data dan notebook yang dibuat sebelumnya di Real-Time Intelligence dan lingkungan Rekayasa Data di Microsoft Fabric. Untuk informasi selengkapnya tentang notebook, lihat Cara menggunakan notebook Microsoft Fabric.

Secara khusus, Anda mempelajari cara:

• Membuat data base KQL
• Mengimpor buku catatan
• Menulis data ke database KQL menggunakan Apache Spark
• Mengkueri data dari database KQL

Prasyarat

• Ruang kerja dengan kapasitas yang diaktifkan Microsoft Fabric

1- Membuat database KQL

1. Buka pengalih pengalaman di bagian bawah panel navigasi dan pilih Kecerdasan Real Time.

2. Pilih petak peta KQL Database .

   

3. Di bidang Nama Database KQL, masukkan nycGreenTaxi, lalu pilih Buat.

   Database KQL dibuat dalam konteks ruang kerja yang dipilih.

4. Salin URI Kueri dari kartu detail database di dasbor database dan tempelkan di suatu tempat, seperti notepad, untuk digunakan di langkah selanjutnya.

   

2- Unduh notebook NYC GreenTaxi

Kami telah membuat contoh notebook yang membawa Anda melalui semua langkah yang diperlukan untuk memuat data ke database Anda menggunakan konektor Spark.

1. Buka repositori sampel Fabric di GitHub untuk mengunduh notebook NYC GreenTaxi KQL..

   

2. Simpan buku catatan secara lokal ke perangkat Anda.

   Catatan

   Buku catatan harus disimpan dalam .ipynb format file.

3- Impor buku catatan

Sisa alur kerja ini terjadi di bagian Rekayasa Data produk, dan menggunakan buku catatan Spark untuk memuat dan mengkueri data dalam database KQL Anda.

1. Buka pengalih pengalaman di bagian bawah panel navigasi dan pilih Kembangkan lalu ruang kerja Anda.

2. Pilih Impor>Buku Catatan>Dari komputer>ini Unggah lalu pilih buku catatan GreenTaxi NYC yang Anda unduh di langkah sebelumnya.

   

3. Setelah impor selesai, buka buku catatan dari ruang kerja Anda.

4- Dapatkan data

Untuk mengkueri database Anda menggunakan konektor Spark, Anda perlu memberikan akses baca dan tulis ke kontainer blob GreenTaxi NYC.

Pilih tombol putar untuk menjalankan sel berikut, atau pilih sel dan tekan Shift+ Enter. Ulangi langkah ini untuk setiap sel kode.

Catatan

Tunggu hingga tanda centang penyelesaian muncul sebelum menjalankan sel berikutnya.

1. Jalankan sel berikut untuk mengaktifkan akses ke kontainer blob NYC GreenTaxi.

   

2. Di KustoURI, tempelkan URI Kueri yang Anda salin sebelumnya alih-alih teks tempat penampung.

3. Ubah nama database tempat penampung menjadi nycGreenTaxi.

4. Ubah nama tabel tempat penampung menjadi GreenTaxiData.

   

5. Jalankan sel.

6. Jalankan sel berikutnya untuk menulis data ke database Anda. Diperlukan waktu beberapa menit agar langkah ini selesai.

   

Database Anda sekarang memiliki data yang dimuat dalam tabel bernama GreenTaxiData.

5- Jalankan buku catatan

Jalankan dua sel yang tersisa secara berurutan untuk mengkueri data dari tabel Anda. Hasilnya menunjukkan 20 besar tarif dan jarak taksi tertinggi dan terendah yang dicatat berdasarkan tahun.

6- Membersihkan sumber daya

Bersihkan item yang dibuat dengan menavigasi ke ruang kerja tempat item dibuat.

1. Di ruang kerja Anda, arahkan mouse ke atas buku catatan yang ingin Anda hapus, pilih menu Lainnya [...] >Hapus.

   

2. Pilih Hapus. Anda tidak dapat memulihkan buku catatan setelah menghapusnya.

Konten terkait

• Mengkueri data dalam set kueri KQL
• Memvisualisasikan data dalam laporan Power BI