Bagikan melalui

Pengaturan kemampuan driver untuk Driver Databricks JDBC

  • Artikel

Artikel ini menjelaskan cara mengonfigurasi pengaturan kemampuan driver khusus dan tingkat lanjut untuk Driver Databricks JDBC.

Driver Databricks JDBC menyediakan pengaturan kemampuan driver khusus dan tingkat lanjut berikut.

Dukungan kueri ANSI SQL-92 di ODBC

Driver Terdahulu Spark JDBC menerima kueri SQL dalam dialek ANSI SQL-92 dan menerjemahkan kueri ke dialek databricks SQL sebelum mengirimkannya ke server. Namun, jika aplikasi Anda menghasilkan Databricks SQL secara langsung atau aplikasi Anda menggunakan sintaks SQL standar non-ANSI SQL-92 khusus untuk Azure Databricks, Databricks merekomendasikan agar Anda mengatur UseNativeQuery=1 sebagai konfigurasi koneksi. Dengan pengaturan itu, driver melewati kueri SQL kata demi kata ke Azure Databricks.

Katalog dan skema default

Untuk menentukan katalog dan skema default, tambahkan ConnCatalog=<catalog-name>;ConnSchema=<schema-name> ke URL koneksi JDBC.

Mengekstrak hasil kueri besar di ODBC

Untuk mencapai performa terbaik saat Anda mengekstrak hasil kueri yang besar, gunakan versi terbaru driver ODBC yang menyertakan pengoptimalan berikut.

Serialisasi panah di JDBC

Driver JDBC versi 2.6.16 ke atas mendukung format serialisasi hasil kueri yang dioptimalkan yang menggunakan Apache Arrow.

Pengambilan Cloud di ODBC

Driver JDBC versi 2.6.19 dan di atasnya mendukung Cloud Fetch, kemampuan yang mengambil hasil kueri melalui penyimpanan cloud yang diatur dalam penerapan Azure Databricks Anda.

Hasil kueri diunggah ke lokasi penyimpanan DBFS internal sebagai file serial Arrow hingga 20 MB. Saat driver mengirimkan permintaan pengambilan setelah kueri selesai, Azure Databricks menghasilkan dan mengembalikan tanda tangan akses bersama ke file yang diunggah. Driver ODBC kemudian menggunakan URL untuk mengunduh hasilnya langsung dari DBFS.

Cloud Fetch hanya digunakan untuk hasil kueri yang lebih besar dari 1 MB. Hasil yang lebih kecil diambil langsung dari Azure Databricks.

Azure Databricks secara otomatis mengumpulkan akumulasi file yang ditandai untuk dihapus setelah 24 jam. File-file bertanda ini sepenuhnya dihapus setelah 24 jam tambahan.

Untuk mempelajari lebih lanjut tentang arsitektur Cloud Fetch, lihat Bagaimana Kami Mencapai Konektivitas Bandwidth Tinggi Dengan Alat BI.

Aktifkan pencatatan log

Untuk mengaktifkan pengelogan di driver JDBC, atur LogLevel properti dari 1 ke hanya mencatat peristiwa 6 parah untuk mencatat semua aktivitas driver. Atur LogPath properti ke jalur lengkap ke folder tempat Anda ingin menyimpan file log.

Untuk informasi selengkapnya, lihat bagian Configuring Logging di Panduan Driver Databricks JDBC.