SQL Database menggunakan konektor Apache Spark

Penting

Dokumentasi federasi kueri lama telah ditarik dan mungkin tidak akan diperbarui. Konfigurasi yang disebutkan dalam konten ini tidak secara resmi didukung atau diuji oleh Databricks. Jika Lakehouse Federation mendukung database sumber Anda, Databricks merekomendasikan penggunaannya sebagai gantinya.

Konektor Apache Spark untuk Azure SQL Database dan SQL Server memungkinkan database ini bertindak sebagai sumber data input data dan sink data output untuk pekerjaan Apache Spark. Ini memungkinkan Anda untuk menggunakan data transaksional real-time dalam analitik big data serta menyimpan hasil untuk kueri atau pelaporan ad-hoc.

Dibandingkan konektor JDBC bawaan, konektor ini menyediakan kemampuan untuk menyisipkan data secara massal ke database SQL. Ini dapat melampaui penyisipan baris demi baris dengan performa 10 hingga 20 kali lebih cepat. Konektor Spark untuk SQL Server dan Azure SQL Database juga mendukung autentikasi MICROSOFT Entra ID, memungkinkan Anda untuk terhubung dengan aman ke database Azure SQL Anda dari Azure Databricks menggunakan akun ID Microsoft Entra Anda. Konektor ini menyediakan antarmuka yang mirip dengan konektor JDBC bawaan. Sangat mudah memigrasikan pekerjaan Spark Anda yang ada untuk menggunakan konektor ini.

Persyaratan

Ada dua versi konektor Spark untuk SQL Server: satu untuk Spark 2.4 dan satu untuk Spark 3.x. Konektor Spark 3.x memerlukan Databricks Runtime 7.x atau di atasnya. Konektor ini didukung komunitas dan tidak menyertakan dukungan SLA Microsoft. Ajukan masalah apa pun di GitHub untuk berinteraksi dengan komunitas guna mendapatkan bantuan.

Komponen	Versi yang Didukung
Apache Spark	3.0.x dan 2.4x
Databricks Runtime	Konektor Apache Spark 3.0: Databricks Runtime versi 7.x ke atas
Scala	Konektor Apache Spark 3.0: 2.12 Konektor Apache Spark 2.4: 2.11
Driver Microsoft JDBC untuk SQL Server	8.2
Microsoft SQL Server	SQL Server 2008 dan di atasnya
Azure SQL Database	Didukung

Menggunakan konektor Spark

Untuk instruksi tentang menggunakan konektor Spark, lihat Konektor Apache Spark: SQL Server & Azure SQL.