Menjalankan kueri federasi di Microsoft SQL Server

Halaman ini menjelaskan cara menyiapkan Federasi Lakehouse untuk menjalankan kueri federasi pada data SQL Server yang tidak dikelola oleh Azure Databricks. Untuk mempelajari selengkapnya tentang Federasi Lakehouse, lihat Apa itu Federasi Lakehouse?

Untuk menyambungkan ke database SQL Server Anda menggunakan Lakehouse Federation, Anda harus membuat hal berikut di metastore Azure Databricks Unity Catalog Anda (ruang kerja yang dibuat setelah 9 November 2023 sudah memiliki metastore Unity Catalog yang disediakan secara otomatis):

• Koneksi ke database SQL Server Anda.
• Katalog asing yang mencerminkan database SQL Server Anda di Unity Catalog sehingga Anda dapat menggunakan sintaks kueri Unity Catalog dan alat tata kelola data untuk mengelola akses pengguna Azure Databricks ke database.

Federasi Lakehouse mendukung SQL Server, Azure SQL Database, dan Azure SQL Managed Instance.

Sebelum Anda mulai

Persyaratan ruang kerja:

• Workspace telah diaktifkan untuk Unity Catalog. Ruang kerja yang dibuat setelah 9 November 2023 aktif untuk Katalog Unity secara otomatis, termasuk penyediaan metastore otomatis. Anda tidak perlu membuat metastore secara manual, kecuali jika ruang kerja Anda dibuat sebelum pengaktifan otomatis dan belum diaktifkan untuk Katalog Unity. Lihat Pengaktifan otomatis untuk Unity Catalog.

Persyaratan komputasi:

• Konektivitas jaringan dari sumber daya komputasi Anda ke sistem database target. Lihat Rekomendasi jaringan untuk Federasi Lakehouse.
• Komputasi Azure Databricks harus menggunakan Databricks Runtime 13.3 LTS atau yang lebih tinggi serta mode akses Standar atau mode akses Dedicated .
• Gudang SQL harus pro atau tanpa server dan harus menggunakan 2023.40 atau lebih tinggi.

Izin diperlukan:

• Untuk membuat koneksi, Anda harus menjadi administrator metastore atau pengguna yang memiliki hak istimewa CREATE CONNECTION pada metastore Unity Catalog yang terhubung dengan ruang kerja. Di ruang kerja yang diaktifkan untuk Katalog Unity secara otomatis, admin ruang kerja memiliki CREATE CONNECTION hak istimewa secara default.
• Untuk membuat katalog asing, Anda harus memiliki izin CREATE CATALOG di metastore dan menjadi pemilik koneksi atau memiliki hak istimewa CREATE FOREIGN CATALOG pada koneksi. Di ruang kerja yang diaktifkan untuk Katalog Unity secara otomatis, admin ruang kerja memiliki CREATE CATALOG hak istimewa secara default.

Persyaratan izin tambahan ditentukan di setiap bagian berbasis tugas yang berikut.

• Jika Anda berencana untuk mengautentikasi ke SQL Server menggunakan MICROSOFT Entra ID, selesaikan penyiapan di Mengonfigurasi ID Microsoft Entra untuk federasi SQL Server.

Buat sambungan

Koneksi menentukan jalur dan kredensial untuk mengakses sistem database eksternal. Untuk membuat koneksi, Anda bisa menggunakan Catalog Explorer atau perintah SQL CREATE CONNECTION di buku catatan Azure Databricks atau editor kueri Databricks SQL.

Note

Anda juga dapat menggunakan Databricks REST API atau Databricks CLI untuk membuat koneksi. Lihat perintah POST /api/2.1/unity-catalog/connections dan perintah Unity Catalog.

Izin diperlukan: Admin atau pengguna Metastore dengan CREATE CONNECTION hak istimewa.

Eksplorer Katalog

1. Di ruang kerja Azure Databricks Anda, klik Katalog.

2. Di bagian atas panel Katalog , klik Tambahkan ikon dan pilih Buat koneksi dari menu.

3. Pada halaman Dasar-dasar Koneksi di wizard Menyiapkan Koneksi, masukkan nama Koneksi yang mudah dipahami.

4. Pilih Jenis koneksiSQL Server.

5. Pilih jenis AutentikasiOAuth, Komputer OAuth ke Mesin, atau Nama pengguna dan kata sandi (autentikasi dasar).

6. (Opsional) Tambahkan komentar.

7. Klik Berikutnya.

8. Pada halaman Autentikasi , masukkan properti koneksi berikut untuk instans SQL Server Anda. Properti yang khusus untuk metode autentikasi yang Anda pilih didahului oleh Auth type dalam tanda kurung.

   • Host: Server SQL Anda.
   • (Autentikasi dasar) Pelabuhan
   • (Autentikasi dasar) trustServerCertificate: Secara default diatur ke false. Ketika diatur ke true, lapisan transportasi menggunakan SSL untuk mengenkripsi saluran dan melewati rantai sertifikat untuk memvalidasi kepercayaan. Biarkan ini dibiarkan pada pengaturan default kecuali Anda memiliki kebutuhan khusus untuk mengabaikan validasi kepercayaan.
   • (Autentikasi dasar) Pengguna
   • (Autentikasi dasar) Kata sandi
   • (OAuth) Masukkan detail koneksi yang Anda kumpulkan di Mengonfigurasi ID Microsoft Entra untuk federasi SQL Server.

9. Klik Buat koneksi.

10. (Autentikasi dasar) Pada halaman detail Koneksi , tentukan yang berikut ini:

    • Sertifikat Kepercayaan Server: Ini tidak dipilih secara default. Saat dipilih, lapisan transportasi menggunakan SSL untuk mengenkripsi saluran dan melewati rantai sertifikat untuk memvalidasi kepercayaan. Biarkan ini dibiarkan pada pengaturan default kecuali Anda memiliki kebutuhan khusus untuk mengabaikan validasi kepercayaan.
    • Niat aplikasi: Jenis beban kerja aplikasi saat menyambungkan ke server.

11. Klik Berikutnya.

12. Pada halaman dasar-dasar katalog , masukkan nama untuk katalog asing. Katalog asing mencerminkan database dalam sistem data eksternal sehingga Anda dapat mengkueri dan mengelola akses ke data dalam database tersebut menggunakan Azure Databricks dan Unity Catalog.

13. Klik Buat katalog.

14. Pada halaman Access, pilih ruang kerja tempat pengguna dapat mengakses katalog yang Anda buat. Anda dapat memilih Semua ruang kerja memiliki akses, atau klik Tetapkan ke ruang kerja, pilih ruang kerja, lalu klik Tetapkan.

15. Ubah Pemilik yang akan dapat mengelola akses ke semua objek dalam katalog. Mulai ketik prinsipal dalam kotak teks, lalu klik prinsipal dalam hasil yang dikembalikan.

16. Berikan Hak Akses pada katalog. Klik Berikan:

    1. Tentukan Prinsipal yang akan memiliki akses ke objek dalam katalog. Mulai ketik prinsipal dalam kotak teks, lalu klik prinsipal dalam hasil yang dikembalikan.
    2. Pilih preset Hak Istimewa untuk diberikan kepada setiap prinsipal. Semua pengguna akun diberikan BROWSE secara default.
       • Pilih Pembaca Data dari menu drop-down untuk memberikan izin read pada objek dalam katalog.
       • Pilih Editor Data dari menu drop-down untuk memberikan hak istimewa dan pada objek dalam katalog.
       • Pilih hak istimewa yang akan diberikan secara manual.
    3. Klik pada Berikan.

17. Klik Berikutnya.

18. Pada halaman Metadata , tentukan pasangan kunci-nilai tag. Untuk informasi selengkapnya, lihat Menerapkan tag ke objek yang dapat diamankan pada Katalog Unity.

19. (Opsional) Tambahkan komentar.

20. Kliklah Simpan.

Note

(OAuth) Titik akhir OAuth ID Azure Entra harus dapat diakses dari IP sarana kontrol Azure Databricks. Lihat Wilayah Azure Databricks.

SQL

Jalankan perintah berikut ini di buku catatan atau editor kueri Databricks SQL.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Kami menyarankan agar Anda menggunakan Azure Databricks rahasia alih-alih string teks biasa untuk nilai sensitif seperti kredensial. Contohnya:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Untuk informasi tentang menyiapkan rahasia, lihat Manajemen rahasia.

Membuat katalog asing

Note

Jika Anda menggunakan UI untuk membuat koneksi ke sumber data, pembuatan katalog asing disertakan dan Anda dapat melewati langkah ini.

Katalog asing mencerminkan database dalam sistem data eksternal sehingga Anda dapat mengkueri dan mengelola akses ke data dalam database tersebut menggunakan Azure Databricks dan Unity Catalog. Untuk membuat katalog asing, Anda menggunakan koneksi ke sumber data yang telah ditentukan.

Untuk membuat katalog asing, Anda bisa menggunakan Catalog Explorer atau perintah CREATE FOREIGN CATALOG SQL di buku catatan Azure Databricks atau editor kueri SQL. Anda juga dapat menggunakan Databricks REST API atau Databricks CLI untuk membuat katalog. Lihat perintah POST /api/2.1/unity-catalog/catalogs dan perintah Unity Catalog.

Izin yang diperlukan:CREATE CATALOG izin pada metastore dan kepemilikan koneksi atau CREATE FOREIGN CATALOG hak istimewa pada koneksi.

Eksplorer Katalog

1. Di ruang kerja Azure Databricks Anda, klik Katalog untuk membuka Catalog Explorer.

2. Di bagian atas panel Katalog , klik ikon Tambahkan atau plus dan pilih Tambahkan katalog dari menu.

   Atau, dari halaman akses cepat, klik tombol Katalog, lalu klik tombol Buat katalog.

3. Ikuti instruksi untuk membuat katalog asing di Membuat katalog.

SQL

Jalankan perintah SQL berikut ini di buku catatan atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai placeholder ini:

• <catalog-name>: Nama untuk katalog di Azure Databricks.
• <connection-name>: Objek koneksi yang menentukan sumber data, jalur, dan kredensial akses.
• <database-name>: Nama database yang ingin Anda cerminkan sebagai katalog di Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Fitur pushdown yang didukung

Tabel berikut mencantumkan operasi pushdown yang didukung untuk SQL Server, bersama dengan komputasi yang diperlukan untuk masing-masing operasi.

Pushdown	Komputasi yang didukung
Fungsi Tanggal, Waktu, dan Tanda Waktu (hanya ekspresi filter dalam bentuk parsial)	Semua komputasi
Filters	Semua komputasi
Limit	Semua komputasi
Fungsi Matematika (hanya ekspresi filter dalam bentuk parsial)	Semua komputasi
Fungsi lain (seperti Alias, Cast, SortOrder; parsial, ekspresi filter saja)	Semua komputasi
Projections	Semua komputasi
Fungsi String (hanya ekspresi filter dalam bentuk parsial)	Semua komputasi
Aggregates	Databricks Runtime 13.3 LTS ke atas, dan SQL Warehouse
Operasi Aritmatika (seperti +, -, *, %, /; tidak didukung jika ANSI dinonaktifkan)	Databricks Runtime 13.3 LTS ke atas, dan SQL Warehouse
Operator Boolean (seperti =, <, <=, >, >=, <=>)	Databricks Runtime 13.3 LTS ke atas, dan SQL Warehouse
Operator lain-lain (seperti ^, |, ~)	Databricks Runtime 13.3 LTS ke atas, dan SQL Warehouse
Pengurutan, ketika digunakan dengan batasan	Databricks Runtime 13.3 LTS ke atas, dan SQL Warehouse
Joins	Databricks Runtime 17.2 ke atas dan gudang SQL 2025.30 ke atas
Fungsi Windows	Tidak didukung

Pemetaan jenis data

Ketika Anda membaca dari SQL Server ke Spark, jenis data dipetakan sebagai berikut:

Jenis SQL Server	Jenis Spark
bigint (unsigned), desimal, mata uang, numerik, smallmoney	DecimalType
bilangan bulat kecil, bilangan bulat sangat kecil	ShortType
int	IntegerType
bigint (jika ditandatangani)	LongType
real	FloatType
float	DoubleType
char, nchar, uniqueidentifier	CharType
nvarchar, varchar	VarcharType
teks, xml	StringType
biner, geografi, geometri, gambar, tanda waktu, udt, varbinary	BinaryType
bit	BooleanType
date	DateType
datetime, datetime, tanggalwaktu-kecil, time	TimestampType/TimestampNTZType

*Saat Anda membaca dari SQL Server, SQL Server datetimes dipetakan ke Spark TimestampType jika preferTimestampNTZ = false (default). SQL Server datetimes dipetakan menjadi TimestampNTZType jika preferTimestampNTZ = true.

Sumber daya tambahan

• Bergabung dengan pushdown di Federasi Lakehouse
• Rekomendasi jaringan untuk Federasi Lakehouse
• Menjalankan kueri database eksternal dengan remote_query fungsi