Gunakan konektor Databricks untuk menyambungkan ke ruang kerja Databricks lain

Artikel ini menyediakan contoh sintaks penggunaan konektor Databricks untuk menyambungkan ke ruang kerja Databricks lain. Konektor ini memanfaatkan driver Databricks JDBC, yang disertakan dalam Databricks Runtime 13.3 LTS ke atas.

Penting

Untuk sebagian besar operasi berbagi data, Databricks merekomendasikan Delta Sharing. Lihat Apa yang dimaksud dengan Delta Sharing?. Anda mungkin juga memilih Federasi Lakehouse untuk mengelola kueri pada data di ruang kerja Databricks lainnya. Lihat Apa itu Federasi Lakehouse?.

Menyambungkan ke ruang kerja Databricks lain

Konektor Databricks Spark memungkinkan Anda terhubung ke sumber daya komputasi yang dikonfigurasi di ruang kerja Databricks lain dan mengembalikan hasil ke ruang kerja Azure Databricks Anda saat ini. Anda harus memiliki akses ke komputasi aktif di kedua ruang kerja agar kueri berhasil.

Driver JDBC terdaftar untuk jdbc:databricks:// URL. Anda harus mengonfigurasi dan menggunakan token akses pribadi yang memberi Anda izin pada sumber daya ruang kerja yang diakses dari jarak jauh. Lihat API Manajemen token.

Nota

Jika Anda memiliki pustaka Databricks JDBC yang dilampirkan ke kluster Anda, versi pustaka yang dilampirkan ke kluster Anda digunakan sebagai pengganti versi yang disertakan dalam Databricks Runtime.

Membaca data dari ruang kerja Databricks lain

Anda dapat menentukan format databricks untuk menggunakan konektor Databricks Spark saat membaca data, seperti dalam contoh berikut:

df = (spark.read
  .format("databricks")
  .option("host", "adb-<workspace-id>.<random-number>.azuredatabricks.net")
  .option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
  .option("personalAccessToken", "<auth-token>")
  .option("dbtable", "<table-name>")
  .load()
)

Membuat tabel eksternal terhadap ruang kerja Databricks lain

Anda dapat mendaftarkan tabel eksternal di ruang kerja Azure Databricks yang terhubung dengan ruang kerja Databricks yang terpisah.

Contoh berikut menunjukkan sintaks ini, menggunakan fungsi secret untuk mendapatkan kredensial yang disimpan dalam rahasia Databricks.

Nota

Untuk informasi selengkapnya tentang rahasia Databricks, lihat secret fungsi.

CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
  host 'adb-<workspace-id>.<random-number>.azuredatabricks.net',
  httpPath '/sql/1.0/warehouses/<warehouse-id>',
  personalAccessToken secret('<scope>', '<token>'),
  dbtable '<table-name>'
);