使用 Azure Databricks 查詢 SQL Server

本文說明如何將 Azure Databricks 連線到 Microsoft SQL Server 來讀取和寫入數據。

這很重要

舊版查詢聯邦文件已停用，可能不會再更新。 此內容中提及的組態不會由 Databricks 正式認可或測試。 如果 Lakehouse Federation 支援源資料庫，Databricks 建議改用。

設定 SQL Server 的連線

在 Databricks Runtime 11.3 LTS 和更新版本中，您可以使用 關鍵詞來使用 sqlserver 內含的驅動程式來連線到 SQL Server。 使用 DataFrame 時，請使用下列語法：

Python

remote_table = (spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") # optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") # (if schemaName not provided, default to "dbo")
  .load()
)

程式語言 Scala

val remote_table = spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") // optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") // (if schemaName not provided, default to "dbo")
  .load()

使用 SQL 時，請在sqlserver子句中指定USING並在建立資料表時傳遞選項，如下範例所示：

DROP TABLE IF EXISTS sqlserver_table;
CREATE TABLE sqlserver_table
USING sqlserver
OPTIONS (
  dbtable '<schema-name.table-name>',
  host '<host-name>',
  port '1433',
  database '<database-name>',
  user '<username>',
  password '<password>'
);

使用舊版 JDBC 驅動程式

在 Databricks Runtime 10.4 LTS 和下方，您必須使用 JDBC 設定來指定驅動程式和組態。 下列範例會使用其 JDBC 驅動程式查詢 SQL Server。 如需讀取、寫入、設定平行處理原則和查詢下推的詳細資訊，請參閱 使用 JDBC 查詢資料庫。

Python

driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

database_host = "<database-host-url>"
database_port = "1433" # update if you use a non-default port
database_name = "<database-name>"
table = "<table-name>"
user = "<username>"
password = "<password>"

url = f"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

remote_table = (spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
)

程式語言 Scala

val driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

val database_host = "<database-host-url>"
val database_port = "1433" // update if you use a non-default port
val database_name = "<database-name>"
val table = "<table-name>"
val user = "<username>"
val password = "<password>"

val url = s"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

val remote_table = spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()