在 PostgreSQL 上執行同盟查詢
重要
這項功能處於公開預覽狀態。
本文說明如何設定 Lakehouse 同盟,在未由 Azure Databricks 管理的 PostgreSQL 數據上執行同盟查詢。 若要深入瞭解 Lakehouse 同盟,請參閱 什麼是 Lakehouse 同盟。
若要使用 Lakehouse 同盟連線到 PostgreSQL 資料庫上的執行查詢,您必須在 Azure Databricks Unity 目錄中繼存放區中建立下列專案:
- 在 PostgreSQL 資料庫上執行查詢的連線。
- 在 Unity 目錄中的 PostgreSQL 資料庫上鏡像執行查詢的外部目錄 ,讓您可以使用 Unity 目錄查詢語法和數據控管工具來管理 Azure Databricks 使用者對資料庫的存取權。
開始之前
工作區需求:
- 已啟用 Unity 目錄的工作區。
計算需求:
- 從 Databricks 執行時間叢集或 SQL 倉儲到目標資料庫系統的網路連線。 請參閱 Lakehouse 同盟的網路建議。
- Azure Databricks 叢集必須使用 Databricks Runtime 13.3 LTS 或更新版本,以及共用或單一使用者存取模式。
- SQL 倉儲必須是 Pro 或無伺服器。
需要的權限:
- 若要建立連線,您必須是中繼存放區管理員或具有
CREATE CONNECTION
附加至工作區之 Unity 目錄中繼存放區許可權的使用者。 - 若要建立外部目錄,您必須擁有
CREATE CATALOG
中繼存放區的許可權,而且必須是聯機的擁有者,或擁有CREATE FOREIGN CATALOG
連線的許可權。
後續每個以工作為基礎的區段會指定其他許可權需求。
建立連線
連接會指定用來存取外部資料庫系統的路徑和認證。 若要建立連線,您可以在 Azure Databricks 筆記本或 CREATE CONNECTION
Databricks SQL 查詢編輯器中使用目錄總管或 SQL 命令。
需要的許可權: 具有許可權的 CREATE CONNECTION
中繼存放區系統管理員或使用者。
目錄總管
- 在您的 Azure Databricks 工作區中,按兩下 [目錄]。
- 在左窗格中,展開 [外部數據] 功能表,然後選取 [連線]。
- 按兩下 [ 建立連線]。
- 輸入使用者易記 連線 名稱。
- 選取 PostgreSQL 的 連線 類型。
- 輸入 PostgreSQL 實例的下列連線屬性。
- 主機:例如
postgres-demo.lb123.us-west-2.rds.amazonaws.com
- 埠:例如
5432
- 使用者:例如
postgres_user
- 密碼:例如
password123
- 主機:例如
- (選擇性)按兩下 [ 測試連線 ] 以確認其運作正常。
- (選擇性)新增批注。
- 按一下 [建立]。
Sql
在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。
CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
建議您針對認證等敏感性值使用 Azure Databricks 秘密 ,而不是純文本字串。 例如:
CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
如需設定秘密的相關信息,請參閱 秘密管理。
建立外部目錄
外部目錄會鏡像外部數據系統中的資料庫,讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。 若要建立外部目錄,您可以使用已定義的數據源連線。
若要建立外部目錄,您可以在 Azure Databricks 筆記本或 CREATE FOREIGN CATALOG
Databricks SQL 查詢編輯器中使用目錄總管或 SQL 命令。
必要許可權:CREATE CATALOG
中繼存放區的許可權,以及聯機的擁有權或 CREATE FOREIGN CATALOG
連線的許可權。
目錄總管
- 在您的 Azure Databricks 工作區中,按兩下 [目錄]。
- 按兩下 [ 建立目錄 ] 按鈕。
- 在 [建立新的目錄] 對話框中,輸入目錄的名稱,然後選取 [外部類型]。
- 選取 連線,以存取您要鏡像作為 Unity 目錄的資料庫。
- 輸入您要鏡像做為目錄的資料庫名稱。
- 按一下 [建立]。
Sql
在筆記本或 Databricks SQL 編輯器中執行下列 SQL 命令。 括弧中的項目是選擇性專案。 取代佔位元值:
<catalog-name>
:Azure Databricks 中目錄的名稱。<connection-name>
:指定數據源、路徑和存取認證的連接物件。<database-name>
:您想要在 Azure Databricks 中鏡像為目錄的資料庫名稱。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
支援的下推
所有計算都支援下列下推:
- 篩選
- 投影
- 限制
- 函式:部分,僅適用於篩選表達式。 (字串函式、數學函式、數據、時間和時間戳函式,以及其他其他函式,例如 Alias、Cast、SortOrder)
Databricks Runtime 13.3 LTS 和更新版本以及 SQL 倉儲支援下列下推:
- 下列聚合函數:MIN、MAX、COUNT、SUM、AVG、VAR_POP、VAR_SAMP、STDDEV_POP、STDDEV_SAMP、GREATEST、LEAST、COVAR_POP、COVAR_SAMP、CORR、REGR_INTERCEPT、REGR_R2、REGR_SLOPE、REGR_SXY
- 下列布爾函數:=、、<<、=>、>=、<=>
- 下列數學函數(如果 ANSI 已停用,則不支援):+、-、*、% /
- 其他運算子 |和~
- 排序,搭配限制使用時
不支援下列下推:
- 聯結
- Windows 函式
資料類型對應
當您從 PostgreSQL 讀取至 Spark 時,數據類型會對應如下:
PostgreSQL 類型 | Spark 類型 |
---|---|
numeric | DecimalType |
int2 | ShortType |
int4 (如果未簽署) | IntegerType |
int8, oid, xid, int4 (如果已簽署) | LongType |
float4 | FloatType |
雙精確度,float8 | DoubleType |
char | CharType |
name, varchar, tid | VarcharType |
bpchar, character varying, json, money, point, super, text | StringType |
bytea、geometry、varbyte | BinaryType |
bit、bool | BooleanType |
date | DateType |
tabstime, time, time with time zone, timetz, time without time zone, timestamp with time zone, timestamptz, timestamp without time zone* | TimestampType/TimestampNTZType |
Postgresql 陣列類型** | ArrayType |
*當您從 Postgresql 讀取時,Postgresql Timestamp
會對應至 Spark TimestampType
if preferTimestampNTZ = false
(預設值)。 如果 ,Postgresql Timestamp
會對應至 TimestampNTZType
。preferTimestampNTZ = true
**支援有限的陣列類型。