在 MySQL 上執行同盟查詢
重要
這項功能處於公開預覽狀態。
本文說明如何設定 Lakehouse 同盟,對 Azure Databricks 未管理的 MySQL 數據執行同盟查詢。 若要深入瞭解 Lakehouse 同盟,請參閱 什麼是 Lakehouse 同盟。
若要使用 Lakehouse 同盟連線到 MySQL 資料庫,您必須在 Azure Databricks Unity 目錄中繼存放區中建立下列專案:
- 與 MySQL 資料庫的連線。
- 在 Unity 目錄中鏡像 MySQL 資料庫的外部目錄,讓您可以使用 Unity 目錄查詢語法和數據控管工具來管理 Azure Databricks 使用者對資料庫的存取權。
開始之前
工作區需求:
- 已啟用 Unity 目錄的工作區。
計算需求:
- 從 Databricks 執行時間叢集或 SQL 倉儲到目標資料庫系統的網路連線。 請參閱 Lakehouse 同盟的網路建議。
- Azure Databricks 叢集必須使用 Databricks Runtime 13.3 LTS 或更新版本,以及共用或單一使用者存取模式。
- SQL 倉儲必須是 Pro 或無伺服器。
需要的權限:
- 若要建立連線,您必須是中繼存放區管理員或具有
CREATE CONNECTION
附加至工作區之 Unity 目錄中繼存放區許可權的使用者。 - 若要建立外部目錄,您必須擁有
CREATE CATALOG
中繼存放區的許可權,而且必須是聯機的擁有者,或擁有CREATE FOREIGN CATALOG
連線的許可權。
後續每個以工作為基礎的區段會指定其他許可權需求。
建立連線
連接會指定用來存取外部資料庫系統的路徑和認證。 若要建立連線,您可以在 Azure Databricks 筆記本或 CREATE CONNECTION
Databricks SQL 查詢編輯器中使用目錄總管或 SQL 命令。
需要的許可權: 具有許可權的 CREATE CONNECTION
中繼存放區系統管理員或使用者。
目錄總管
- 在您的 Azure Databricks 工作區中,按兩下 [目錄]。
- 在左窗格中,展開 [外部數據] 功能表,然後選取 [連線。
- 按兩下 [ 建立連線]。
- 輸入使用者易記 連線 名稱。
- 選取 MySQL 的 連線 類型。
- 輸入 MySQL 實例的下列連線屬性。
- 主機:例如
mysql-demo.lb123.us-west-2.rds.amazonaws.com
- 埠:例如
3306
- 使用者:例如
mysql_user
- 密碼:例如
password123
- 主機:例如
- (選擇性)按兩下 [ 測試連線 ] 以確認其運作正常。
- (選擇性)新增批注。
- 按一下 [建立]。
Sql
在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。
CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
建議您針對認證等敏感性值使用 Azure Databricks 秘密 ,而不是純文本字串。 例如:
CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
如果您必須在筆記本 SQL 命令中使用純文字字串,請避免藉由逸出與 之類的$
\
特殊字元來截斷字串。 例如: \$
。
如需設定秘密的相關信息,請參閱 秘密管理。
建立外部目錄
外部目錄會鏡像外部數據系統中的資料庫,讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。 若要建立外部目錄,您可以使用已定義的數據源連線。
若要建立外部目錄,您可以在 Azure Databricks 筆記本或 CREATE FOREIGN CATALOG
Databricks SQL 查詢編輯器中使用目錄總管或 SQL 命令。
必要許可權:CREATE CATALOG
中繼存放區的許可權,以及聯機的擁有權或 CREATE FOREIGN CATALOG
連線的許可權。
目錄總管
- 在您的 Azure Databricks 工作區中,按兩下 [目錄]。
- 按兩下 [ 建立目錄 ] 按鈕。
- 在 [建立新的目錄] 對話框中,輸入目錄的名稱,然後選取 [外部類型]。
- 選取 連線,以存取您要鏡像作為 Unity 目錄的資料庫。
- 按一下 [建立]。
Sql
在筆記本或 Databricks SQL 編輯器中執行下列 SQL 命令。 括弧中的項目是選擇性專案。 取代佔位元值:
<catalog-name>
:Azure Databricks 中目錄的名稱。<connection-name>
:指定數據源、路徑和存取認證的連接物件。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;
支援的下推
所有計算都支援下列下推:
- 篩選
- 投影
- 限制
- 函式:部分,僅適用於篩選表達式。 (字串函式、數學函式、數據、時間和時間戳函式,以及其他其他函式,例如 Alias、Cast、SortOrder)
Databricks Runtime 13.3 LTS 和更新版本以及 SQL 倉儲支援下列下推:
- 彙總
- 布林運算子
- 下列數學函數(如果 ANSI 已停用,則不支援):+、-、*、% /
- 排序,搭配限制使用時
不支援下列下推:
- 聯結
- Windows 函式
資料類型對應
當您從 MySQL 讀取至 Spark 時,資料類型會對應如下:
MySQL 類型 | Spark 類型 |
---|---|
bigint (如果未帶正負號),十進位 | DecimalType |
tinyint*, int, integer, mediumint, smallint | IntegerType |
bigint (如果簽署) | LongType |
float | FloatType |
double | DoubleType |
char、 enum、 set | CharType |
varchar | VarcharType |
json, longtext, mediumtext, text, tinytext | StringType |
binary、blob、varbinary、varchar binary | BinaryType |
bit、boolean | BooleanType |
date、 year | DateType |
datetime、time、timestamp** | TimestampType/TimestampNTZType |
tinyint(1) signed
會被視為布林值,並轉換成 BooleanType
。 請參閱 連線 or/J 參考
* 當您從 MySQL 讀取時,MySQL Timestamp
會對應至 Spark TimestampType
if preferTimestampNTZ = false
(預設值)。 如果,MySQL Timestamp
會對應至 TimestampNTZType
。preferTimestampNTZ = true