共用方式為

在 Google BigQuery 上執行同盟查詢

  • 發行項

重要

這項功能處於公開預覽狀態。

本文說明如何設定 Lakehouse 同盟，對 Azure Databricks 未管理的 BigQuery 資料執行同盟查詢。 若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse 同盟連線到 BigQuery 資料庫，您必須在 Azure Databricks Unity 目錄中繼存放區中建立下列項目：

  • 與 BigQuery 資料庫的連線。
  • 在 Unity 目錄中鏡像 BigQuery 資料庫的外部目錄，讓您可以使用 Unity 目錄查詢語法和資料控管工具來管理 Azure Databricks 使用者對資料庫的存取權。

開始之前

工作區需求：

  • 已為 Unity 目錄啟用工作區。

計算需求：

  • 從 Databricks Runtime 叢集或 SQL 倉儲到目標資料庫系統的網路連線。 請參閱 Lakehouse 同盟的網路建議。
  • Azure Databricks 叢集必須使用 Databricks Runtime 13.3 LTS 或更新版本，並共用或單一使用者存取模式。
  • SQL 倉儲必須是 Pro 或無伺服器。

所需的權限：

  • 若要建立連線，您必須是中繼存放區管理員，或具有附加至工作區之 Unity 目錄中繼存放區上 CREATE CONNECTION 權限的使用者。
  • 若要建立外部目錄，您必須擁有中繼存放區的 CREATE CATALOG 權限，而且必須是連線的擁有者，或擁有連線的 CREATE FOREIGN CATALOG 權限。

後續每個基於工作的章節中會指定其他權限需求。

建立連線

連線指定存取外部資料庫系統之路徑和認證。 若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE CONNECTION SQL 命令。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。 請參閱 POST /api/2.1/unity-catalog/connections 和 Unity 目錄命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

目錄總管

  1. 在您的 Azure Databricks 工作區中，按下 目錄圖示 [目錄]。

  2. 在 [目錄] 窗格頂端，按下 新增或加號圖示 [新增] 圖示，然後從功能表中選取 [新增連線]。

    或者，從 [快速存取] 頁面，按下 [外部資料 >] 按鈕，移至 [連線] 索引標籤，然後按下 [建立連線]。

  3. 輸入使用者易記的 [連線名稱]。

  4. 選取 BigQuery 的 [連線類型]。

  5. 輸入 BigQuery 執行個體的下列連線屬性。

    GoogleServiceAccountKeyJson：用來指定 BigQuery 專案並提供驗證的原始 JSON 物件。 您可以產生此 JSON 物件，並從 Google Cloud 中 [KEYS] 底下的 [服務帳戶詳細資料] 頁面下載。 服務帳戶必須具有 BigQuery 中授與的適當權限，包括 BigQuery 使用者和 BigQuery 資料檢視器。 以下是一個範例。

    {
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

  6. (選擇性) 輸入 BigQuery 執行個體的下列連線屬性：

    項目識別碼：用於針對此連線下執行之所有查詢計費的 BigQuery 專案名稱。 預設為服務帳戶的專案識別碼。

  7. (選擇性) 按下 [測試連線] 以確認網路連線。 此動作不會測試驗證。

  8. (選擇性) 新增註解。

  9. 按一下 [建立]。

SQL

在筆記本或 Databricks SQL 查詢編輯器中，執行下列命令。 將 <GoogleServiceAccountKeyJson> 取代為指定 BigQuery 專案並提供驗證的原始 JSON 物件。 您可以產生此 JSON 物件，並從 Google Cloud 中 [KEYS] 底下的 [服務帳戶詳細資料] 頁面下載。 服務帳戶需要具有 BigQuery 中授與的適當權限，包括 BigQuery 使用者和 BigQuery 資料檢視器。 如需範例 JSON 物件，請檢視此頁面上的 [目錄總管] 索引標籤。

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

建議您針對認證等敏感性值使用 Azure Databricks 祕密，而不是純文字字串。 例如：

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外部目錄

外部目錄會鏡像外部資料系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中資料的存取權。 若要建立外部目錄，請使用已定義的資料來源連線。

若要建立外部連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE FOREIGN CATALOG。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立目錄。 請參閱 POST /api/2.1/unity-catalog/catalogs 或 Unity 目錄命令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

目錄總管

  1. 在您的 Azure Databricks 工作區中，按下 目錄圖示 [目錄] 以開啟目錄總管。

  2. 在 [目錄] 窗格頂端，按下 新增或加號圖示 [新增] 圖示，然後從功能表中選取 [新增目錄]。

    或者，從 [快速存取] 頁面按下 [目錄] 按鈕，然後按下 [建立目錄] 按鈕。

  3. (選擇性) 輸入下列目錄內容：

    資料專案識別碼：BigQuery 專案的名稱，其中包含將對應至此目錄的資料。 預設為連線層級所設定的計費專案識別碼。

  4. 遵循在建立目錄中建立外部目錄的指示。

SQL

在筆記本或 Databricks SQL 編輯器中，執行下列 SQL 命令。 括弧中的項目是選擇性的。 取代預留位置值。

  • <catalog-name>：Azure Databricks 中目錄的名稱。
  • <connection-name>：指定資料來源、路徑和存取認證的連線物件。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

支援的下推

支援下列下推：

  • 篩選
  • 投影
  • 限制
  • 函式：部分，僅適用於篩選條件運算式。 (字串函式、數學函式、資料、時間和時間戳函式，以及其他其他函式，例如 Alias、Cast、SortOrder)
  • 彙總
  • 排序，搭配限制使用時

不支援下列下推：

  • 聯結
  • 視窗函式

資料類型對應

下表顯示 BigQuery 與 Spark 資料類型的對應。

BigQuery 類型 Spark 類型
bignumeric、numeric DecimalType
int64 LongType
float64 DoubleType
陣列、地理、間隔、json、字串、結構 VarcharType
bytes BinaryType
bool BooleanType
date DateType
日期時間、時間、時間戳記 TimestampType/TimestampNTZType

如果 preferTimestampNTZ = false (預設值)，當您從 BigQuery 讀取時，BigQuery Timestamp 會對應至 Spark TimestampType。 如果 preferTimestampNTZ = true，BigQuery Timestamp 會對應至 TimestampNTZType。