在 Microsoft Purview 中連線和管理 Google BigQuery 專案
本文概述如何註冊 Google BigQuery 專案,以及如何在 Microsoft Purview 中驗證 Google BigQuery 並與其互動。 如需 Microsoft Purview 的詳細資訊,請閱讀 簡介文章。
支援的功能
中繼資料擷取 | 完整掃描 | 增量掃描 | 限域掃描 | 分類 | 加標籤 | 存取原則 | 血統 | 資料共用 | 即時檢視 |
---|---|---|---|---|---|---|---|---|---|
是 | 是 | 否 | 是 | 否 | 否 | 否 | 是 | 否 | 否 |
掃描 Google BigQuery 來源時,Microsoft Purview 支援:
擷取技術中繼資料,包括:
- 專案
- 資料集
- 包含資料行的資料表
- 包含資料行的檢視
擷取資料表和檢視表之間資產關聯性的靜態譜系。
設定掃描時,您可以選擇掃描整個 Google BigQuery 專案,或將掃描範圍設定為與指定名稱相符的資料集子集 () 或名稱模式 () 。
已知限制
- 目前,Microsoft Purview 僅支援掃描位於美國多區域位置的 Google BigQuery 資料集。 如果指定的資料集位於其他位置,例如 us-east1 或 EU,您會看到掃描完成,但 Microsoft Purview 中未顯示任何資產。
- 從資料來源刪除物件時,後續掃描目前不會自動移除 Microsoft Purview 中的對應資產。
必要條件
具有使用中訂用帳戶的 Azure 帳戶。 免費建立帳戶。
使用中的 Microsoft Purview 帳戶。
您需要資料來源管理員和資料讀取者許可權,才能在 Microsoft Purview 治理入口網站中註冊來源及進行管理。 如需許可權的詳細資訊,請 參閱 Microsoft Purview 中的存取控制。
設定最新的 自我裝載整合執行時間。 如需詳細資訊,請參閱 建立和設定自我裝載整合執行時間指南。
確定已在安裝自我裝載整合執行時間的電腦上安裝 JDK 11 。 在新安裝 JDK 之後重新開機電腦,使其生效。
確定C++ 可轉散發套件 (版本 Visual Studio 2012 Update 4 或更新版本) 已安裝在自我裝載整合執行時間電腦上。 如果您未安裝此更新, 您可以在這裡下載。
在自我裝載整合執行時間執行所在的電腦上下載並解壓縮 BigQuery JDBC 驅動 程式。 記下您將用來設定掃描的資料夾路徑。
注意事項
自我裝載整合執行時間應該可以存取驅動程式。 根據預設,自我裝載整合執行時間會使用本地服務帳戶 「NT SERVICE\DIAHostService」。 請確定它具有驅動程式資料夾的「讀取和執行」和「列出資料夾內容」許可權。
登錄
本節說明如何使用 Microsoft Purview 治理入口網站,在 Microsoft Purview 中註冊 Google BigQuery 專案。
註冊步驟
透過下列方式開啟 Microsoft Purview 治理入口網站:
- 直接流覽並 https://web.purview.azure.com 選取您的 Microsoft Purview 帳戶。
- 開啟Azure 入口網站,搜尋並選取 Microsoft Purview 帳戶。 選取 [Microsoft Purview 治理入口網站] 按鈕。
選取左側導覽上的 [資料對應 ]。
選取 [註冊]。
在 [註冊來源] 上,選取 [Google BigQuery] 。 選取 [繼續]。
在 [註冊來源 (Google BigQuery) 畫面上,執行下列動作:
輸入要在目錄中列出資料來源的 [名稱 ]。
輸入 ProjectID。 這應該是完整的專案識別碼。 例如,mydomain.com:myProject
選取集合或建立新的集合 (選擇性)
選取 [登錄]。
掃描
請遵循下列步驟來掃描 Google BigQuery 專案,以自動識別資產。 如需一般掃描的詳細資訊,請參閱 掃描和擷取簡介。
建立和執行掃描
在管理中心中,選取 [整合執行時間]。 請確定已設定自我裝載整合執行時間。 如果未設定,請使用 這裡所述的步驟。
流覽至 [來源]。
選取已註冊的 BigQuery 專案。
選 取 [+ 新增掃描]。
提供下列詳細資料:
名稱:掃描的名稱
透過整合執行時間連線:選取設定的自我裝載整合執行時間
認證:設定 BigQuery 認證時,請務必:
- 選取 [基本驗證 ] 作為驗證方法
- 在 [使用者名稱] 欄位中提供服務帳戶的電子郵件識別碼。 例如,
xyz\@developer.gserviceaccount.com
- 請遵循下列步驟來產生私密金鑰、複製整個 JSON 金鑰檔案,然後將它儲存為金鑰保存庫密碼的值。
若要從 Google 的雲端平臺建立新的私密金鑰:
- 在導覽功能表中,選取 [IAM & 管理員 - > 服務帳戶 - > 選取專案 ->
- 選取您要建立金鑰之服務帳戶的電子郵件地址。
- 選取 [ 金鑰] 索引卷 標。
- 選取 [ 新增金鑰 ] 下拉式功能表,然後選取 [建立新金鑰]。
- 選擇 [JSON 格式]。
注意事項
當掃描程式正在執行時,私密金鑰的內容會儲存在 VM 上的暫存檔案中。 成功完成掃描之後,就會刪除此暫存檔。 如果掃描失敗,系統會繼續重試,直到成功為止。 請確定 SHIR 執行所在的 VM 上已適當地限制存取。
若要深入瞭解認證,請參閱 這裡的連結。
驅動程式位置:指定執行自我主機整合執行時間之電腦中 JDBC 驅動程式位置的路徑,例如 。
D:\Drivers\GoogleBigQuery
這是有效 JAR 資料夾位置的路徑。 請確定自我裝載整合執行時間可存取驅動程式,請從 必要條件一節深入瞭解。資料集:指定要匯入的 BigQuery 資料集清單。 例如,dataset1;dataset2。 當清單空白時,會匯入所有可用的資料集。 使用 SQL LIKE 運算式語法的可接受資料集名稱模式包括 using %.
範例:A%;%B;%C%;D
- 從 A 或 開始
- 結尾為 B 或
- 包含 C 或
- 等於 D
不接受使用 NOT 和特殊字元。
可用的記憶體上限:掃描處理常式可在 VM 上使用的記憶體 (上限,) GB 為單位。 這取決於要掃描的 Google BigQuery 專案大小。
選 取 [測試連線]。
選取 [繼續]。
選擇掃描 觸發程式。 您可以設定排程或執行掃描一次。
檢閱您的掃描,然後選取 [ 儲存並執行]。
檢視掃描和掃描執行
若要檢視現有的掃描:
- 移至 Microsoft Purview 治理入口網站。 在左窗格中,選取 [ 資料對應]。
- 選取資料來源。 您可以在 [最近掃描] 底下檢視該資料來源上現有 掃描的清單,也可以在 [掃描] 索引 標籤上 檢視所有掃描。
- 選取具有您想要檢視結果的掃描。 此窗格會顯示所有先前的掃描執行,以及每個掃描執行的狀態和計量。
- 選取執行識別碼以檢查 掃描執行詳細資料。
管理您的掃描
若要編輯、取消或刪除掃描:
移至 Microsoft Purview 治理入口網站。 在左窗格中,選取 [ 資料對應]。
選取資料來源。 您可以在 [最近掃描] 底下檢視該資料來源上現有 掃描的清單,也可以在 [掃描] 索引 標籤上 檢視所有掃描。
選取您要管理的掃描。 然後您可以:
- 選取 [編輯掃描 ],以編輯掃描。
- 選取 [ 取消掃描執行],以取消進行中的掃描。
- 選取 [ 刪除掃描],以刪除掃描。
注意事項
- 刪除掃描並不會刪除從先前掃描建立的類別目錄資產。
- 如果您的來源資料表已變更,且您在 Microsoft Purview 的 [架構] 索引標籤上編輯描述之後重新掃描來源資料表,則資產將不再更新架 構 變更。
血統
掃描 Google BigQuery 來源之後,您可以 流覽資料目錄 或 搜尋資料目錄 來檢視資產詳細資料。
移至 [資產 - > 譜系] 索引標籤,您可以在適用時看到資產關聯性。 請參閱 支援的 Google BigQuery 譜系案例支援的功能一節。 如需一般譜系的詳細資訊,請參閱 資料譜系 和 譜系使用者指南。
後續步驟
現在您已註冊來源,請遵循下列指南來深入瞭解 Microsoft Purview 和您的資料。
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應