在本教學課程中,您將從 Google BigQuery 設定 Fabric 鏡像資料庫。
備註
雖然此範例是 BigQuery 特有的,但您可以找到針對其他資料來源 (例如 Azure SQL Database 或 Azure Cosmos DB) 設定鏡像的詳細步驟。 如需詳細資訊,請參閱 什麼是 Fabric 中的鏡像?
先決條件
- 建立或使用現有的 BigQuery 倉儲。 您可以連線至任何雲端中任何版本的 BigQuery 執行個體,包括 Microsoft Azure。
- 您需要具備現有的 Fabric 容量。 如果您不這麼做, 請啟動 Fabric 試用版。
權限需求
您必須擁有 BigQuery 資料庫的使用者權限,並包含下列權限:
bigquery.datasets.createbigquery.tables.listbigquery.tables.createbigquery.tables.exportbigquery.tables.getbigquery.tables.getDatabigquery.tables.updateDatabigquery.routines.getbigquery.routines.listbigquery.jobs.createstorage.buckets.createstorage.buckets.liststorage.objects.createstorage.objects.deletestorage.objects.listiam.serviceAccounts.signBlob
BigQueryAdmin 和 StorageAdmin 角色應包含這些權限。
使用者必須指派至少一個角色,才能存取 BigQuery 執行個體。 請查看網路規定,以存取 BigQuery 資料來源。 如果您正在為內部部署資料閘道(OPDG)使用 Google BigQuery 的鏡像功能,則您必須擁有版本 3000.286.6 或更高版本的 OPDG,才能成功啟用該鏡像功能。
若要手動建立桶(且不必授予 storage.buckets.create 權限),你可以:
- 在 Google 控制台中進入 雲端儲存 ,選擇桶。
- 選擇 建立 並以此格式命名儲存桶(區分大小寫): <projectid>_fabric_staging_bucket
- 確保桶的位置/區域與你打算鏡像的 GCP 專案相同。
- 選取 ,創建。 鏡像系統會自動偵測桶。
根據您的使用案例,可能需要更多許可。 最低要求權限是用於處理變更歷史及處理各種大小的資料表(超過10GB的資料表)。 即使您沒有處理大於 10GB 的資料表,也請啟用所有這些權限設定,以確保成功使用鏡像功能。
如需許可權的詳細資訊,請參閱Google BigQuery檔案,瞭解 串流資料的必要許可權、 變更歷程記錄存取的必要許可權,以及 寫入查詢結果的必要許可權
這很重要
在來源 BigQuery 倉儲中建立的任何精細安全性都必須在 Microsoft Fabric 的鏡像資料庫中重新設定。 如需詳細資訊,請參閱 Microsoft Fabric 中的 SQL 細微權限。
建立鏡像資料庫
在本節中,您將從鏡射的 BigQuery 資料來源建立新的鏡像資料庫。
您可以使用現有的工作區 (不是 [我的工作區]) 或建立新的工作區。
- 從您的工作區,導覽至 建立 中樞。
- 選取您要使用的工作區之後,請選取 [建立]。
- 選取 同步的 Google BigQuery 卡片。
- 輸入新資料庫的名稱。
- 選取 ,創建。
連線至任何雲端中的 BigQuery 實例
備註
您可能需要變更雲端防火牆,以允許 Mirroring 功能連線到 BigQuery 實例。 我們支援 Google BigQuery 的鏡像功能,適用於 OPDG 版本 3000.286.6 或更高版本。 我們也支援 VNET。
選取 [新增連線] 下方的 [BigQuery],或選取現有連線。
如果您選取 [新增連線],請輸入 BigQuery 資料庫的連線詳細資料。
連線設定 Description 服務帳戶電子郵件 如果您有現有的服務帳戶:如要前往 Google BigQuery 控制台中的 「服務帳戶 」,即可找到服務帳戶的電子郵件和現有金鑰。 如果您沒有現有的服務帳戶:前往 Google BigQuery 控制台中的「服務帳戶」,然後選取 [ 建立服務帳戶]。 輸入服務帳戶名稱 (服務帳戶 ID 會根據您輸入的服務帳戶名稱自動產生) 和服務帳戶描述。 選擇 完成。 將服務帳戶電子郵件複製並貼到 Fabric 中指定的連線認證區段。 服務帳戶 JSON 金鑰檔案內容 在服務帳戶儀表板中,為您新建立的服務帳戶選擇操作。 選取 [管理金鑰]。 如果您的服務帳戶已有金鑰,請下載其 JSON 金鑰檔案內容。
如果您還沒有每個服務帳戶的金鑰,請選取 [ 新增金鑰 ] 和 [ 建立新金鑰]。 然後選取 [JSON]。 JSON 金鑰檔案應該會自動下載。 將 JSON 金鑰複製並貼到 Fabric 入口網站中的指定連線認證區段。連線 建立新的連線。 連線名稱 應當會自動填入。請將此項改為您想使用的名稱。 從下拉式清單中選取資料庫。
啟動鏡像程序
依預設,[設定鏡像] 畫面可讓您鏡像資料庫中的所有資料。
鏡像所有資料表示在啟動鏡像後建立的任何新資料表都會被鏡像。
(選擇性) 僅選擇要鏡像的特定物件。 停用 [鏡像所有資料] 選項,然後從資料庫選取個別資料表。
在此範例中,我們使用 Mirror all data 選項。
選取 [鏡像資料庫]。 映射開始。
等候 2-5 分鐘。 然後,選取 監視複寫 以查看狀態。
幾分鐘後,狀態應該會變更為 [執行中],這表示資料表正在同步處理。
如果您沒有看到資料表和對應的複寫狀態,請等待幾秒鐘,然後重新整理面板。
當他們完成資料表的初始複製時,日期就會在 [上次重新整理] 資料行中顯示。
現在您的資料已啟動並順利運行,Fabric 平台提供各種可用的分析場景。
這很重要
- Google BigQuery 的鏡像處理在反映變更時約有 15 分鐘的延遲。 這是 Google BigQuery 變更歷史功能的限制。
- 在源資料庫中建立的任何細微安全性,都必須在 Microsoft Fabric 的鏡像資料庫中重新設定。
監視網狀架構鏡像
設定鏡像後,系統會將您導向至 [鏡像狀態] 頁面。 在此,您可監視複寫的目前狀態。
如需有關複寫狀態的更多信息和細節,請參閱 監控 Fabric 鏡像資料庫複寫。
這很重要
如果 BigQuery 資料庫中的來源資料表沒有更新,複製器引擎 (為 BigQuery 鏡像處理變更資料提供支援的引擎) 就會變慢速度,而且每小時只會複寫一次資料表。 如果初始載入後的資料花費的時間比預期長,請不要感到驚訝,尤其是當您的來源資料表中沒有任何新的更新時。 快照之後,鏡像引擎會等候 ~15 分鐘,然後再擷取變更;這是由於 Google BigQuery 的限制,即它會在反映任何新更改時延遲 10 分鐘。 進一步瞭解 BigQuery 的變更反映延遲
相關內容
- Google BigQuery 鏡像概觀
- 什麼是 Fabric 中的鏡像?