在 Microsoft Purview 中連線及管理 Snowflake

文章
08/23/2023

本文概述如何註冊 Snowflake，以及如何在 Microsoft Purview 中驗證 Snowflake 並與其互動。如需 Microsoft Purview 的詳細資訊，請閱讀簡介文章。

支援的功能

中繼資料擷取	完整掃描	增量掃描	限域掃描	分類	加標籤	存取原則	血統	資料共用	即時檢視
是	是	否	是	是	否	否	是	否	否

掃描 Snowflake 來源時，Microsoft Purview 支援：

擷取技術中繼資料，包括：
- 伺服器
- 資料庫
- Schemas
- 包含資料行、外鍵和唯一條件約束的資料表
- 包含資料行的檢視
- 預存程式，包括參數資料集和結果集
- 包含參數資料集的函式
- 管道
- 階段
- 包含資料行的資料流程
- 工作
- Sequences
擷取資料表、檢視、資料流程和預存程式之間資產關聯性的靜態譜系。

針對預存程式，您可以選擇要在掃描設定上擷取的詳細資料層級。 Snowflake 腳本支援預存程式譜系 (SQL) 和 JavaScript 語言，並根據程式定義產生。

設定掃描時，您可以選擇完全根據指定名稱 (的) 或名稱模式 (的) 來掃描一或多個 Snowflake 資料庫 (的) ，或進一步將掃描範圍設為符合指定名稱的架構子集 (的) 或名稱模式 (的) 。

已知限制

從資料來源刪除物件時，後續掃描目前不會自動移除 Microsoft Purview 中的對應資產。
下列模式不支援預存程式譜系：
- 以 JAVA、Python 和 Scala 語言定義的預存程式。
- 使用 SQL EXECUTE IMMEDIATE 與靜態 SQL 查詢做為變數的預存程式。

必要條件

具有使用中訂用帳戶的 Azure 帳戶。免費建立帳戶。
使用中的 Microsoft Purview 帳戶。
您需要資料來源管理員和資料讀取者許可權，才能在 Microsoft Purview 治理入口網站中註冊來源及進行管理。如需許可權的詳細資訊，請參閱 Microsoft Purview 中的存取控制。

注意事項

如果您的資料存放區無法公開存取 (如果您的資料存放區限制來自內部部署網路、私人網路或特定 IP 等 ) 的存取，則您必須設定自我裝載整合執行時間來連線。

如果您的資料存放區無法公開存取，請設定最新的自我裝載整合執行時間。如需詳細資訊，請參閱建立和設定自我裝載整合執行時間指南。
- 確定已在安裝自我裝載整合執行時間的電腦上安裝 JDK 11 。在新安裝 JDK 之後重新開機電腦，使其生效。
- 確定C++ 可轉散發套件 (版本 Visual Studio 2012 Update 4 或更新版本) 已安裝在自我裝載整合執行時間電腦上。如果您未安裝此更新，您可以在這裡下載。

掃描所需的許可權

Microsoft Purview 支援基本驗證 (掃描 Snowflake 的使用者名稱和密碼) 。指定使用者的預設角色將用來執行掃描。 Snowflake 使用者必須具有倉儲的許可權，且資料庫 (要掃描的) ，以及系統資料表的讀取權限，才能存取進階中繼資料。

以下是特別針對 Microsoft Purview 掃描建立使用者並設定許可權的範例逐步解說。如果您選擇使用現有的使用者，請確定它具有倉儲和資料庫物件的適當許可權。

purview_reader設定角色。您需要 ACCOUNTADMIN 許可權才能執行這項操作。

USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

建立供 Microsoft Purview 使用的倉儲，並授與許可權。

--create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

建立 Microsoft Purview 掃描的使用者 purview 。

CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

將讀取器許可權授與資料庫物件。

GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

登錄

本節說明如何使用 Microsoft Purview 治理入口網站在 Microsoft Purview中註冊 Snowflake。

註冊步驟

若要在資料目錄中註冊新的 Snowflake 來源，請遵循下列步驟：

在 Microsoft Purview 治理入口網站中流覽至您的 Microsoft Purview 帳戶。
選取左側導覽上的 [資料對應 ]。
選取 [註冊]
在 [註冊來源] 上，選取 [Snowflake]。選取 [繼續]。

在 [ 將來源註冊 (Snowflake) 畫面上，遵循下列步驟：

輸入要在目錄中列出資料來源的 [名稱 ]。
以的形式輸入用來連線到 Snowflake 帳戶的 <account_identifier>.snowflakecomputing.com伺服器URL，例如。 orgname-accountname.snowflakecomputing.com 深入瞭解 Snowflake 帳戶識別碼。
選取集合或建立新的集合 (選擇性)
完成註冊資料來源。

掃描

請依照下列步驟掃描 Snowflake 來自動識別資產。如需一般掃描的詳細資訊，請參閱掃描和擷取簡介。

掃描的驗證

Snowflake 來源支援的驗證類型是 基本驗證。

建立和執行掃描

若要建立並執行新的掃描，請遵循下列步驟：

如果您的伺服器可公開存取，請跳至步驟 2。否則，您必須確定已設定自我裝載整合執行時間：
1. 在 Microsoft Purview 治理入口網站中，移至管理中心，然後選取 [ 整合執行時間]。
2. 請確定可使用自我裝載整合執行時間。如果未設定，請使用這裡所述的步驟來設定自我裝載整合執行時間。
在 Microsoft Purview 治理入口網站中，流覽至 [來源]。
選取已註冊的 Snowflake 來源。
選 取 [+ 新增掃描]。
提供下列詳細資料：
1. 名稱：掃描的名稱
2. 透過整合執行時間連線：如果您的伺服器可公開存取，請選取 Azure 自動解析整合執行時間，如果未公開使用，則選取您設定的自我裝載整合執行時間。
3. 認證：選取要連線到資料來源的認證。請務必：
  - 建立認證時選取 [基本驗證 ]。
  - 在 [使用者名稱] 輸入欄位中提供用來連線到 Snowflake 的使用者名稱。
  - 將用來連線到 Snowflake 的使用者密碼儲存在秘密金鑰中。
4. 倉儲：指定用來在大寫案例中強化掃描的倉儲實例名稱。指派給認證中指定之使用者的預設角色必須具有此倉儲的 USAGE 許可權。
5. 資料庫：指定一或多個資料庫實例名稱，以大寫大小寫匯入。使用分號 (;) 分隔清單中的名稱。例如，db1;db2。指派給認證中指定之使用者的預設角色，必須具有資料庫物件的適當許可權。
  
  使用 SQL LIKE 運算式語法的可接受資料庫名稱模式包括 using %. 例如： A%;%B;%C%;D ：
  - 從 A 或開始
  - 以 B 結尾或
  - 包含 C 或
  - 等於 D
6. 架構：列出要匯入的架構子集，以分號分隔清單表示。例如，schema1;schema2。如果該清單是空的，則會匯入所有使用者架構。預設會忽略所有系統架構和物件。
  
  使用 SQL LIKE 運算式語法的可接受架構名稱模式包括 using %. 例如： A%;%B;%C%;D ：
  - 從 A 或開始
  - 以 B 結尾或
  - 包含 C 或
  - 等於 D
  不接受使用 NOT 和特殊字元。
7. 預存程式詳細資料：控制從預存程式匯入的詳細資料數目：
  - 簽章 (預設) ：預存程式的名稱和參數。
  - 程式碼、簽章：預存程式的名稱、參數和程式碼。
  - 歷程、程式碼、簽章：預存程式的名稱、參數和程式碼，以及衍生自程式碼的資料譜系。
  - 無：不包含預存程式詳細資料。
  注意事項
  
  如果您使用自我裝載Integration Runtime進行掃描，則自 5.30.8541.1 版起支援預設簽章以外的自訂設定。舊版一律會擷取預存程式的名稱和參數。
8. 使用自我裝載整合執行時間時 (適用的記憶體上限) ：掃描程式可在客戶的 VM 上使用的最大記憶體 (為 GB) 。這取決於要掃描的 Snowflake 來源大小。
  
  注意事項
  
  根據經驗法則，請為每 1000 個數據表提供 1GB 記憶體。
選取 [測試聯機] 以驗證使用 Azure Integration Runtime) 時 (可用的設定。
選取 [繼續]。
選取用於分類的 掃描規則集 。您可以選擇系統預設值、現有的自訂規則集，或建立內嵌的新規則集。若要深入瞭解，請參閱分類一文。

注意事項

如果您使用自我裝載執行時間，則必須升級至 5.26.404.1 版或更新版本，才能使用 Snowflake 分類。您可以在這裡找到最新版的 Microsoft Integration Runtime。
選擇掃描 觸發程式。您可以設定排程或執行掃描一次。
檢閱您的掃描，然後選取 [ 儲存並執行]。

檢視掃描和掃描執行

若要檢視現有的掃描：

移至 Microsoft Purview 治理入口網站。在左窗格中，選取 [ 資料對應]。
選取資料來源。您可以在 [最近掃描] 底下檢視該資料來源上現有掃描的清單，也可以在 [掃描] 索引 標籤上 檢視所有掃描。
選取具有您想要檢視結果的掃描。此窗格會顯示所有先前的掃描執行，以及每個掃描執行的狀態和計量。
選取執行識別碼以檢查掃描執行詳細資料。

管理您的掃描

若要編輯、取消或刪除掃描：

移至 Microsoft Purview 治理入口網站。在左窗格中，選取 [ 資料對應]。
選取資料來源。您可以在 [最近掃描] 底下檢視該資料來源上現有掃描的清單，也可以在 [掃描] 索引 標籤上 檢視所有掃描。
選取您要管理的掃描。然後您可以：
- 選取 [編輯掃描 ]，以編輯掃描。
- 選取 [ 取消掃描執行]，以取消進行中的掃描。
- 選取 [ 刪除掃描]，以刪除掃描。

注意事項

刪除掃描並不會刪除從先前掃描建立的類別目錄資產。
如果您的來源資料表已變更，且您在 Microsoft Purview 的 [架構] 索引標籤上編輯描述之後重新掃描來源資料表，則資產將不再更新架構變更。

血統

掃描 Snowflake 來源之後，您可以流覽資料目錄或搜尋資料目錄來檢視資產詳細資料。

移至 [資產 - > 譜系] 索引標籤，您可以在適用時看到資產關聯性。請參閱支援的 Snowflake 譜系案例支援的功能一節。如需一般譜系的詳細資訊，請參閱資料譜系和譜系使用者指南。

雪花式譜系檢視

注意事項

如果檢視是由不同資料庫的資料表所建立，請使用分號 (;) 清單中的名稱同時掃描所有資料庫。

疑難排解提示

在來源註冊步驟中檢查您的帳戶識別碼。請勿在前面包含 https:// 元件。
請確定掃描設定頁面上的倉儲名稱和資料庫名稱是大寫。
檢查您的金鑰保存庫。請確定密碼中沒有錯字。
檢查您在 Microsoft Purview 中設定的認證。您指定的使用者必須具有具有倉儲和您嘗試掃描之資料庫之必要存取權限的預設角色。請參閱掃描所需的許可權。使用 DESCRIBE USER; 來驗證您為 Microsoft Purview 指定之使用者的預設角色。
使用 Snowflake 中的查詢歷程記錄來查看是否有任何活動出現。
- 如果帳戶識別碼或密碼發生問題，您將不會看到任何活動。
- 如果預設角色發生問題，您至少應該會看到語 USE WAREHOUSE . . . 句。
- 您可以使用 QUERY_HISTORY_BY_USER 資料表函式來識別連線正在使用的角色。設定專用的 Microsoft Purview 使用者可讓您更輕鬆地進行疑難排解。

後續步驟

現在您已註冊來源，請遵循下列指南來深入瞭解 Microsoft Purview 和您的資料。

分享方式：

在 Microsoft Purview 中連線及管理 Snowflake

支援的功能

已知限制

必要條件

掃描所需的許可權

登錄

註冊步驟

掃描

掃描的驗證

建立和執行掃描

檢視掃描和掃描執行

管理您的掃描

血統

疑難排解提示

後續步驟

意見反映

更多資源