連線至資料對應的資料來源

重要事項

先前Azure Purview) (Microsoft Purview 整合式目錄 和傳統 Microsoft Purview 資料控管功能即將淘汰。 Microsoft 正在 Microsoft Fabric 中合併其資料控管功能。 您無法再建立新帳戶,現有功能將維持在維護模式,直到 2027 年 11 月 12 日為止。 如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。

本文列出 Microsoft Purview 資料對應中支援的資料來源、檔案類型和掃描概念。

依類型列出的資料來源

下表顯示在 Microsoft Purview 資料對應中具有可用技術中繼資料的所有資料來源,以及其他支援的功能。 在 「資料來源 」欄中選取資料來源名稱,以取得將該來源連線至資料對應的指示。

Azure

除非每個資料來源的頁面上另有說明,否則 Azure 資源只能在與您的 Microsoft Purview 帳戶相同的租用戶中使用。

資料來源 可以自動套用分類 可以將敏感度標籤套用至資料對應資產 可以套用原則 資料譜系 可在即時檢視中存取
選取連線和掃描指示的連結。 選取 [ 是 ] 以取得掃描指示。 了解 掃描期間如何套用分類。 深入了解 敏感度標籤 (預覽) 。 選取 [ 是 ] 以查看支援的原則;例如,資料擁有者、自助存取或保護。 請選取 [ 是 ] 以取得詳細資料。 了解 即時檢視。
多個來源 是 來源相依 是 否 受限
Azure Blob 儲存體 是 是 是, ( 預覽) 受限* 是
適用於 SQL API 的 Azure Cosmos DB 是 是 否 否* 否
Azure 資料總管 是 是 否 否* 否
Azure Data Factory 否 否 否 是 否
Azure Data Lake Storage Gen2 是 是 是, ( 預覽) 受限* 是
Azure Data Share 否 否 否 是 否
適用於 MySQL 的 Azure 資料庫 是 是 否 否* 否
適用於 PostgreSQL 的 Azure 資料庫 是 是 否 否* 否
Azure Databricks 登錄區中繼存放區 是** 否 否 是 否
Azure Databricks Unity 目錄 是*** 否 否 是 否
Azure 專用 SQL 集區 (先前稱為 SQL DW) 是 否 否 否* 否
Azure 檔案 是 是 否 受限* 否
Azure 機器學習 否 否 否 是 否
Azure SQL Database 是 是 是^ 是, (預覽) 是
Azure SQL 受控執行個體 是 是 是 否* 否
Azure Synapse分析 (工作區) 是 是 否 是 - 突觸管線 否

* 除了資料來源內資產的沿襲之外,如果資料集是作為 Data Factory 或 Synapse 管線中的來源/接收,也支援沿襲。

** Azure Databricks 資料來源中僅支援 Unity Catalog 的分類。

Azure Databricks Unity 目錄來源不支援自訂分類。

^ Azure SQL Database 不支援保護原則。

Database

資料來源 可以自動套用分類 可以將敏感度標籤套用至資料對應資產 可以套用原則 資料譜系 可在即時檢視中存取
選取連線和掃描指示的連結。 選取 [ 是 ] 以取得掃描指示。 了解 掃描期間如何套用分類。 深入了解 敏感度標籤 (預覽) 。 選取 [ 是 ] 以查看支援的原則;例如,資料擁有者、自助存取或保護。 請選取 [ 是 ] 以取得詳細資料。 了解 即時檢視。
Amazon RDS 是 否 否 否 否
Amazon Redshift 否 否 否 否 否
Cassandra 否 否 否 是 否
Db2 否 否 否 是 否
Google BigQuery 否 否 否 是 否
蜂巢中繼存放區資料庫 否 否 否 是的* 否
MongoDB 否 否 否 否 否
MySQL 否 否 否 是 否
Oracle 是 否 否 是的* 否
PostgreSQL 否 否 否 是 否
SAP 商務倉儲 否 否 否 否 否
SAP Hana 否 否 否 否 否
Snowflake 是 是 否 是的* 否
SQL Server 是 是 否 否* 否
Azure-Arc 上的 SQL Server 是 否 是 否* 否
Teradata 是 否 否 是的* 否

* 除了資料來源內資產的沿襲之外,如果資料集是作為 Data Factory 或 Synapse 管線中的來源/接收,也支援沿襲。

檔案

資料來源 可以自動套用分類 可以將敏感度標籤套用至資料對應資產 可以套用原則 資料譜系 可在即時檢視中存取
選取連線和掃描指示的連結。 選取 [ 是 ] 以取得掃描指示。 了解 掃描期間如何套用分類。 深入了解 敏感度標籤 (預覽) 。 選取 [ 是 ] 以查看支援的原則;例如,資料擁有者、自助存取或保護。 請選取 [ 是 ] 以取得詳細資料。 了解 即時檢視。
Amazon S3 是 否 否 受限* 否
HDFS) (Hadoop 分散式檔案系統 是 否 否 否 否

* 除了資料來源內資產的沿襲之外,如果資料集是作為 Data Factory 或 Synapse 管線中的來源/接收,也支援沿襲。

服務和應用程式

資料來源 可以自動套用分類 可以將敏感度標籤套用至資料對應資產 可以套用原則 資料譜系 可在即時檢視中存取
選取連線和掃描指示的連結。 選取 [ 是 ] 以取得掃描指示。 了解 掃描期間如何套用分類。 深入了解 敏感度標籤 (預覽) 。 選取 [ 是 ] 以查看支援的原則;例如,資料擁有者、自助存取或保護。 請選取 [ 是 ] 以取得詳細資料。 了解 即時檢視。
氣流 否 否 否 是 否
Dataverse 是 是 否 否 否
Erwin 否 否 否 是 否
布料 否 否 否 是 是
Looker 否 否 否 是 否
Power BI 否 否 否 是 是**
Qlik Sense 否 否 否 否 否
Salesforce 否 否 否 否 否
SAP ECC 否 否 否 是的* 否
SAP S/4HANA 否 否 否 是的* 否
Tableau 否 否 否 否 否

* 除了資料來源內資產的沿襲之外,如果資料集是作為 Data Factory 或 Synapse 管線中的來源/接收,也支援沿襲。

** 網狀架構租用戶中的 Power BI 項目可透過即時檢視來使用。

注意事項

目前,Microsoft Purview 資料對應無法掃描名稱中有 /、 \或 # 的資產。 若要設定掃描範圍並避免掃描資產名稱中具有這些字元的資產,請使用註冊和掃描 Azure SQL 資料庫中的範例。

重要事項

如果您打算使用自我裝載整合執行階段,掃描某些資料來源需要在自我裝載整合執行階段電腦上進行額外設定。 例如,JDK、Microsoft Visual C++ Redistributable 或特定驅動程式。 針對您的來源, 請參閱每個來源文章以取得先決條件詳細資料。 任何需求都列在 [ 先決條件 ] 一節中。

資料對應掃描器區域

下列清單顯示資料對應掃描器執行所在 (資料中心) 區域Azure資料來源。 如果您的 Azure 資料來源位於此清單以外的區域,則掃描器會在 Microsoft Purview 執行個體的區域中執行。

  • 澳洲東部
  • 澳洲東南部
  • 巴西南部
  • 加拿大中部
  • 加拿大東部
  • 印度中部
  • 中國北區 3
  • 東亞
  • 美國東部
  • 美國東部 2
  • 法國中部
  • 德國中西部
  • 日本東部
  • 韓國中部
  • 美國中北部
  • 北歐
  • 卡達中部
  • 南非北部
  • 美國中南部
  • 東南亞
  • 瑞士北部
  • 阿拉伯聯合大公國北部
  • 英國南部
  • USGov 維吉尼亞
  • 美國中西部
  • 西歐
  • 美國西部
  • 美國西部 2
  • 美國西部 3

支援掃描的檔案類型

下列章節所列的檔案類型支援掃描、結構描述擷取和分類 (如果適用)。 此外,資料對應支援 自訂副檔名和自訂剖析器。

擴充功能支援的結構化檔案格式包括掃描、結構描述擷取,以及資產和欄層級分類:

  • AVRO
  • CSV
  • GZIP
  • JSON
  • ORC
  • 鑲木地板*
  • PSV
  • SSV
  • TSV
  • TXT
  • XML

*對於非壓縮的 PARQUET 檔案,支援所有 Parquet 格式。 對於壓縮的 PARQUET 檔案,僅支援 snappy Parquet 格式。

副檔名支援的文件檔案格式包括掃描和資產層級分類:

  • DOC
  • DOCM
  • DOCX
  • DOT
  • ODP
  • ODS
  • ODT
  • PDF
  • 鍋
  • 繳費靈
  • PPSX
  • PPT
  • PPTM
  • PPTX
  • XLC
  • XLS
  • XLSB
  • XLSM
  • XLSX
  • XLT

注意事項

已知限制:

  • Microsoft Purview 資料對應掃描器僅支援上一節所列結構化檔案類型的結構描述擷取。
  • 對於 AVRO、ORC 和 PARQUET 檔案類型,掃描器不支援包含複雜資料類型的檔案結構描述擷取 (例如 MAP、LIST、STRUCT) 。
  • 針對未壓縮的 PARQUET 檔案,支援所有 Parquet 格式。 對於壓縮的 PARQUET 檔案,結構描述擷取和分類僅支援 snappy Parquet 格式。
  • 對於 GZIP 檔案類型,GZIP 必須對應至其中的單一 CSV 檔案。 GZIP 檔案受系統和自訂分類規則的約束。 掃描器目前不支援掃描對應至其中多個檔案的 GZIP 檔案,或 CSV 以外的任何檔案類型。
  • 針對 Parquet 檔案,如果您使用自我裝載整合執行階段,則需要在 IR 機器上安裝 64 位元 JRE 11 (Java 執行階段環境) 或 OpenJDK 。 請參閱 Java 執行階段安裝指南。
  • 不支援 Delta 格式。 如果您要直接從儲存體資料來源掃描 Delta 格式,例如 Microsoft Azure Data Lake Storage Gen2,則 Delta 格式中的 Parquet 檔案集會進行剖析並處理為資源集,如瞭解資源集中所述。 用於分割的欄位無法辨識為資源集結構描述的一部分。
  • 不支援的 Parquet 編碼:Microsoft Purview 不支援對在 Microsoft Fabric Lakehouse 中使用執行長度編碼 (RLE) 的 Parquet 檔案進行結構描述擷取。 包含 RLE 編碼資料行的資料表可能無法擷取結構描述中繼資料,包括資料表、資料行和資料類型。 程式仍會探索 L1) (資產層級中繼資料。 若要啟用完整的結構描述擷取,請使用支援的編碼格式重新建立受影響的資料表,例如字典或純文字編碼。

以分隔符號分隔 (檔案類型 CSV、PSV、SSV、TSV TXT) :

  • 只有一欄的分隔檔案無法判斷為 CSV 檔案,也沒有結構描述。
  • 不支援資料類型偵測。 所有欄的資料類型都列為「字串」。
  • 唯一支援的分隔符號是逗號 (',') ,分號 (';') ,分隔號 ('|') ,然後按下 TAB ('\t') 。
  • 如果少於三列的分隔檔案使用自訂分隔符號,就無法判斷為 CSV 檔案。 例如,具有 ~ 分隔符號且少於三列的檔案無法判斷為 CSV 檔案。
  • 如果欄位包含雙引號,則雙引號只能出現在欄位的開頭和結尾,且必須相符。 出現在欄位中間或出現在開頭和結尾但不相符的雙引號會識別為錯誤資料,並且不會從檔案剖析任何結構描述。 欄數與標題列不同的列數會判斷為錯誤列。 錯誤列數除以取樣的列數必須小於 0.1。

結構描述擷取

對於在掃描期間支援結構描述擷取的資料來源,欄數不會直接截斷資產結構描述。

巢狀資料

巢狀資料僅支援 JSON 內容。 對於所有 系統支援的檔案類型,如果欄中有巢狀 JSON 內容,則掃描器會剖析巢狀 JSON 資料,並在資產的結構描述索引標籤中呈現。

SQL 不支援巢狀資料或巢狀結構描述剖析。 含有巢狀資料的欄會按原樣報告和分類,且子資料不會進行剖析。

對分類資料進行抽樣

在資料對應術語中,

  • L1 掃描:擷取基本資訊和中繼資料,例如檔案名稱、大小和完整名稱。
  • L2 掃描:擷取結構化檔案類型和資料庫表格的結構描述。
  • L3 掃描:在適用情況下擷取結構描述,並將取樣檔案受制於系統和自訂分類規則。

深入了解 如何自訂掃描層級。

針對所有結構化檔案格式,Microsoft Purview 資料對應掃描器會以下列方式取樣檔案:

  • 如果是結構化檔案類型,它會取樣每一欄的前 128 列或前 1 MB,以較低者為準。
  • 如果是文件檔案格式,它會取樣每個檔案的前 20 MB。
  • 如果文件檔案大於 20 MB,掃描器不會執行深度掃描, (受到分類) 的限制。 在此情況下,Microsoft Purview 只會擷取基本的中繼資料,例如檔案名稱和完整名稱。
  • 對於 SQL) (表格式資料來源 ,它會取樣前 128 列。
  • 針對 Azure Cosmos DB for NoSQL,系統會為結構描述收集容器中前 10 份文件中的 300 個不同屬性。 針對每個屬性,掃描器會取樣最多 128 份文件或前 1 MB 的值。
  • 對於非結構化資料格式,例如 DOCX 檔案,不需要符合八個不同值的條件。 存在單一相關關鍵字就足以進行分類。

資源集檔案取樣

如果資料夾或分割區檔案群組符合系統資源集原則或客戶定義的資源集原則,資料對應會將其偵測為 資源集。 如果掃描器偵測到資源集,它會對其中包含的每個資料夾進行取樣。 如需資源集的詳細資訊,請參閱 Microsoft Purview 資料對應中的資源集。

依檔案類型對資源集進行檔案取樣:

  • 以分隔符號分隔的檔案 (CSV、PSV、SSV、TSV ) : 掃描器會 (被視為資源集的資料夾或磁碟分割檔案群組中的 L3 掃描) ,對 100 個檔案中取樣 1 個檔案。
  • 資料湖 檔案類型 (Parquet、Avro、Orc) : 掃描器會在 L3 掃描) 中取樣 18,446,744,073,709,551,615 (長最大) 檔案中的 1 個, (資料夾或視為資源集的磁碟分割檔案群組中。
  • 其他結構化檔案類型 (JSON、XML TXT) : 掃描器會 (被視為資源集的資料夾或磁碟分割檔案群組中的 L3 掃描) ,對 100 個檔案中的 1 個檔案進行取樣。
  • SQL 物件和 Azure Cosmos DB 實體:掃描器 L3 會掃描每個檔案。
  • 文件檔案類型:掃描器 L3 會掃描每個檔案。 資源集模式不適用於這些檔案類型。

後續步驟