自訂分類器

Important

這項功能位於 測試版 (Beta) 中。

本頁說明如何在 Unity 目錄中建立及管理 Databricks 資料分類的自訂分類器。 自訂分類器擴充內建 分類系統 ,讓您能偵測組織內特定敏感資料,如內部員工識別碼、專有產品代碼、供應商識別碼或合作夥伴帳號。

要建立自訂分類器,首先選擇 一個受控標籤。 接著描述要偵測的資料,提供包含代表性值的樣本欄位,或兩者兼具。 Azure Databricks 會產生分類器偵測到的預覽,讓你在儲存前可以先檢視。 資料分類會在例行掃描中偵測此分類器。

Note

自訂分類器在分類掃描時偵測欄位層級敏感資料。 若要將受控標籤指派給整個資料表和磁碟區,例如資料表層級的敏感度等級,請改用自動化標籤指派(測試版)。

使用自訂分類器,你可以:

  • 標記組織專屬資料:偵測並設定自動標籤,針對貴組織獨有的資料類型,如員工ID、合作夥伴代碼或內部帳號。
  • 擴展治理控制:對敏感資料套用 ABAC 欄位層級遮罩 。

Note

自訂分類器設定以及 Azure Databricks 從你的範例欄位產生的偵測元資料,靜態時都是加密的。 你可以在系統目錄中使用 客戶管理金鑰(CMK) 來管理加密金鑰。 在系統目錄中設定 CMK 會加密系統目錄中的所有資料,而不僅僅是自訂分類器資料。

在目錄檔案總管中設定由客戶管理的金鑰。

Requirements

  • 資料分類必須在中繼儲存庫中至少啟用一個目錄。 請參閱 使用資料分類。
  • 你的工作區必須有 無伺服器運算 (在 Unity Catalog 工作區預設已啟用)。
  • 若要建立、編輯或刪除自訂分類器,你必須是中繼存放區管理員,或對該分類器所使用的受管控標籤具有 MANAGE 權限。 請參閱 管理受控管標籤的許可權。
  • 若要選擇供分類器使用的範例欄位,您必須在包含該欄位的資料表上有 SELECT。 Azure Databricks 會取樣該欄位來產生預覽。

建立自訂分類器

  1. 在資料分類結果頁面,點擊 管理自訂分類器。

    在資料分類結果頁面上的管理自訂分類器按鈕。

  2. 在 自訂分類器 側邊面板,點選 新增分類器。

  3. 選擇一個標籤。 選擇現有的受控標籤,或建立新標籤以直接在此定義一個標籤。 如果標籤有允許的值,請選擇你想偵測的特定值。

    新增自訂分類器向導,啟用「選擇標籤步驟」,顯示被管理的標籤選擇器,位於「定義分類器」和「產生分類器步驟」的摺疊頁面上方。

  4. 定義分類器。 提供描述、範例欄位,或兩者兼具,讓 Azure Databricks 學習該掃描哪些內容:

    • 在 「描述如何分類」中,請用淺顯的語言描述要偵測的資料,例如 Columns that store a person's contact details。
    • 在 「選取範例資料欄位」中,瀏覽目錄樹,選擇最多 10 欄包含該類別代表性值的欄位。

    關於如何撰寫有效的描述並選擇好的範例欄位,請參見 「定義分類器」。

    「新增自訂分類器」精靈的「定義分類器」步驟,顯示位於「選取範例資料欄」目錄瀏覽器上方的「描述如何將文字分類」欄位,其中已選取兩個欄位。

  5. 產生分類器。 Azure Databricks 會產生分類器所偵測內容的預覽。 若要調整結果,請編輯描述欄或範例欄,預覽會重新生成。 請參閱 分類器預覽。

    新增自訂分類器精靈的「產生分類器」步驟,顯示產生的分類器預覽,並附有簡化語言的摘要及範例欄位卡片,列出欄位名稱與範例值。

  6. 點擊 建立。 這個按鈕會一直被關閉,直到產生預覽畫面。

自訂分類器的偵測通常會在幾小時內顯示在結果頁面。

定義分類器

你可以定義一個包含描述、樣本欄位或兩者的自訂分類器。

你的描述說明了資料代表什麼,並直接影響 Azure Databricks 如何產生分類器。 你可以利用描述教導 Azure Databricks 加入或排除匹配(例如「屬於個別客戶的電話號碼,而非公共支援或銷售專線」)。

範例欄位幫助 Azure Databricks 學習要取樣的資料形狀。 若要將資料表中的欄位作為樣本使用,你需要具備該資料表的 SELECT 權限。

自訂分類器會套用到中繼儲存庫 中所有 啟用資料分類的目錄。 不支援每個目錄或每個結構的範圍設定。

分類器預覽

在儲存自訂分類器之前,Azure Databricks 會產生預覽,讓你能驗證其偵測規則。 預覽以淺顯語言描述分類器偵測到的項目,並顯示樣本與欄位名稱與值相符。

預覽中的欄位和數值是 AI 生成的範例,而非真實的資料表資料。 如果預覽與你想要偵測的不符,請編輯描述或範例欄位,產生新的預覽。

管理自訂分類器

自訂分類器側面板列出所有為中繼商店設定的自訂分類器。 在這個面板中,你可以依標籤名稱搜尋、編輯現有分類器,或刪除分類器。

自訂分類器清單,位於自訂分類器側邊欄。

編輯自訂分類器

要更新現有的自訂分類器:

  1. 在 自訂分類器 側面板,選擇你想編輯的自訂分類器。 編輯檢視會顯示分類器儲存的描述、範例欄位和預覽。
  2. 編輯說明,或新增或移除範例欄位。 Azure Databricks 會自動重新生成預覽。
  3. 如果預覽正確,請點擊 更新。

先前配置的偵測資料依然有效。

自訂分類器建立後,受控標籤與標籤值無法更改。 要切換到不同標籤,請刪除自訂分類器並建立新的。

刪除自訂分類器

  1. 在 自訂分類器 側面板,選擇你想刪除的自訂分類器。
  2. 點選 刪除。
  3. 確認刪除。

當你刪除自訂分類器時:

  • 該分類器不會產生新的偵測結果。
  • 現有偵測會從資料分類結果頁面移除。
  • 已經自動套用到欄位的標籤不會自動移除。

查看自訂分類器偵測

要查看自訂分類器偵測,請遵循內建分類的相同步驟。 請參閱 查看分類結果。

Limitations

  • 每個元商店最多可以建立 50 個自訂分類器。
  • 每個自訂分類器必須包含描述、樣本欄位,或兩者兼具。 你最多只能參考10列樣本。
  • 受控標籤命名受標籤 政策規則約束。
  • 自訂分類器會套用至中繼資料存放區中所有已啟用資料分類的目錄。 不支援每個目錄或每個結構的範圍設定。
  • 自訂分類器所使用的受控標籤在建立後無法更改。 若要使用不同標籤,請刪除並重建自訂分類器。
  • 新的及更新的自訂分類器僅適用於後續的資料分類掃描。 現有掃描結果不會自動重新分類,因此先前掃描資料的偵測會在下一次掃描完成後才出現。
  • 所有資料分類的限制同樣適用於自訂分類器,包括支援的資料表類型。 請參閱限制。

故障排除

以下主題將協助你排除自訂分類器常見的問題。

自訂分類器已暫停

如果自訂分類器無法再產生偵測,Azure Databricks 會暫停該分類器,並在資料分類結果頁面顯示警告。 警告說明了原因。 暫停的自訂分類器不會產生新的偵測。

警告顯示一個或多個自訂分類器被暫停。

Azure Databricks 會暫停自訂分類器,原因如下:

  • 受控標籤已不再有效。 被治理的標籤或標籤值被刪除,或標籤缺少所需值。 還原標籤或值,或刪除自訂分類器,並建立一個有有效標籤的新分類器。 編輯描述或範例欄位並不能解決這個暫停問題。
  • Azure Databricks 無法從你提供的描述和範例欄位產生偵測規則。 編輯自訂分類器以精細描述或替換無法存取或不具代表性的範例欄位,然後儲存以重新產生分類器。

建立或列出自訂分類器時,權限被拒絕

你必須是中繼存放區管理員,或對分類器使用的受管控標籤具有 MANAGE。 請參閱 需求。

無法選取範例欄位

你必須在包含該資料行的資料表上具有SELECT。 如果您在該資料表上沒有 SELECT,請要求資料表擁有者授予您該權限,或選擇其他欄位。

其他資源