カスタム分類子

Important

この機能は ベータ版です。 ワークスペース管理者は、[ プレビュー] ページからこの機能へのアクセスを制御できます。 Manage Azure Databricks プレビューを参照してください。

このページでは、Unity カタログで Databricks データ分類のカスタム分類子を作成および管理する方法について説明します。 カスタム分類子は 、組み込みの分類システム を拡張して、社内の従業員 ID、独自の製品コード、ベンダー識別子、パートナー アカウント番号など、組織に固有の機密データを検出できるようにします。

カスタム分類子を作成するには、まず 、管理タグを選択します。 次に、検出するデータについて説明し、代表的な値を含むサンプル列、またはその両方を指定します。 Azure Databricksでは、分類子が検出した内容のプレビューが生成されるため、保存する前に確認できます。 その後、データ分類は、通常のスキャン中にこの分類子を検出します。

Note

カスタム分類器は分類スキャン中に列レベルの機密データを検出します。 テーブル全体のテーブルやボリュームにガバネリングタグを割り当てるには、代わりにタグ割り当て の自動化 (ベータ版)を使います。

カスタム分類子を使用すると、次のことができます。

• 組織固有のデータにタグを付ける: 従業員 ID、パートナー コード、内部アカウント番号など、組織に固有のデータ型の自動タグ付けを検出して構成します。
• ガバナンス制御の拡張: ABAC 列レベルのマスクを 機密データに適用します。

Note

カスタム分類子の構成と、Azure Databricks がサンプル列から生成する検出メタデータは、保存時に暗号化されます。 システム カタログで カスタマー マネージド キー (CMK) を 使用して、暗号化キーを管理できます。 システム カタログに CMK を構成すると、カスタム分類子データだけでなく、システム カタログ内のすべてのデータが暗号化されます。

Requirements

• データ分類は、メタストア内の少なくとも 1 つのカタログで有効にする必要があります。 「データ分類の使用」を参照してください。
• ワークスペースでは 、サーバーレス コンピューティング を使用できる必要があります (Unity カタログを使用するワークスペースでは既定で有効になっています)。
• カスタム分類子を作成、編集、または削除するには、メタストア管理者である必要があります。
• カスタム分類子を作成または編集するには、分類子が使用する管理タグに対する ASSIGN 特権が必要です。 管理タグのアクセス許可の管理を参照してください。
• 分類子のサンプル列を選択するには、それを含むテーブルに SELECT が必要です。 Azure Databricks列をサンプリングしてプレビューを生成します。

カスタム分類子を作成する

1. [データ分類の結果] ページで、[ カスタム分類子の管理] をクリックします。

   

2. [カスタム分類子] サイド パネルで、[分類子の追加] をクリックします。

3. タグを選択します。 既存の管理タグを選択するか、新しいタグを作成してインラインで定義します。 タグに許可されている値がある場合は、検出する特定の値を選択します。

   

4. 分類子を定義します。 Azure Databricks が何をスキャンすべきかを学習できるように、説明、列のサンプル、またはその両方を指定してください:

   • [ 分類方法の説明] で、 Columns that store a person's contact detailsなど、プレーンな言語で検出するデータについて説明します。
   • [ サンプル データ列の選択] でカタログ ツリーを参照し、クラスの代表的な値を含む最大 10 個の列を選択します。

   効果的な説明を記述し、適切なサンプル列を選択する方法については、「 分類子の定義」を参照してください。

   

5. 分類子を生成します。 Azure Databricksは、分類子が検出した内容のプレビューを生成します。 結果を調整するには、説明またはサンプル列を編集し、プレビューが再生成されます。 分類子のプレビューを参照してください。

   

6. Create をクリックしてください。 プレビューが生成されるまで、このボタンは無効のままです。

カスタム分類子からの検出は、通常、数時間以内に結果ページに表示されます。

分類子を定義する

カスタム分類子は、説明、サンプル列、またはその両方を使用して定義します。

説明にはデータが何を表しているかが示されており、Azure Databricks が分類子を生成する方法に直接影響を与えます。 説明を使用して、一致を含めたり除外したりするようにAzure Databricksに教えることができます (たとえば、"パブリック サポートや販売ラインではなく、個々の顧客に属する電話番号" など)。

サンプル列は、Azure Databricks がサンプリング対象のデータの形状を学習するのに役立ちます。 テーブルの列をサンプルとして使用するには、テーブルに対する SELECT 権限が必要です。

カスタム分類子は、データ分類が有効になっているメタストア 内のすべての カタログに適用されます。 カタログごとまたはスキーマごとのスコープはサポートされていません。

分類器のプレビュー

カスタム分類子を保存する前に、Azure Databricksはプレビューを生成して、検出ルールを確認できるようにします。 プレビューでは、分類子がプレーン言語で検出した内容について説明し、一致する列名と値のサンプルを示します。

プレビューの列と値は、実際のテーブル データではなく、AI によって生成された例です。 プレビューが検出する内容と一致しない場合は、説明またはサンプル列を編集して新しいプレビューを生成します。

カスタム分類子の管理

カスタム分類子のサイド パネルには、メタストア用に構成されたすべてのカスタム分類子が一覧表示されます。 このパネルでは、タグ名で検索したり、既存の分類子を編集したり、分類子を削除したりすることができます。

カスタム分類子を編集する

既存のカスタム分類子を更新するには:

1. [カスタム分類子] サイド パネルで、編集するカスタム分類子を選択します。 編集ビューには、分類子の保存された説明、サンプル列、プレビューが表示されます。
2. 説明を編集するか、サンプル列を追加または削除します。 Azure Databricksプレビューが自動的に再生成されます。
3. プレビューが正しい場合は、[ 更新] をクリックします。

前の構成からの既存の検出はそのまま残ります。

管理タグとタグ値は、カスタム分類子の作成後に変更できません。 別のタグに切り替えるには、カスタム分類子を削除し、新しい分類子を作成します。

カスタム分類子を削除する

1. [カスタム分類子] サイド パネルで、削除するカスタム分類子を選択します。
2. [削除] をクリックします。
3. 削除を確認します。

カスタム分類子を削除する場合:

• その分類子に対して新しい検出は生成されません。
• 既存の検出は、[データ分類の結果] ページから削除されます。
• 列に既に自動適用されているタグは自動的に削除されません。

カスタム分類子の検出を表示する

カスタム分類子の検出を表示するには、組み込みの分類と同じ手順に従います。 分類結果の表示を参照してください。

制限事項

• メタストアごとに最大 50 個のカスタム分類子を作成できます。
• 各カスタム分類子には、説明、サンプル列、またはその両方が必要です。 最大 10 個のサンプル列を参照できます。
• 管理タグの名前付けには、 タグ ポリシールールが適用されます。
• カスタム分類子は、メタストア内のすべてのデータ分類が有効なカタログに適用されます。 カタログごとまたはスキーマごとのスコープはサポートされていません。
• カスタム分類子によって使用される管理タグは、作成後に変更できません。 別のタグを使用するには、カスタム分類子を削除して再作成します。
• 新規および更新されたカスタム分類子は、後続のデータ分類スキャンにのみ適用されます。 既存のスキャン結果は自動的に再分類されないため、以前にスキャンされたデータの検出は、次のスキャンが完了した後に表示されます。
• すべてのデータ分類の制限は、サポートされているテーブル型を含むカスタム分類子にも適用されます。 制限事項を参照してください。

Troubleshooting

次のトピックは、カスタム分類子に関する一般的な問題のトラブルシューティングに役立ちます。

カスタム分類器は一時停止されています

カスタム分類子が検出結果を生成できなくなった場合、Azure Databricks はその分類子を中断し、[データ分類の結果] ページに警告を表示します。 警告には理由が示されます。 中断されたカスタム分類子では、新しい検出は生成されません。

Azure Databricksは、次の理由でカスタム分類子を中断します。

• 管理タグは無効です。 管理タグまたはタグ値が削除されたか、タグに必要な値がありません。 タグまたは値を復元するか、カスタム分類子を削除して、有効なタグを持つ新しい分類子を作成します。 説明またはサンプル列を編集しても、この中断は解決されません。
• Azure Databricksは、指定した説明とサンプル列から検出ルールを生成できません。 カスタム分類子を編集して説明を改善するか、アクセスできない、または代表的でないサンプル列を置き換えてから保存し、分類子を再生成します。

カスタム分類子の作成または一覧表示時にアクセスが拒否されました

メタストア管理者である必要があります。カスタム分類子を作成または編集するには、管理タグに対する ASSIGN 特権も必要です。 要件を参照してください。

サンプル列を選択できない

列を含むテーブルに SELECT が必要です。 テーブルに SELECT がない場合は、テーブル所有者に許可を求めるか、別の列を選択してください。

その他のリソース

• データ分類
• サポートされている分類タグ
• 統制タグ
• Unity カタログでの属性ベースのアクセス制御
• データ分類システム テーブル リファレンス