Benutzerdefinierte Klassifizierer

Important

Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Manage Azure Databricks Previews.

Auf dieser Seite wird beschrieben, wie Sie benutzerdefinierte Klassifizierer für Databricks-Datenklassifizierung im Unity-Katalog erstellen und verwalten. Benutzerdefinierte Klassifizierer erweitern das integrierte Klassifizierungssystem , sodass Sie vertrauliche Daten erkennen können, die für Ihre Organisation spezifisch sind, z. B. interne Mitarbeiter-IDs, proprietäre Produktcodes, Lieferanten-IDs oder Partnerkontonummern.

Um einen benutzerdefinierten Klassifizierer zu erstellen, wählen Sie zuerst ein geregeltes Tag aus. Beschreiben Sie dann die zu erkennenden Daten, stellen Sie Beispielspalten bereit, die repräsentative Werte enthalten, oder beides. Azure Databricks generiert eine Vorschau dessen, was der Klassifizierer erkennt, damit Sie sie überprüfen können, bevor Sie speichern. Die Datenklassifizierung erkennt diesen Klassifizierer dann bei ihren regelmäßigen Überprüfungen.

Mit benutzerdefinierten Klassifizierern können Sie:

  • Organisationsspezifische Daten markieren: Erkennen und Konfigurieren der automatischen Kennzeichnung für Datentypen, die für Ihre Organisation eindeutig sind, z. B. Mitarbeiter-IDs, Partnercodes oder interne Kontonummern.
  • Erweitern Sie die Governance-Kontrollen: Wenden Sie ABAC-Maskierungen auf Spaltenebene auf vertrauliche Daten an.

Note

Die Konfiguration des benutzerdefinierten Klassifizierers und die Erkennungsmetadaten, die Azure Databricks aus Ihren Beispielspalten generiert, werden im Ruhezustand verschlüsselt. Sie können einen vom Kunden verwalteten Schlüssel (CMK) in Ihrem Systemkatalog verwenden, um den Verschlüsselungsschlüssel zu verwalten. Durch das Konfigurieren eines CMK im Systemkatalog werden alle Daten im Systemkatalog verschlüsselt, nicht nur benutzerdefinierte Klassifiziererdaten.

Konfigurieren Sie einen vom Kunden verwalteten Schlüssel im Systemkatalog im Katalog-Explorer.

Requirements

  • Die Datenklassifizierung muss in mindestens einem Katalog im Metastore aktiviert sein. Siehe Verwenden der Datenklassifizierung.
  • Ihr Arbeitsbereich muss über verfügbare serverlose Rechenleistung verfügen (standardmäßig in Arbeitsbereichen mit dem Unity Catalog aktiviert).
  • Um einen benutzerdefinierten Klassifizierer zu erstellen, zu bearbeiten oder zu löschen, müssen Sie ein Metastoreadministrator sein.
  • Um einen benutzerdefinierten Klassifizierer zu erstellen oder zu bearbeiten, müssen ASSIGN Sie über Berechtigungen für das geregelte Tag verfügen, das der Klassifizierer verwendet. Siehe "Verwalten von Berechtigungen für geregelte Tags".
  • Um eine Beispielspalte für den Klassifizierer auszuwählen, muss SELECT auf der Tabelle vorhanden sein, die die Beispielspalte enthält. Azure Databricks verwendet Stichproben aus der Spalte, um die Vorschau zu generieren.

Erstellen eines benutzerdefinierten Klassifizierers

  1. Klicken Sie auf der Ergebnisseite " Datenklassifizierung" auf "Benutzerdefinierte Klassifizierer verwalten".

    Schaltfläche

  2. Klicken Sie im bereich "Benutzerdefinierte Klassifizierer" auf "Klassifiziererhinzufügen".

  3. Wählen Sie ein Tag aus. Wählen Sie ein vorhandenes geregeltes Tag aus, oder erstellen Sie ein neues Tag, um eine Inline zu definieren. Wenn das Tag Werte zulässig hat, wählen Sie den spezifischen Wert aus, den Sie erkennen möchten.

    Der Assistent zum Hinzufügen benutzerdefinierter Klassifizierer mit aktivem Schritt „Tag auswählen“, der die Auswahl für verwaltete Tags oberhalb der eingeklappten Schritte „Klassifizierer definieren“ und „Klassifizierer generieren“ zeigt.

  4. Definieren Sie den Klassifizierer. Geben Sie eine Beschreibung, Spaltenbeispiele oder beides an, damit Azure Databricks lernt, wonach gesucht werden soll:

    • Beschreiben Sie unter „Beschreiben, wie klassifiziert werden soll“ in einfacher Sprache die zu erkennenden Daten, z. B. Columns that store a person's contact details.
    • Unter Beispieldatenspalten auswählen durchsuchen Sie die Katalogstruktur und wählen bis zu 10 Spalten aus, die repräsentative Werte für die Klasse enthalten.

    Informationen zum Schreiben einer effektiven Beschreibung und auswählen guter Beispielspalten finden Sie unter Definieren des Klassifizierers.

    Der Schritt „Klassifizierer definieren“ des Assistenten zum Hinzufügen benutzerdefinierter Klassifizierer, der das Feld „Beschreiben, wie Text klassifiziert werden soll“ oberhalb des Katalogbrowsers „Beispieldatenspalten auswählen“ zeigt, in dem zwei Spalten ausgewählt sind.

  5. Generieren Sie den Klassifizierer. Azure Databricks generiert eine Vorschau davon, was der Klassifizierer erkennt. Um das Ergebnis anzupassen, bearbeiten Sie die Beschreibungs- oder Beispielspalten, und die Vorschau wird neu generiert. Siehe Klassifizierungsvorschau.

    Der Schritt „Klassifizierer generieren“ des Assistenten zum Hinzufügen benutzerdefinierter Klassifizierer, der die generierte Klassifizierervorschau mit einer allgemeinverständlichen Zusammenfassung und Spaltenkarten als Beispiel zeigt, die Spaltennamen und Beispielwerte auflisten.

  6. Klicke auf Erstellen. Diese Schaltfläche bleibt deaktiviert, bis eine Vorschau generiert wird.

Erkennungen aus dem benutzerdefinierten Klassifizierer werden in der Regel innerhalb weniger Stunden auf der Ergebnisseite angezeigt.

Definieren des Klassifizierers

Sie definieren einen benutzerdefinierten Klassifizierer mit einer Beschreibung, Beispielspalten oder beidem.

Ihre Beschreibung erläutert, was die Daten darstellen, und wirkt sich direkt darauf aus, wie Azure Databricks den Klassifizierer generiert. Mithilfe der Beschreibung können Sie Azure Databricks anweisen, Treffer ein- oder auszuschließen (z. B. „Telefonnummern, die einzelnen Kunden gehören, und nicht öffentliche Support- oder Verkaufsnummern“).

Die Beispielspalten helfen Azure Databricks, die Form der zu beispielenden Daten zu erlernen. Sie benötigen die SELECT Berechtigungen für eine Tabelle, um die zugehörigen Spalten als Beispiele zu verwenden.

Ein benutzerdefinierter Klassifizierer gilt für alle Kataloge im Metastore, für die die Datenklassifizierung aktiviert ist. Ein Geltungsbereich pro Katalog oder pro Schema wird nicht unterstützt.

Klassifizierungsvorschau

Bevor Sie einen benutzerdefinierten Klassifizierer speichern, generiert Azure Databricks eine Vorschau, damit Sie die Erkennungsregeln überprüfen können. In der Vorschau wird beschrieben, was der Klassifizierer in einfacher Sprache erkennt, und zeigt Beispiel für übereinstimmende Spaltennamen und -werte an.

Die Spalten und Werte in der Vorschau sind KI-generierte Beispiele und keine echten Tabellendaten. Wenn die Vorschau nicht dem entspricht, was Sie erkennen möchten, bearbeiten Sie die Beschreibung oder die Beispielspalten, um eine neue Vorschau zu generieren.

Verwalten von benutzerdefinierten Klassifizierern

Im seitenseitigen Bereich für benutzerdefinierte Klassifizierer werden alle benutzerdefinierten Klassifizierer aufgelistet, die für den Metastore konfiguriert sind. In diesem Bereich können Sie nach Tagname suchen, einen vorhandenen Klassifizierer bearbeiten oder einen Klassifizierer löschen.

Benutzerdefinierte Klassifiziererliste im Seitenbereich „Benutzerdefinierte Klassifizierer“.

Bearbeiten eines benutzerdefinierten Klassifizierers

So aktualisieren Sie einen vorhandenen benutzerdefinierten Klassifizierer:

  1. Wählen Sie im bereich "Benutzerdefinierte Klassifizierer" den benutzerdefinierten Klassifizierer aus, den Sie bearbeiten möchten. In der Bearbeitungsansicht werden die gespeicherte Beschreibung des Klassifizierers, Beispielspalten und die Vorschau angezeigt.
  2. Bearbeiten Sie die Beschreibung, oder fügen Sie Beispielspalten hinzu oder entfernen Sie sie. Azure Databricks generiert die Vorschau automatisch neu.
  3. Wenn die Vorschau korrekt ist, klicken Sie auf "Aktualisieren".

Vorhandene Erkennungen aus der vorherigen Konfiguration bleiben vorhanden.

Der geregelte Tag- und Tagwert kann nicht geändert werden, nachdem ein benutzerdefinierter Klassifizierer erstellt wurde. Um zu einem anderen Tag zu wechseln, löschen Sie den benutzerdefinierten Klassifizierer, und erstellen Sie eine neue.

Löschen eines benutzerdefinierten Klassifizierers

  1. Wählen Sie im seitenseitigen Bereich "Benutzerdefinierte Klassifizierer" den benutzerdefinierten Klassifizierer aus, den Sie löschen möchten.
  2. Klicken Sie auf Löschen.
  3. Bestätigen Sie den Löschvorgang.

Wenn Sie einen benutzerdefinierten Klassifizierer löschen:

  • Für diesen Klassifizierer werden keine neuen Erkennungen erstellt.
  • Vorhandene Erkennungen werden von der Ergebnisseite "Datenklassifizierung" entfernt.
  • Tags, die bereits automatisch auf Spalten angewendet wurden, werden nicht automatisch entfernt.

Anzeigen benutzerdefinierter Klassifizierererkennungen

Um benutzerdefinierte Klassifizierererkennungen anzuzeigen, führen Sie die gleichen Schritte wie für integrierte Klassifizierungen aus. Siehe "Klassifizierungsergebnisse anzeigen".

Einschränkungen

  • Sie können maximal 50 benutzerdefinierte Klassifizierer pro Metastore erstellen.
  • Jeder benutzerdefinierte Klassifizierer muss eine Beschreibung, Beispielspalten oder beides haben. Sie können auf maximal 10 Beispielspalten verweisen.
  • Die Benennung geregelter Tags unterliegt tagrichtlinienregeln.
  • Benutzerdefinierte Klassifizierer gelten für alle datenklassifizierungsfähigen Kataloge im Metastore. Ein Geltungsbereich pro Katalog oder pro Schema wird nicht unterstützt.
  • Das von einem benutzerdefinierten Klassifizierer verwendete geregelte Tag kann nach der Erstellung nicht mehr geändert werden. Um ein anderes Tag zu verwenden, löschen Und erstellen Sie den benutzerdefinierten Klassifizierer neu.
  • Neue und aktualisierte benutzerdefinierte Klassifizierer gelten nur für nachfolgende Datenklassifizierungsscans. Vorhandene Scanergebnisse werden nicht automatisch neu klassifiziert, sodass Erkennungen für zuvor gescannte Daten nach Abschluss der nächsten Überprüfung angezeigt werden.
  • Alle Einschränkungen der Datenklassifizierung gelten auch für benutzerdefinierte Klassifizierer, einschließlich der unterstützten Tabellentypen. Informationen finden Sie unter Einschränkungen.

Troubleshooting

In den folgenden Themen können Sie häufig auftretende Probleme mit benutzerdefinierten Klassifizierern beheben.

Ein benutzerdefinierter Klassifizierer ist suspendiert.

Wenn ein benutzerdefinierter Klassifizierer keine Erkennungen mehr liefern kann, setzt Azure Databricks ihn aus und zeigt auf der Seite mit den Ergebnissen der Datenklassifizierung eine Warnung an. Die Warnung gibt den Grund an. Ein angehaltener benutzerdefinierter Klassifizierer erzeugt keine neuen Erkennungen.

Warnung, die anzeigt, dass mindestens ein benutzerdefinierter Klassifizierer angehalten wird.

Azure Databricks setzt einen benutzerdefinierten Klassifizierer aus folgenden Gründen aus:

  • Das verwaltete Tag ist nicht mehr gültig. Der verwaltete Tag bzw. Tag-Wert wurde gelöscht, oder dem Tag fehlt ein erforderlicher Wert. Stellen Sie das Tag oder den Wert wieder her, oder löschen Sie den benutzerdefinierten Klassifizierer, und erstellen Sie ein neues Tag mit einem gültigen Tag. Das Bearbeiten der Beschreibung oder der Spalten mit Beispielen hebt diese Sperrung nicht auf.
  • Azure Databricks kann keine Erkennungsregel aus den von Ihnen bereitgestellten Beschreibungs- und Beispielspalten generieren. Bearbeiten Sie den benutzerdefinierten Klassifizierer, um die Beschreibung zu verfeinern oder Beispielspalten zu ersetzen, auf die nicht zugegriffen werden kann oder nicht repräsentativ ist, und speichern Sie dann, um den Klassifizierer neu zu generieren.

Berechtigung verweigert beim Erstellen oder Auflisten von benutzerdefinierten Klassifizierern

Sie müssen ein Metastore-Administrator sein. Das Erstellen oder Bearbeiten eines benutzerdefinierten Klassifizierers erfordert ASSIGN zusätzlich Berechtigungen für das geregelte Tag. Siehe Anforderungen.

Eine Beispielspalte kann nicht ausgewählt werden.

Sie müssen über SELECT in der Tabelle verfügen, die die Spalte enthält. Wenn Sie nicht über SELECT für die Tabelle verfügen, bitten Sie den Besitzer der Tabelle, diese zu gewähren, oder wählen Sie eine andere Spalte aus.

Weitere Ressourcen

  • Last updated on