Classifieurs personnalisés

Important

Cette fonctionnalité est en version bêta. Les administrateurs d’espace de travail peuvent contrôler l’accès à cette fonctionnalité à partir de la page Aperçus . Consultez Gérer les préversions d’Azure Databricks.

Cette page explique comment créer et gérer des classifieurs personnalisés pour la classification des données Databricks dans le catalogue Unity. Les classifieurs personnalisés étendent le système de classification intégré pour vous permettre de détecter des données sensibles spécifiques à votre organisation, telles que les ID d’employés internes, les codes de produit propriétaires, les identificateurs de fournisseur ou les numéros de compte partenaire.

Pour créer un classifieur personnalisé, vous sélectionnez d’abord une balise régie. Ensuite, décrivez les données à détecter, fournissez des exemples de colonnes qui contiennent des valeurs représentatives, ou les deux. Azure Databricks génère un aperçu de ce que le classifieur détecte afin de pouvoir l’examiner avant d’enregistrer. La classification des données détecte ensuite ce classifieur pendant ses analyses régulières.

À l’aide de classifieurs personnalisés, vous pouvez :

  • Balisez des données spécifiques à l’organisation : détectez et configurez le balisage automatique pour les types de données uniques à votre organisation, tels que les ID d’employés, les codes de partenaire ou les numéros de compte internes.
  • Étendre les contrôles de gouvernance : appliquez des masques au niveau des colonnes ABAC aux données sensibles.

Note

La configuration du classifieur personnalisé et les métadonnées de détection générées par Azure Databricks à partir de vos exemples de colonnes sont chiffrées au repos. Vous pouvez utiliser une clé gérée par le client (CMK) sur votre catalogue système pour gérer la clé de chiffrement. La configuration d’une clé CMK sur le catalogue système chiffre toutes les données du catalogue système, pas seulement les données de classifieur personnalisées.

Configurez une clé gérée par le client sur le catalogue système dans l’Explorateur de catalogues.

Requirements

  • La classification des données doit être activée sur au moins un catalogue dans le metastore. Consultez Utiliser la classification des données.
  • Votre espace de travail doit disposer du calcul sans serveur (activé par défaut dans les espaces de travail avec Unity Catalog).
  • Pour créer, modifier ou supprimer un classifieur personnalisé, vous devez être administrateur de metastore.
  • Pour créer ou modifier un classifieur personnalisé, vous devez disposer ASSIGN de privilèges sur la balise régie utilisée par le classifieur. Consultez Gérer les autorisations sur les balises régies.
  • Pour sélectionner un exemple de colonne pour le classifieur, vous devez avoir SELECT sur la table qui la contient. Azure Databricks échantillonne la colonne pour générer l’aperçu.

Créer un classifieur personnalisé

  1. Dans la page résultats de la classification des données, cliquez sur Gérer les classifieurs personnalisés.

    Bouton Gérer les classifieurs personnalisés dans la page des résultats de la classification des données.

  2. Dans le volet latéral Classifieurs personnalisés , cliquez sur Ajouter un classifieur.

  3. Sélectionnez une balise. Choisissez une balise gouvernée existante, ou créez-en une nouvelle pour la définir directement sur place. Si la balise a des valeurs autorisées, choisissez la valeur spécifique que vous souhaitez détecter.

    L’assistant d’ajout d’un classifieur personnalisé avec l’étape Sélectionner une étiquette active, affichant le sélecteur d’étiquettes gouvernées au-dessus des étapes réduites Définir le classifieur et Générer le classifieur.

  4. Définissez le classifieur. Fournissez une description, des exemples de colonnes, ou les deux, afin qu’Azure Databricks apprenne ce qu’il doit rechercher :

    • Dans Décrire comment classer, décrivez les données à détecter en termes simples, par exemple Columns that store a person's contact details.
    • Sous Sélectionner des exemples de colonnes de données, parcourez l’arborescence du catalogue et sélectionnez jusqu’à 10 colonnes qui contiennent des valeurs représentatives pour la classe.

    Pour savoir comment écrire une description efficace et choisir de bons exemples de colonnes, consultez Définir le classifieur.

    L’étape Définir le classificateur de l’assistant Ajouter un classificateur personnalisé, affichant le champ Décrire comment classifier le texte au-dessus du navigateur de catalogue Sélectionner des colonnes de données d’exemple avec deux colonnes sélectionnées.

  5. Générez le classifieur. Azure Databricks génère un aperçu de ce que le classifieur détecte. Pour ajuster le résultat, modifiez la description ou les exemples de colonnes et l’aperçu se régénère. Consultez la préversion de Classifier.

    L’étape Générer le classifieur de l’Assistant Ajouter un classifieur personnalisé, montrant l’aperçu classifieur généré avec un résumé en langage brut et des exemples de cartes de colonnes qui répertorient les noms de colonnes et les exemples de valeurs.

  6. Cliquez sur Créer. Ce bouton reste désactivé jusqu’à ce qu’un aperçu soit généré.

Les détections du classifieur personnalisé apparaissent généralement sur la page de résultats dans quelques heures.

Définir le classifieur

Vous définissez un classifieur personnalisé avec une description, des exemples de colonnes ou les deux.

Votre description explique ce que les données représentent et affecte directement la façon dont Azure Databricks génère le classifieur. Vous pouvez utiliser la description pour indiquer à Azure Databricks d’inclure ou d’exclure des correspondances (par exemple, « numéros de téléphone appartenant à des clients particuliers, et non aux lignes publiques d’assistance ou de vente »).

Les colonnes d’exemple aident Azure Databricks à comprendre la structure des données à échantillonner. Vous avez besoin du SELECT privilège sur une table pour utiliser ses colonnes comme exemples.

Un classifieur personnalisé s’applique à tous les catalogues du metastore pour lesquels la classification des données est activée. L'étendue par catalogue ou par schéma n’est pas prise en charge.

Version préliminaire du classifieur

Avant d’enregistrer un classifieur personnalisé, Azure Databricks génère un aperçu afin de pouvoir vérifier ses règles de détection. La préversion décrit ce que le classifieur détecte en langage brut et affiche des exemples de noms et de valeurs de colonnes correspondants.

Les colonnes et les valeurs de l’aperçu sont des exemples générés par l’IA, et non de véritables données du tableau. Si l’aperçu ne correspond pas à ce que vous souhaitez détecter, modifiez la description ou les exemples de colonnes pour générer un nouvel aperçu.

Gérer des classifieurs personnalisés

Le panneau latéral Classifieur personnalisé répertorie tous les classifieurs personnalisés configurés pour le metastore. Dans ce panneau, vous pouvez effectuer une recherche par nom de balise, modifier un classifieur existant ou supprimer un classifieur.

Liste des classifieurs personnalisés dans le panneau latéral Classifieurs personnalisés.

Modifier un classifieur personnalisé

Pour mettre à jour un classifieur personnalisé existant :

  1. Dans le volet latéral Classifieurs personnalisés , sélectionnez le classifieur personnalisé que vous souhaitez modifier. La vue d’édition affiche la description enregistrée du classifieur, les exemples de colonnes et l’aperçu.
  2. Modifiez la description, ou ajoutez ou supprimez des exemples de colonnes. Azure Databricks régénère automatiquement la préversion.
  3. Si l’aperçu est correct, cliquez sur Mettre à jour.

Les détections existantes de la configuration précédente restent en place.

La balise régie et la valeur de balise ne peuvent pas être modifiées après la création d’un classifieur personnalisé. Pour basculer vers une autre balise, supprimez le classifieur personnalisé et créez-en une.

Supprimer un classifieur personnalisé

  1. Dans le panneau latéral Classifieurs personnalisés , sélectionnez le classifieur personnalisé que vous souhaitez supprimer.
  2. Cliquez sur Supprimer.
  3. Confirmez la suppression.

Lorsque vous supprimez un classifieur personnalisé :

  • Aucune nouvelle détection n’est produite pour ce classifieur.
  • Les détections existantes sont supprimées de la page des résultats de la classification des données.
  • Les balises déjà appliquées automatiquement aux colonnes ne sont pas supprimées automatiquement.

Afficher les détections de classifieur personnalisées

Pour afficher les détections de classifieur personnalisées, suivez les mêmes étapes que pour les classifications intégrées. Consultez Afficher les résultats de classification.

Limitations

  • Vous pouvez créer un maximum de 50 classifieurs personnalisés par metastore.
  • Chaque classifieur personnalisé doit avoir une description, des exemples de colonnes ou les deux. Vous pouvez référencer au maximum 10 exemples de colonnes.
  • L’affectation de noms de balise régie est soumise aux règles de stratégie de balise.
  • Les classifieurs personnalisés s’appliquent à tous les catalogues compatibles avec la classification des données dans le metastore. L'étendue par catalogue ou par schéma n’est pas prise en charge.
  • La balise régie utilisée par un classifieur personnalisé ne peut pas être modifiée après la création. Pour utiliser une balise différente, supprimez et recréez le classifieur personnalisé.
  • Les classifieurs personnalisés nouveaux et mis à jour s’appliquent uniquement aux analyses de classification des données suivantes. Les résultats d’analyse existants ne sont pas reclassifiés automatiquement. Par conséquent, les détections pour les données précédemment analysées apparaissent une fois l’analyse suivante terminée.
  • Toutes les limitations de classification des données s’appliquent également aux classifieurs personnalisés, y compris les types de tables pris en charge. Consultez Limitations.

Troubleshooting

Les rubriques suivantes vous aident à résoudre les problèmes courants liés aux classifieurs personnalisés.

Un classifieur personnalisé est suspendu

Si un classifieur personnalisé ne peut plus produire de détections, Azure Databricks l’interrompt et affiche un avertissement dans la page de résultats de la classification des données. L’avertissement indique la raison. Un classifieur personnalisé suspendu ne produit aucune nouvelle détection.

Avertissement montrant qu’un ou plusieurs classifieurs personnalisés sont suspendus.

Azure Databricks suspend un classifieur personnalisé pour les raisons suivantes :

  • La balise régie n’est plus valide. La balise gouvernée ou la valeur de la balise a été supprimée, ou la balise n’a pas de valeur requise. Restaurez la balise ou la valeur, ou supprimez le classifieur personnalisé et créez-en un avec une balise valide. La modification de la description ou des exemples de colonnes ne résout pas cette suspension.
  • Azure Databricks ne peut pas générer une règle de détection à partir de la description et des exemples de colonnes que vous avez fournis. Modifiez le classifieur personnalisé pour affiner la description ou remplacer les exemples de colonnes inaccessibles ou non représentatives, puis enregistrez-le pour régénérer le classifieur.

Autorisation refusée lors de la création ou de la liste de classifieurs personnalisés

Vous devez être administrateur de metastore. La création ou la modification d’un classifieur personnalisé nécessite ASSIGN également des privilèges sur la balise régie. Consultez Spécifications.

Impossible de sélectionner un exemple de colonne

Vous devez avoir SELECT sur la table qui contient la colonne. Si vous n’avez SELECT pas sur la table, demandez au propriétaire de la table de l’accorder ou choisissez une autre colonne.

Ressources supplémentaires

  • Last updated on