Lignage externe

Unity Catalog capture automatiquement la traçabilité des données d’exécution entre les requêtes exécutées sur Azure Databricks. Toutefois, vous pouvez avoir des charges de travail qui s’exécutent en dehors d’Azure Databricks (par exemple, l’ETL en amont ou la BI en aval). Unity Catalog vous permet d’ajouter des métadonnées de traçabilité externe pour augmenter la traçabilité des données Azure Databricks qu’il capture automatiquement, ce qui vous donne une vue de traçabilité de bout en bout dans le catalogue Unity. Cela est utile lorsque vous souhaitez capturer l’endroit où les données proviennent (par exemple, Salesforce ou MySQL) avant qu’elles ne soient ingérées dans le catalogue Unity ou où les données sont consommées en dehors du catalogue Unity (par exemple, Tableau ou Power BI).

Vous pouvez ajouter une traçabilité externe de deux façons :

Le graphique de traçabilité suivant montre deux tables externes dans MySQL et PostgreSQL qui ont été ingérées dans Azure Databricks en tant que table gérée par le catalogue Unity, avec des colonnes transformées en colonnerelease_date, puis consommées par un rapport externe.

Graphique de traçabilité montrant des tables en amont externes et un rapport en aval connectés à une table de catalogue Unity, avec le bouton Créer une traçabilité externe dans le coin supérieur droit.

Pour obtenir des informations générales sur la traçabilité des données dans Azure Databricks, consultez Traçabilité dans le catalogue Unity.

Spécifications

Pour ajouter des métadonnées de traçabilité externe dans le catalogue Unity, vous devez disposer des privilèges suivants, en fonction de la tâche spécifique :

  • Pour créer un objet sécurisable de métadonnées externes dans le catalogue Unity, vous devez disposer du CREATE EXTERNAL METADATA privilège sur le metastore.
  • Pour spécifier les relations de traçabilité entre un objet de métadonnées externe et tout autre objet Unity Catalog, vous devez disposer du MODIFY privilège sur l’objet de métadonnées externes.
  • Pour spécifier une relation de traçabilité en aval à un objet Catalogue Unity, vous devez disposer de privilèges de lecture sur l’objet (par exemple, SELECT sur une table).
  • Pour spécifier une relation de traçabilité en amont avec un objet Catalogue Unity, vous devez disposer de privilèges d’écriture sur l’objet (par exemple, MODIFY sur une table).

Ajouter des métadonnées de traçabilité externe

Pour ajouter des métadonnées de traçabilité externe :

  1. Créez un objet sécurisable de métadonnées externes dans le catalogue Unity.

    Cet objet représente une entité dans un système externe, tel qu’un tableau de bord dans Tableau.

  2. Configurez une relation de traçabilité entre l’objet de métadonnées externes et un autre objet catalogue Unity, tel qu’une table, un modèle, un chemin d’accès ou un autre objet de métadonnées externes.

    Lorsque vous avez créé des relations de traçabilité, l’objet de métadonnées externes apparaît dans la vue graphique de traçabilité.

Vous pouvez créer des objets de métadonnées externes et configurer des relations de traçabilité à l’aide de l’interface utilisateur de l’Explorateur de catalogues. Pour commencer à partir d’un graphique de traçabilité existant, cliquez sur Créer une traçabilité externe dans le coin supérieur droit du graphique. Vous pouvez également commencer à partir de la section Données externes dans l’Explorateur de catalogues, comme décrit dans les sections suivantes.

Créer un objet de métadonnées externes

Vous pouvez créer un objet de métadonnées externe à l’aide de l’Explorateur de catalogues ou de l’API de métadonnées externes.

Pour utiliser l’Explorateur de catalogues pour créer un objet de métadonnées externe :

  1. Dans votre espace de travail Azure Databricks, cliquez sur l’icône Données.Catalogue.

  2. Cliquez sur le bouton Données > externes, accédez à l’onglet Métadonnées externes, puis cliquez sur Créer des métadonnées externes.

  3. Spécifiez les détails des métadonnées.

    Requis :

    • Nom : Entrez un nom facilement compréhensible qui aide les utilisateurs d’Azure Databricks à comprendre ce qu’ils voient dans le lignage. Les objets de métadonnées externes sont des objets sécurisables Du catalogue Unity. Le nom doit donc respecter les règles d’affectation de noms des objets catalogue Unity. Consultez les exigences de nommage des objets sécurisables.
    • Type de système : sélectionnez dans la liste des données externes courantes et des systèmes décisionnels. Si vous ne trouvez pas le vôtre, sélectionnez Personnalisé.
    • Type d’entité : entrez le type d’objet, tel que « table » ou « tableau de bord ».

    Facultatif :

    • URL : Entrez l’URL de l’objet si vous souhaitez permettre aux visualisateurs de graphique de traçabilité de cliquer sur la ressource externe (par exemple, un tableau de bord Tableau).
    • Description

    Avancé:

    • Colonnes : si vous souhaitez effectuer un mappage au niveau des colonnes de cet objet externe vers un autre objet Catalogue Unity, entrez les noms de colonnes. Sélectionnez l’interface utilisateur pour les entrer une à la fois ou entrée de texte pour entrer une liste délimitée par des virgules dans une seule zone de texte.
    • Propriétés : s’il existe d’autres propriétés que vous souhaitez suivre dans la traçabilité, entrez-les en tant que paires clé-valeur JSON. Vous pouvez utiliser l’interface utilisateur pour entrer chaque paire clé-valeur ou entrer un objet JSON complet.

  4. Cliquez sur Créer.

    Une boîte de dialogue vous donne la possibilité d’afficher l’objet de métadonnées externes ou de créer des relations de traçabilité pour l’objet.

Créer des relations de lignée

Vous pouvez créer des relations de traçabilité à l’aide de l’Explorateur de catalogues, de l’API de traçabilité externe ou du Kit de développement logiciel (SDK) Databricks pour Python.

Pour ajouter des relations entre un objet de métadonnées externe et d’autres objets de catalogue Unity :

  1. Suivez l’invite mentionnée ci-dessus ou recherchez l’objet de métadonnées externes existant dans l’Explorateur de catalogues :

    1. Cliquez sur l’icône Données.Catalogue
    2. Cliquez sur le bouton Données >externes
    3. Accédez à l’onglet Métadonnées externes et sélectionnez l’objet de métadonnées externes.

  2. Cliquez sur Créer une relation de traçabilité.

  3. Indiquez si vous souhaitez créer une relation en amont ou en aval.

  4. Entrez le type d’objet auquel vous souhaitez créer la relation :

    • Tableau : sélectionnez la table à l’aide de la boîte de dialogue de recherche.
    • Modèle : sélectionnez le modèle à l’aide de la boîte de dialogue de recherche, puis sélectionnez la version du modèle.
    • Chemin d’accès : pour les volumes ou les emplacements externes, entrez le chemin d’accès.
    • Métadonnées externes : sélectionnez l’objet de métadonnées externes dans le menu déroulant.

  5. (Facultatif) Cliquez sur Avancé pour ajouter :

    • Mappages de colonnes entre l’objet de métadonnées externes et l’objet source ou cible.
    • Autres métadonnées en tant que paires clé-valeur JSON. Par exemple, vous pouvez les utiliser pour entrer le texte de la requête qui a créé une table à partir de l’objet de métadonnées externes ou des annotations qui expliquent le flux de travail externe qui a généré la relation.

  6. Cliquez sur Créer.

Vous pouvez maintenant voir la relation de traçabilité externe sous l’onglet Traçabilité des objets associés.

Modéliser des relations de traçabilité externe

Lorsque vous ajoutez manuellement une traçabilité externe, utilisez les modèles suivants pour modéliser des relations plus complexes :

  • Connectez deux tables de catalogue Unity : pour spécifier une relation de traçabilité entre deux tables inscrites dans le catalogue Unity, créez un objet de métadonnées externe qui se trouve entre eux. Spécifiez une table en amont à l’objet de métadonnées externes et l’autre en aval afin qu’elle apparaisse connectée dans le graphique de traçabilité.
  • Ajoutez plusieurs niveaux de traçabilité : pour annoter les données qui passent par plusieurs systèmes avant d’entrer Azure Databricks, créez plusieurs objets de métadonnées externes et configurez des relations de traçabilité externe entre chacune d’elles.
  • Ajouter une traçabilité au niveau des colonnes : spécifiez les noms de colonnes lorsque vous créez l’objet de métadonnées externes, puis mappez les colonnes source et cible lorsque vous configurez la relation de traçabilité.

Limitations

  • Le lignage externe n’est pas enregistré dans les tables système du lignage (system.access.table_lineage et system.access.column_lineage).
  • Vous pouvez créer jusqu’à 10 000 objets de métadonnées externes et 100 000 relations de traçabilité externe par metastore. Consultez l’article Limites des ressources.

Ressources additionnelles

  • Last updated on