Qu’est-ce que Unity Catalog ?

Unity Catalog est la couche de gouvernance unifiée pour les données et l’IA intégrées à Azure Databricks. Lorsqu’il est activé pour un espace de travail, Unity Catalog fonctionne sous chaque interaction de données et d’IA dans vos espaces de travail automatiquement : application du contrôle d’accès lorsque vous interrogez une table ou appelez un modèle, le suivi de la traçabilité en tant que données et ressources IA sont utilisés, l’activité de journalisation pour l’audit, etc. Vous travaillez avec les objets que le catalogue Unity régit via Catalog Explorer, SQL, l’interface CLI Azure Databricks et les API REST.

Le catalogue Unity est automatiquement activé pour tous les espaces de travail Azure Databricks créés après le 9 novembre 2023.

Unity Catalog est également disponible en tant qu’implémentation open source. Consultez le blog d’annonce et le dépôt GitHub du catalogue Unity public.

Modèle objet Unity Catalog

Chaque ressource que vous régissez dans Unity Catalog est modélisée en tant qu’objet sécurisable, objet sur lequel vous pouvez accorder des autorisations aux utilisateurs, aux principaux de service ou aux groupes. Les ressources de données et d’IA telles que les tables, les vues, les volumes, les fonctions, les modèles et les services (services de modèle et services MCP) suivent un espace de noms à trois niveaux (catalog.schema.object). Les tables et les volumes peuvent être gérés, où Unity Catalog gère à la fois la gouvernance et le cycle de vie du stockage de fichiers sous-jacent, ou externe, où Unity Catalog gère uniquement la gouvernance. D’autres objets, tels que les informations d’identification de stockage, les emplacements externes, les connexions et les partages, se trouvent directement sous le metastore.

Diagramme du modèle d'objet Unity Catalog

Les pages suivantes expliquent les principaux concepts du catalogue Unity et les flux de travail plus en détail.

Sujet Description
Objets sécurisables Découvrez chaque type d’objet dans la hiérarchie du catalogue Unity et comment les autorisations s’appliquent à ces derniers.
Ressources managées et externes Comprendre la différence entre les tables et les volumes managés et externes, et quand utiliser chacun d’eux.
Exigences et limitations Passez en revue les exigences de calcul, les formats de fichiers pris en charge, les contraintes d’affectation de noms et les limitations connues.

Fonctionnalités du catalogue Unity

Unity Catalog fournit des outils intégrés pour régir chaque dimension de vos données et de votre environnement IA. Les rubriques suivantes couvrent les principaux domaines de capacité.

Sujet Description
Contrôle d’accès Gérez qui peut accéder à quoi à l’aide de privilèges, de politiques basées sur des attributs, de filtres sur les lignes et les colonnes, et d’associations aux espaces de travail.
Découverte Interagissez avec des objets sécurisables à l’aide de l’Explorateur de catalogues, de l’interface utilisateur Azure Databricks pour découvrir et gérer les ressources de données et d’IA inscrites dans le catalogue Unity.
Lineage Suivez automatiquement la façon dont les ressources de données et d’IA circulent et se connectent, depuis les données sources jusqu’aux modèles, services et tableaux de bord.
Audit Conservez un enregistrement complet de l’accès aux données et de l’activité système à l’aide de la table système du journal d’audit.
Classification des données Classifiez et étiquetez automatiquement les données sensibles dans votre catalogue.
Surveillance de la qualité des données Effectuez le suivi proactif de l’intégrité des données avec le profilage et les alertes intégrés qui interceptent les anomalies avant d’atteindre les consommateurs en aval.
Partage de données Partagez en toute sécurité des données dynamiques et des ressources IA dans les organisations et les clouds à l’aide du protocole OpenSharing ouvert.
Gouvernance de l’IA Régir les ressources IA et le trafic IA à l’aide du catalogue Unity et de la passerelle IA.

Commencez

Les ressources suivantes vous aident à bien démarrer avec le catalogue Unity. Si votre espace de travail a été créé après le 9 novembre 2023, il est automatiquement activé avec le catalogue Unity.

Sujet Description
Bien démarrer avec Unity Catalog Vérifiez si Unity Catalog est déjà activé pour votre espace de travail et configurez vos premiers contrôles d’accès aux données, schéma et catalogue.
Mettre à niveau vers Unity Catalog Découvrez comment mettre à niveau un espace de travail qui n’utilise pas encore Unity Catalog.
Guide de gouvernance de l’IA Configurez la gouvernance pour vos ressources IA, le trafic IA et le comportement du service IA.

Ressources supplémentaires

  • Last updated on