Utilisation d’Unity Catalog avec Structured Streaming

  • Article

Utilisez Structured Streaming avec Unity Catalog pour gérer la gouvernance des données pour vos charges de travail incrémentielles et de diffusion en continu sur Azure Databricks. Ce document présente les fonctionnalités prises en charge, tout en suggérant également les meilleures pratiques recommandées pour l’utilisation simultanée d’Unity Catalog et de Structured Streaming.

Quelle fonctionnalité Structured Streaming prend en charge Unity Catalog ?

Unity Catalog n’ajoute aucune limite explicite pour les sources et récepteurs Structured Streaming disponibles sur Azure Databricks. Le modèle de gouvernance des données d’Unity Catalog vous permet de diffuser en continu des données à partir de tables managées et externes dans Unity Catalog. Vous pouvez également utiliser des emplacements externes managés par Unity Catalog pour interagir avec les données à l’aide d’URI de stockage d’objets. Vous pouvez écrire dans des tables externes à l’aide de noms de tables ou de chemins d’accès de fichiers. Vous devez interagir avec les tables gérées sur Unity Catalog en utilisant le nom de la table.

Utilisez des emplacements externes managés par Unity Catalog lors de la spécification de chemins d’accès pour les points de contrôle Structured Streaming. Pour en savoir plus sur la connexion sécurisée du stockage avec Unity Catalog, consultez Connexion au stockage d’objets cloud à l’aide de Unity Catalog.

La prise en charge de la fonctionnalité de streaming structuré diffère selon la version de Databricks Runtime que vous exécutez et selon que vous utilisez le mode d'accès cluster assigné ou partagé. Pour plus d’informations, consultez les limitations de diffuser en continu pour Unity Catalog.

Pour une démonstration de bout en bout à l’aide de Structured Streaming sur Unity Catalog, consultez Tutoriel : Exécuter un pipeline d’analytique lakehouse de bout en bout.

Quelle fonctionnalité Structured Streaming n’est pas prise en charge Unity Catalog ?

Pour obtenir la liste des fonctionnalités Structured Streaming non prises en charge dans Unity Catalog, consultez l’article Limitations de la diffusion en continu dans Unity Catalog.