Configurer la qualité des données pour Microsoft Azure Synapse serverless et l’entrepôt de données

Cet article explique comment configurer des analyses de qualité des données pour les ressources Azure Synapse Analytics dans Catalogue unifié Microsoft Purview. Vous allez apprendre à configurer des analyses Data Map, à créer des connexions et à exécuter des analyses de données et de qualité pour l’entrepôt de données dédié Synapse et les pools SQL serverless Synapse.

Microsoft Azure Synapse Analytics est un service d’analytique d’entreprise qui accélère le temps d’insight dans les entrepôts de données et les systèmes Big Data. Pour plus d’informations, consultez la documentation Azure Synapse Analytics.

L’exemple suivant montre un espace de travail Synapse avec une table DWH (Dedicated Synapse Data Warehouse) appelée EMPLOYEE et une base de données serverless (SQL_ON_DEMAND) avec une table SynapseSalesDelta.

Une fois que vous avez analysé Azure Synapse ressources, les ressources analysées s’affichent dans Microsoft Purview. L’exemple suivant montre une table Employee sur un instance Synapse Analytics Dedicated.

Configurer la qualité des données pour le pool SQL dédié Azure Synapse Analytics

Pour configurer la qualité des données pour un pool SQL dédié Synapse, configurez une analyse Data Map, créez une connexion, puis exécutez des analyses de profilage et de qualité des données.

Configurer l’analyse data map pour SQL dédié Synapse

Pour analyser le pool SQL dédié Azure Synapse Analytics, consultez Inscrire et analyser un espace de travail Synapse. Pour accorder les autorisations d’identité managée nécessaires sur le instance SQL dédié, consultez Utiliser une identité managée pour les bases de données SQL dédiées.

Une fois l’analyse data map terminée, les ressources SQL synapse dédiées apparaissent dans Catalogue unifié Microsoft Purview. L’exemple suivant montre une table Employee sur un instance synapse Analytics dédié :

Configurer la connexion à votre entrepôt de données dédié Synapse

Une fois l’analyse data map terminée et la ressource SQL dédiée affichée dans Catalogue unifié, la ressource est prête pour le catalogage et la gouvernance.

Importante

• Les gestionnaires de la qualité des données ont besoin d’un accès en lecture seule à l’entrepôt de données dédié Synapse pour configurer la connexion de qualité des données.
• Si votre source de données Synapse se trouve derrière un point de terminaison privé, vous devez d’abord activer les réseaux virtuels managés. Consultez Configurer des réseaux virtuels managés. Dans les configurations de réseau virtuel managé, vous ne pouvez pas tester la connexion.

Associez la ressource analysée au produit de données dans un domaine de gouvernance. Sous l’onglet Qualité des données, ajoutez une nouvelle connexion de base de données Azure SQL et entrez le nom de la base de données manuellement.

1. Dans Catalogue unifié, accédez à Gestion del’intégritéQualité des> données et sélectionnez un domaine de gouvernance.

2. Dans la page des détails du domaine de gouvernance, sélectionnez Gérer, puis Connexions.

3. Dans la page Connexions , sélectionnez Nouveau et configurez la connexion avec les informations suivantes, comme indiqué dans l’exemple ci-dessous :

   • Ajoutez le nom et la description de la connexion.
   • Sélectionnez le type de source Azure Synapse Analytics.
   • Sélectionnez Azure’abonnement.
   • Sélectionnez Nom de l’espace de travail.
   • Sélectionnez Point de terminaison SQL dédié.
   • Sélectionnez point de terminaison SQL serverless.
   • Sélectionnez Type de point de terminaison.
   • Sélectionnez Base de données.
   • Ajoutez MSI en tant qu’informations d’identification.

   

4. Testez la connexion. Après avoir configuré la connexion à la source de données et l’avoir testée, vous pouvez procéder à la configuration et à l’exécution du profilage des données et des analyses de la qualité des données.

Profilage et analyse de la qualité des données dans l’entrepôt de données dédié Synapse

Après avoir configuré la connexion, vous pouvez profiler vos données, créer et appliquer des règles, et exécuter une analyse de la qualité des données pour vos données dans l’entrepôt de données synapse dédié.

Importante

Avant d’exécuter des analyses de profilage ou de qualité des données, vérifiez que la configuration de votre pool SQL dédié et les limites de concurrence peuvent prendre en charge ces travaux. Les travaux d’évaluation de la qualité des données ouvrent des connexions sur le pool SQL dédié et peuvent échouer si le instance est sous-approvisionné ou dépasse les limites d’accès concurrentiel. Les limites d’accès concurrentiel peuvent entraîner l’arrêt du travail. Des limites DW plus élevées (par exemple, DWU 1000) fournissent la capacité d’exécuter les requêtes. Pour plus d’informations, consultez Limites de mémoire et d’accès concurrentiel.

Utilisez les articles suivants pour obtenir des instructions pas à pas :

• Comment configurer et exécuter le profilage des données de vos données
• Comment configurer et exécuter l’analyse de la qualité des données

Configurer la qualité des données pour le pool SQL serverless Azure Synapse Analytics

Pour configurer la qualité des données pour un pool SQL serverless Synapse, configurez une analyse Data Map, créez une connexion, puis exécutez des analyses de profilage et de qualité des données.

Configurer l’analyse data map pour Sql serverless Synapse

Pour analyser le pool SQL serverless Azure Synapse Analytics, consultez Inscrire et analyser un espace de travail Synapse. Pour accorder les autorisations d’identité managée nécessaires, consultez Utiliser une identité managée pour les bases de données SQL dédiées. Une fois l’analyse data map terminée, les ressources serverless apparaissent dans Catalogue unifié.

Configurer la connexion à votre pool SQL serverless Synapse

Une fois l’analyse data map terminée et la ressource SQL serverless affichée dans Catalogue unifié, la ressource est prête pour le catalogage et la gouvernance.

Importante

• Les gestionnaires de la qualité des données ont besoin d’un accès en lecture seule à l’entrepôt de données dédié Synapse pour configurer la connexion de qualité des données.
• Si votre source de données Synapse se trouve derrière un point de terminaison privé, vous devez d’abord activer les réseaux virtuels managés. Consultez Configurer des réseaux virtuels managés.
• Dans l’installation serverless de Synapse, la table externe pointe vers des données au format Delta stockées dans ADLS Gen2.
• Le connecteur Synapse détecte et prend uniquement en charge les sql.azuresynapse.net. Si le nom complet (FQN) généré par votre analyse data map contient database.windows.net, la connexion Synapse pour l’analyse de la qualité des données échoue.

Associez la ressource analysée au produit de données dans un domaine de gouvernance. Dans Qualité des données, ajoutez une nouvelle connexion SQL Database et entrez le nom de la base de données manuellement.

1. Dans Catalogue unifié, accédez à Gestion del’intégritéQualité des> données et sélectionnez un domaine de gouvernance.

2. Dans la page des détails du domaine de gouvernance, sélectionnez Gérer, puis Connexions.

3. Dans la page Connexions , sélectionnez Nouveau et configurez la connexion avec les informations suivantes, comme indiqué dans l’exemple ci-dessous.

   • Ajoutez le nom et la description de la connexion.
   • Sélectionnez le type de source Azure Synapse Analytics.
   • Sélectionnez Azure’abonnement.
   • Sélectionnez Nom de l’espace de travail.
   • Sélectionnez Point de terminaison SQL dédié.
   • Sélectionnez point de terminaison SQL serverless.
   • Sélectionnez Type de point de terminaison.
   • Sélectionnez Base de données.
   • Ajoutez MSI en tant qu’informations d’identification.

   

4. Testez la connexion. Après avoir configuré la connexion à la source de données et l’avoir testée, vous pouvez procéder à la configuration et à l’exécution du profilage des données et des analyses de la qualité des données.

Profilage et analyse de la qualité des données dans Synapse serverless

Après avoir configuré la connexion, vous pouvez profiler vos données, créer et appliquer des règles, et exécuter une analyse de la qualité des données pour vos données dans le pool SQL serverless Synapse.

Importante

Les évaluations de la qualité des données et le profilage s’exécutent sur Spark en arrière-plan, où chaque nœud Spark ouvre une connexion. Pour Azure Synapse SQL serverless, aucune limite d’accès concurrentiel ne s’applique. Les performances dépendent des optimisations Delta Parquet sur votre instance ADLS Gen2. Le moteur fonctionne avec des sources lakehouse externes telles que des tables de format Delta.

Utilisez les articles suivants pour obtenir des instructions pas à pas :

• Comment configurer et exécuter le profilage des données de vos données
• Comment configurer et exécuter l’analyse de la qualité des données

Informations de référence sur les performances et les connexions pour Synapse serverless

Utilisez les références suivantes pour les détails des performances et de la connexion serverless :

• Limites de mémoire et d’accès concurrentiel pour Azure Synapse Analytics
• Configurer la connexion à la source de données pour la qualité des données