Analyse de bout en bout avec Azure Synapse

Azure Synapse Analytics

Azure Cosmos DB

Azure Data Factory

Azure Databricks

Azure Event Hubs

La solution décrite dans cet article combine un éventail de services Azure qui ingèrent, stockent, traitent, enrichissent et servent des données et des insights provenant de différentes sources (structurées, semi-structurées, non structurées et streaming).

Architecture

Téléchargez un fichier Visio de cette architecture.

Notes

• Les services couverts par cette architecture ne sont qu’un sous-ensemble d’une famille beaucoup plus vaste de services Azure. Vous pouvez obtenir des résultats similaires à l’aide d’autres services ou fonctionnalités non couverts par cette conception.
• Des exigences métier spécifiques pour votre cas d’utilisation analytique pourraient nécessiter l’utilisation d’autres services ou fonctionnalités non pris en compte dans cette conception.

Flux de données

Les cas d’usage de l’analytique couverts par l’architecture sont illustrés par les différentes sources de données à gauche du diagramme. Les données circulent dans la solution de bas en haut, comme suit :

Notes

Dans les sections suivantes, Azure Data Lake est utilisé comme emplacement de données tout au long des différentes étapes du cycle de vie des données. Azure Data Lake est organisé par différentes couches et conteneurs comme suit :

• La couche Brute est la zone d’atterrissage des données provenant de systèmes sources. Comme son nom l’indique, les données de cette couche sont sous forme brute, non filtrée et non purifiée.
• Dans la phase suivante du cycle de vie, les données passent à la couche enrichie où les données sont nettoyées, filtrées et éventuellement transformées.
• Les données sont ensuite déplacées vers la couche Organisée, c’est-à-dire où les données prêtes pour le consommateur sont conservées.

Reportez-vous à la documentation sur les zones et conteneurs data lake pour obtenir une révision complète des couches et conteneurs Azure Data Lake et de leurs utilisations.

Azure Data Services, HTAP natif cloud avec Azure Cosmos DB et Dataverse

Processus

1. Azure Synapse Link pour Azure Cosmos DB et Azure Synapse Link pour Dataverse vous permettent d’exécuter des analyses en quasi-temps réel sur des données d’application opérationnelle et métier, à l’aide des moteurs d’analyse disponibles à partir de votre espace de travail Azure Synapse : pools SQL Serverless et Spark.

2. Lorsque vous utilisez Azure Synapse Link pour Azure Cosmos DB, utilisez une requête SQL Serverless ou un notebook Spark Pool. Vous pouvez accéder au magasin analytique Azure Cosmos DB , puis combiner des jeux de données à partir de vos données opérationnelles en temps quasi réel avec des données de votre lac de données ou de votre entrepôt de données.

3. Lorsque vous utilisez Azure Synapse Link pour Dataverse, utilisez une requête SQL Serverless ou un bloc-notes de pool Spark. Vous pouvez accéder aux tables Dataverse sélectionnées, puis combiner des jeux de données à partir de vos données d’applications professionnelles en temps quasi-réel avec les données de votre lac de données ou de votre entrepôt de données.

Magasin

1. Les jeux de données résultants de vos requêtes SQL Serverless peuvent être conservés dans votre lac de données. Si vous utilisez des notebooks Spark, les jeux de données résultants peuvent être conservés dans votre lac de données ou votre entrepôt de données (pool SQL).

Service

1. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation et l’exploration des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

2. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

3. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Bases de données relationnelles

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de bases de données, à la fois locales et dans le cloud. Des pipelines peuvent être déclenchés en fonction d’une planification prédéfinie, en réponse à un événement ou peuvent être appelés explicitement via des API REST.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité copier des données pour mettre en scène les données copiées à partir des bases de données relationnelles dans la couche brute de votre lac de données Azure Data Lake Store Gen 2 . Vous pouvez enregistrer les données dans un format de texte délimité ou compressées en tant que fichiers Parquet.

Processus

1. Utilisez des flux de données, des requêtes SQL serverless ou des notebooks Spark pour valider, transformer et déplacer les jeux de données de la couche Brute, via la couche Enrichie et dans votre couche organisée dans votre lac de données.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles d’entraînement automatique à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de pool SQL à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

3. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

4. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Sources de données semi-structurées

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de sources de données semi-structurées, locales et dans le cloud. Par exemple :

   • Ingérez des données à partir de sources basées sur des fichiers contenant des fichiers CSV ou JSON.
   • Connectez-vous à des bases de données non-SQL, telles qu’Azure Cosmos DB ou MongoDB.
   • Vous pouvez appeler des API REST fournies par des applications SaaS, qui serviront de sources de données pour le pipeline.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité copier des données pour mettre en scène les données copiées à partir des sources de données semi-structurées dans la couche brute de votre lac de données Azure Data Lake Store Gen2 . Vous devez enregistrer les données en conservant le format d’origine acquis à partir des sources de données.

Processus

1. Pour les pipelines batch/micro-batch, utilisez des flux de données, des requêtes SQL serverless ou des notebooks Spark pour valider, transformer et déplacer vos jeux de données dans votre couche organisée dans votre lac de données. Les requêtes SQL Serverless exposent des fichiers CSV, Parquet ou JSON sous-jacents sous forme de tables externes, afin qu’elles puissent être interrogées à l’aide de T-SQL.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles Machine Learning à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

2. Pour les scénarios de télémétrie en quasi temps réel et d’analytique de série chronologique, utilisez des pools Data Explorer pour ingérer, consolider et mettre en corrélation facilement les journaux et les données d’événements IoT sur plusieurs sources de données. Avec les pools Data Explorer, vous pouvez utiliser des requêtes Kusto (KQL) pour effectuer une analyse de série chronologique, un clustering géospatial et un enrichissement de Machine Learning.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de pool SQL à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez des données pertinentes à partir des pools SQL Azure Synapse, des pools Data Explorer ou d’un lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

3. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

4. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Sources de données non structurées

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de sources de données non structurées, locales et dans le cloud. Par exemple :

   • Ingérez des vidéos, des images, des données audio ou du texte libre à partir de sources basées sur des fichiers qui contiennent les fichiers sources.
   • Vous pouvez appeler des API REST fournies par des applications SaaS, qui serviront de sources de données pour le pipeline.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques sur les couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité de copie de données pour mettre en scène les données copiées à partir des sources de données non structurées dans la couche brute de votre lac de données Azure Data Lake Store Gen2 . Enregistrez les données en conservant le format d’origine acquis à partir des sources de données.

Processus

1. Utilisez des notebooks Spark pour valider, transformer, enrichir et déplacer vos jeux de données de la couche Brute, par le biais de la couche Enrichie et dans votre couche Organisée dans votre lac de données.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles Machine Learning à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de l’entrepôt de données à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier.

3. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

4. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

5. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Diffusion en continu

Ingérer

1. Utilisez Azure Event Hubs ou Azure IoT Hubs pour ingérer des flux de données générés par des applications clientes ou des appareils IoT. Event Hubs ou IoT Hub ingère et stocke les données de streaming en préservant la séquence des événements reçus. Les consommateurs peuvent ensuite se connecter à des points de terminaison Event Hubs ou IoT Hub, et récupérer les messages à traiter.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. Configurez les points de terminaison de stockageEvent Hubs Capture ou IoT Hub pour enregistrer une copie des événements dans la couche brute de votre lac de données Azure Data Lake Store Gen 2. Cette fonctionnalité implémente le « chemin froid » du modèle d’architecture Lambda et vous permet d’effectuer une analyse historique et de tendance sur les données de flux enregistrées dans votre lac de données à l’aide de requêtes SQL Serverless ou de notebooks Spark en suivant le modèle pour les sources de données semi-structurées décrites ci-dessus.

Processus

1. Pour obtenir des insights en temps réel, utilisez un travail Stream Analytics pour implémenter le « chemin d’accès chaud » du modèle d’architecture Lambda et dériver des insights des données de flux en transit. Définissez au moins une entrée pour le flux de données provenant de vos hubs d’événements ou IoT Hub, une requête pour traiter le flux de données d’entrée et une sortie Power BI vers laquelle les résultats de la requête seront envoyés.

   1. Dans le cadre du traitement de vos données avec Stream Analytics, vous pouvez appeler des modèles Machine Learning pour enrichir vos jeux de données de flux et encourager des décisions professionnelles en fonction des prédictions générées. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés dans Azure Machine Learning.

2. Utilisez d’autres sorties de travail Stream Analytics pour envoyer des événements traités à des pools SQL Azure Synapse ou des pools Data Explorer pour des cas d’utilisation d’analytique supplémentaires.

3. Pour les scénarios de télémétrie en quasi temps réel et d’analytique de série chronologique, utilisez des pools Data Explorer pour ingérer facilement des événements IoT directement à partir d’Event Hubs ou d’IoT Hubs. Avec les pools Data Explorer, vous pouvez utiliser des requêtes Kusto (KQL) pour effectuer une analyse de série chronologique, un clustering géospatial et un enrichissement de Machine Learning.

Service

1. Les analystes métier utilisent ensuite des jeux de données en temps réel Power BI et des fonctionnalités de tableau de bord pour visualiser les insights à évolution rapide générés par votre requête Stream Analytics.

2. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

3. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux sur différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Composants

Les services Azure utilisés dans l’architecture sont les suivants :

• Azure Synapse Analytics
• Azure Data Lake Gen2
• Azure Cosmos DB
• des services Azure AI
• Azure Machine Learning
• Azure Event Hubs
• Azure IoT Hub
• Azure Stream Analytics
• Microsoft Purview
• Partage de données Azure
• Microsoft Power BI
• Microsoft Entra ID
• Microsoft Cost Management
• Azure Key Vault
• Azure Monitor.
• Microsoft Defender pour cloud
• Azure DevOps
• Azure Policy
• GitHub

Autres solutions

• Dans l’architecture ci-dessus, les pipelines Azure Synapse sont responsables de l’orchestration du pipeline de données. Les pipelines Azure Data Factory fournissent également les mêmes fonctionnalités que celles décrites dans cet article.

• Azure Databricks peut également être utilisé comme moteur de calcul utilisé pour traiter des données structurées et non structurées directement sur le lac de données.

• Dans l’architecture ci-dessus, Azure Stream Analytics est le service responsable du traitement des données de diffusion en continu. Les pools Azure Synapse Spark et Azure Databricks peuvent également jouer le même rôle par le biais de l’exécution de notebooks.

• Les clusters Kafka Azure HDInsight peuvent également être utilisés pour ingérer des données de streaming et fournir le bon niveau de performances et d’extensibilité requis par les charges de travail de streaming volumineuses.

• Vous pouvez également utiliser Azure Functions pour appeler des services Azure AI ou des modèles ML personnalisés Azure Machine Learning à partir d’un pipeline Azure Synapse.

• Les technologies de cette architecture ont été choisies parce qu’elles offrent toutes les fonctionnalités nécessaires pour gérer les défis liés aux données les plus courants dans une organisation. Ces services répondent aux exigences en matière d’extensibilité et de disponibilité, tout en aidant à contrôler les coûts. Les services couverts par cette architecture ne sont qu’un sous-ensemble d’une famille beaucoup plus vaste de services Azure. Vous pouvez obtenir des résultats similaires à l’aide d’autres services ou fonctionnalités non couverts par cette conception.

• Des exigences métier spécifiques pour votre cas d’utilisation analytique peuvent également nécessiter l’utilisation d’autres services ou fonctionnalités non pris en compte dans cette conception.

• Pour procéder à des comparaisons avec d’autres solutions, consultez les articles suivants :

  • Choix d’une technologie d’orchestration de pipeline de données dans Azure
  • Choix d’une technologie de traitement par lots dans Azure
  • Choix d’un magasin de données analytique dans Azure
  • Choix d’une technologie d’analytique des données dans Azure
  • Choix d’une technologie de traitement de flux dans Azure

Détails du scénario

Cet exemple de scénario montre comment utiliser Azure Synapse Analytics avec la vaste gamme d’Azure Data Services pour créer une plateforme de données moderne capable de relever les défis les plus courants en matière de données dans une organisation.

Cas d’usage potentiels

Cette approche peut également servir à :

• Établissez une architecture de produit de données , qui se compose d’un entrepôt de données pour les données structurées et d’un lac de données pour les données semi-structurées et non structurées. Vous pouvez choisir de déployer un produit de données unique pour des environnements centralisés ou plusieurs produits de données pour des environnements distribués tels que le maillage de données. Consultez plus d’informations sur la gestion des données et les zones d’atterrissage des données.
• Intégrer des sources de données relationnelles avec d’autres jeux de données en utilisant des technologies de traitement de Big Data.
• Utiliser de puissants outils de visualisation et de modélisation sémantique pour simplifier l’analyse des données.
• Partager des jeux de données au sein de l’organisation ou avec des partenaires externes approuvés.
• Implémentez des solutions d’exploration de données pour extraire des informations commerciales précieuses masquées dans des images, des PDF, des documents, etc.

Recommandations

Découvrir et régir

La gouvernance des données est un défi courant dans les environnements d’entreprise de grande taille. D’une part, les analystes d’entreprise doivent pouvoir découvrir et comprendre les ressources de données qui peuvent les aider à résoudre les problèmes d’entreprise. D’autre part, les directeurs des données veulent des insights sur la confidentialité et la sécurité des données de l’entreprise.

Microsoft Purview

1. Utilisez Microsoft Purview pour la découverte et les insights des données sur vos ressources de données, la classification des données et la sensibilité, qui couvre l’ensemble du paysage des données de l’organisation.

2. Microsoft Purview peut vous aider à gérer un glossaire métier avec la terminologie métier spécifique requise pour les utilisateurs afin de comprendre la sémantique des jeux de données que signifient et comment ils sont destinés à être utilisés au sein de l’organisation.

3. Vous pouvez inscrire toutes vos sources de données et les organiser dans des collections, qui sert également de limite de sécurité pour vos métadonnées.

4. Configurez des analyses régulières pour cataloguer et mettre à jour automatiquement les métadonnées pertinentes sur les ressources de données de l’organisation. Microsoft Purview peut également ajouter automatiquement des informations de traçabilité de données basées sur des informations provenant de pipelines Azure Data Factory ou Azure Synapse.

5. Les étiquettes de classification des données et de confidentialité des données peuvent être ajoutées automatiquement à vos ressources de données en fonction des règles préconfigurées ou douanières appliquées pendant les analyses régulières.

6. Les professionnels de la gouvernance des données peuvent utiliser les rapports et les insights générés par Microsoft Purview pour garder le contrôle sur l’ensemble du paysage des données et protéger l’organisation contre les problèmes de sécurité et de confidentialité.

Services de plateforme

Pour améliorer la qualité de vos solutions Azure, suivez les recommandations et les instructions définies dans Azure Well-Architected Framework cinq piliers de l’excellence de l’architecture : Optimisation des coûts, Excellence opérationnelle, Efficacité des performances, Fiabilité et Sécurité.

D’après ces recommandations, les services ci-dessous doivent être considérés comme faisant partie de la conception :

1. ID Microsoft Entra : services d’identité, authentification unique et authentification multifacteur sur les charges de travail Azure.
2. Microsoft Cost Management : gouvernance financière sur vos charges de travail Azure.
3. Azure Key Vault : sécuriser les informations d’identification et la gestion des certificats. Par exemple, Azure Synapse Pipelines, les pools Azure Synapse Spark et Azure ML peuvent récupérer des informations d’identification et des certificats d’Azure Key Vault utilisés pour accéder en toute sécurité aux magasins de données.
4. Azure Monitor : collectez, analysez et agissez sur les informations de télémétrie de vos ressources Azure pour identifier de manière proactive les problèmes et optimiser les performances et la fiabilité.
5. Microsoft Defender pour cloud : renforcez et surveillez la posture de sécurité de vos charges de travail Azure.
6. Azure DevOps & GitHub : implémentez des pratiques DevOps pour appliquer l’automatisation et la conformité à vos pipelines de développement et de déploiement de charge de travail pour Azure Synapse et Azure ML.
7. Azure Policy : implémentez des normes et une gouvernance organisationnelles pour la cohérence des ressources, la conformité réglementaire, la sécurité, le coût et la gestion.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Well-Architected Framework.

Optimisation des coûts

L’optimisation des coûts se concentre sur les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez la liste de contrôle de révision de conception pour l’optimisation des coûts.

En général, utilisez la calculatrice de prix Azure pour estimer les coûts. Le niveau de tarification individuel idéal et le coût total de chaque service inclus dans l’architecture dépendent de la quantité de données à traiter et à stocker, ainsi que du niveau de performances acceptable attendu. Utilisez le guide ci-dessous pour en savoir plus sur la tarification de chaque service :

• L’architecture serverless d’Azure Synapse Analytics vous permet de mettre à l’échelle vos niveaux de calcul et de stockage indépendamment. Les ressources de calcul sont facturées selon l’utilisation et vous pouvez mettre ces ressources à l’échelle ou en pause à la demande. Les ressources de stockage sont facturées au téraoctet. Vos coûts augmentent donc en fonction du volume de données ingéré.

• Azure Data Lake Gen 2 est facturé en fonction de la quantité de données stockées et du nombre de transactions à lire et écrire des données.

• Azure Event Hubs et Azure IoT Hubs sont facturés en fonction de la quantité de ressources de calcul requises pour traiter vos flux de messages.

• Les frais Azure Machine Learning proviennent de la quantité de ressources de calcul utilisées pour entraîner et déployer vos modèles Machine Learning.

• Les services IA sont facturés en fonction du nombre d’appels que vous effectuez aux API de service.

• Microsoft Purview est facturé en fonction du nombre de ressources de données dans le catalogue et de la puissance de calcul requise pour les analyser.

• Azure Stream Analytics est facturé en fonction de la puissance de calcul requise pour traiter vos requêtes de flux.

• Power BI propose différentes options de produit pour différentes exigences. Power BI Embedded fournit une option basée sur Azure pour incorporer des fonctionnalités Power BI à l’intérieur de vos applications. L’exemple de tarification ci-dessus comprend une instance Power BI Embedded.

• Azure Cosmos DB est facturé en fonction de la quantité de ressources de stockage et de calcul requises par vos bases de données.

Une architecture similaire peut également être implémentée pour les environnements de pré-production où vous pouvez développer et tester vos charges de travail. Prenez en compte les exigences spécifiques pour vos charges de travail et les fonctionnalités de chaque service pour un environnement de pré-production économique.

Déployer ce scénario

Cet article dispose d’un référentiel complémentaire disponible dans GitHub qui montre comment automatiser le déploiement des services couverts dans cette architecture. Suivez le guide de déploiement d’Azure Analytics de bout en bout avec Azure Synapse pour déployer cette architecture sur votre abonnement. Ce guide de déploiement contient des instructions détaillées et plusieurs options de déploiement.

Contributeurs

Cet article est mis à jour et géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Fabio Braga | Architecte technique principal MTC

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Passez en revue les instructions définies dans le scénario de gestion et d’analyse des données Azure pour l’environnement d’analytique scalable dans Azure.

• Explorez les parcours d’apprentissage de l’ingénieur données chez Microsoft pour obtenir du contenu et des laboratoires de formation supplémentaires sur les services impliqués dans cette architecture de référence.

• Passez en revue la documentation et déployez l’architecture de référence à l’aide des instructions de déploiement disponibles sur GitHub.

La solution décrite dans cet article combine un éventail de services Azure qui ingèrent, stockent, traitent, enrichissent et servent des données et des insights provenant de différentes sources (structurées, semi-structurées, non structurées et streaming).

Architecture

Téléchargez un fichier Visio de cette architecture.

Notes

• Les services couverts par cette architecture ne sont qu’un sous-ensemble d’une famille beaucoup plus vaste de services Azure. Vous pouvez obtenir des résultats similaires à l’aide d’autres services ou fonctionnalités non couverts par cette conception.
• Des exigences métier spécifiques pour votre cas d’utilisation analytique pourraient nécessiter l’utilisation d’autres services ou fonctionnalités non pris en compte dans cette conception.

Flux de données

Les cas d’usage de l’analytique couverts par l’architecture sont illustrés par les différentes sources de données à gauche du diagramme. Les données circulent dans la solution de bas en haut, comme suit :

Notes

Dans les sections suivantes, Azure Data Lake est utilisé comme emplacement de données tout au long des différentes étapes du cycle de vie des données. Azure Data Lake est organisé par différentes couches et conteneurs comme suit :

• La couche Brute est la zone d’atterrissage des données provenant de systèmes sources. Comme son nom l’indique, les données de cette couche sont sous forme brute, non filtrée et non purifiée.
• Dans la phase suivante du cycle de vie, les données passent à la couche enrichie où les données sont nettoyées, filtrées et éventuellement transformées.
• Les données sont ensuite déplacées vers la couche Organisée, c’est-à-dire où les données prêtes pour le consommateur sont conservées.

Reportez-vous à la documentation sur les zones et conteneurs data lake pour obtenir une révision complète des couches et conteneurs Azure Data Lake et de leurs utilisations.

Azure Data Services, HTAP natif cloud avec Azure Cosmos DB et Dataverse

Processus

1. Azure Synapse Link pour Azure Cosmos DB et Azure Synapse Link pour Dataverse vous permettent d’exécuter des analyses en quasi-temps réel sur des données d’application opérationnelle et métier, à l’aide des moteurs d’analyse disponibles à partir de votre espace de travail Azure Synapse : pools SQL Serverless et Spark.

2. Lorsque vous utilisez Azure Synapse Link pour Azure Cosmos DB, utilisez une requête SQL Serverless ou un notebook Spark Pool. Vous pouvez accéder au magasin analytique Azure Cosmos DB , puis combiner des jeux de données à partir de vos données opérationnelles en temps quasi réel avec des données de votre lac de données ou de votre entrepôt de données.

3. Lorsque vous utilisez Azure Synapse Link pour Dataverse, utilisez une requête SQL Serverless ou un bloc-notes de pool Spark. Vous pouvez accéder aux tables Dataverse sélectionnées, puis combiner des jeux de données à partir de vos données d’applications professionnelles en temps quasi-réel avec les données de votre lac de données ou de votre entrepôt de données.

Magasin

1. Les jeux de données résultants de vos requêtes SQL Serverless peuvent être conservés dans votre lac de données. Si vous utilisez des notebooks Spark, les jeux de données résultants peuvent être conservés dans votre lac de données ou votre entrepôt de données (pool SQL).

Service

1. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation et l’exploration des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

2. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

3. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Bases de données relationnelles

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de bases de données, à la fois locales et dans le cloud. Des pipelines peuvent être déclenchés en fonction d’une planification prédéfinie, en réponse à un événement ou peuvent être appelés explicitement via des API REST.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité copier des données pour mettre en scène les données copiées à partir des bases de données relationnelles dans la couche brute de votre lac de données Azure Data Lake Store Gen 2 . Vous pouvez enregistrer les données dans un format de texte délimité ou compressées en tant que fichiers Parquet.

Processus

1. Utilisez des flux de données, des requêtes SQL serverless ou des notebooks Spark pour valider, transformer et déplacer les jeux de données de la couche Brute, via la couche Enrichie et dans votre couche organisée dans votre lac de données.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles d’entraînement automatique à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de pool SQL à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

3. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

4. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Sources de données semi-structurées

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de sources de données semi-structurées, locales et dans le cloud. Par exemple :

   • Ingérez des données à partir de sources basées sur des fichiers contenant des fichiers CSV ou JSON.
   • Connectez-vous à des bases de données non-SQL, telles qu’Azure Cosmos DB ou MongoDB.
   • Vous pouvez appeler des API REST fournies par des applications SaaS, qui serviront de sources de données pour le pipeline.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité copier des données pour mettre en scène les données copiées à partir des sources de données semi-structurées dans la couche brute de votre lac de données Azure Data Lake Store Gen2 . Vous devez enregistrer les données en conservant le format d’origine acquis à partir des sources de données.

Processus

1. Pour les pipelines batch/micro-batch, utilisez des flux de données, des requêtes SQL serverless ou des notebooks Spark pour valider, transformer et déplacer vos jeux de données dans votre couche organisée dans votre lac de données. Les requêtes SQL Serverless exposent des fichiers CSV, Parquet ou JSON sous-jacents sous forme de tables externes, afin qu’elles puissent être interrogées à l’aide de T-SQL.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles Machine Learning à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

2. Pour les scénarios de télémétrie en quasi temps réel et d’analytique de série chronologique, utilisez des pools Data Explorer pour ingérer, consolider et mettre en corrélation facilement les journaux et les données d’événements IoT sur plusieurs sources de données. Avec les pools Data Explorer, vous pouvez utiliser des requêtes Kusto (KQL) pour effectuer une analyse de série chronologique, un clustering géospatial et un enrichissement de Machine Learning.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de pool SQL à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez des données pertinentes à partir des pools SQL Azure Synapse, des pools Data Explorer ou d’un lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

3. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

4. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Sources de données non structurées

Ingérer

1. Utilisez des pipelines Azure Synapse pour extraire des données à partir d’une grande variété de sources de données non structurées, locales et dans le cloud. Par exemple :

   • Ingérez des vidéos, des images, des données audio ou du texte libre à partir de sources basées sur des fichiers qui contiennent les fichiers sources.
   • Vous pouvez appeler des API REST fournies par des applications SaaS, qui serviront de sources de données pour le pipeline.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques sur les couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. À partir du pipeline Azure Synapse, utilisez une activité de copie de données pour mettre en scène les données copiées à partir des sources de données non structurées dans la couche brute de votre lac de données Azure Data Lake Store Gen2 . Enregistrez les données en conservant le format d’origine acquis à partir des sources de données.

Processus

1. Utilisez des notebooks Spark pour valider, transformer, enrichir et déplacer vos jeux de données de la couche Brute, par le biais de la couche Enrichie et dans votre couche Organisée dans votre lac de données.

   1. Dans le cadre de vos transformations de données, vous pouvez appeler des modèles Machine Learning à partir de vos pools SQL à l’aide de notebooks T-SQL ou Spark standard. Ces modèles ML peuvent permettre d’enrichir vos jeux de données et de générer des insights professionnels supplémentaires. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés à partir d’Azure ML.

Service

1. Vous pouvez servir votre jeu de données final directement à partir de la couche Organisée data lake ou utiliser l’activité Copier des données pour ingérer le jeu de données final dans vos tables de l’entrepôt de données à l’aide de la commande COPY pour une ingestion rapide.

2. Chargez les données pertinentes à partir du pool SQL Azure Synapse ou du lac de données dans des jeux de données Power BI pour la visualisation des données. Les modèles Power BI implémentent un modèle sémantique pour simplifier l’analyse des données et des relations métier.

3. Les analystes métier utilisent des rapports et des tableaux de bord Power BI pour analyser les données et dériver des insights métier.

4. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

5. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux dans différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Diffusion en continu

Ingérer

1. Utilisez Azure Event Hubs ou Azure IoT Hubs pour ingérer des flux de données générés par des applications clientes ou des appareils IoT. Event Hubs ou IoT Hub ingère et stocke les données de streaming en préservant la séquence des événements reçus. Les consommateurs peuvent ensuite se connecter à des points de terminaison Event Hubs ou IoT Hub, et récupérer les messages à traiter.

Magasin

1. Dans la couche Data Lake Raw, organisez votre lac de données en suivant les meilleures pratiques autour des couches à créer, les structures de dossiers à utiliser dans chaque couche et le format de fichiers à utiliser pour chaque scénario d’analyse.

2. Configurez les points de terminaison de stockageEvent Hubs Capture ou IoT Hub pour enregistrer une copie des événements dans la couche brute de votre lac de données Azure Data Lake Store Gen 2. Cette fonctionnalité implémente le « chemin froid » du modèle d’architecture Lambda et vous permet d’effectuer une analyse historique et de tendance sur les données de flux enregistrées dans votre lac de données à l’aide de requêtes SQL Serverless ou de notebooks Spark en suivant le modèle pour les sources de données semi-structurées décrites ci-dessus.

Processus

1. Pour obtenir des insights en temps réel, utilisez un travail Stream Analytics pour implémenter le « chemin d’accès chaud » du modèle d’architecture Lambda et dériver des insights des données de flux en transit. Définissez au moins une entrée pour le flux de données provenant de vos hubs d’événements ou IoT Hub, une requête pour traiter le flux de données d’entrée et une sortie Power BI vers laquelle les résultats de la requête seront envoyés.

   1. Dans le cadre du traitement de vos données avec Stream Analytics, vous pouvez appeler des modèles Machine Learning pour enrichir vos jeux de données de flux et encourager des décisions professionnelles en fonction des prédictions générées. Ces modèles Machine Learning peuvent être consommés à partir de services Azure AI ou de modèles ML personnalisés dans Azure Machine Learning.

2. Utilisez d’autres sorties de travail Stream Analytics pour envoyer des événements traités à des pools SQL Azure Synapse ou des pools Data Explorer pour des cas d’utilisation d’analytique supplémentaires.

3. Pour les scénarios de télémétrie en quasi temps réel et d’analytique de série chronologique, utilisez des pools Data Explorer pour ingérer facilement des événements IoT directement à partir d’Event Hubs ou d’IoT Hubs. Avec les pools Data Explorer, vous pouvez utiliser des requêtes Kusto (KQL) pour effectuer une analyse de série chronologique, un clustering géospatial et un enrichissement de Machine Learning.

Service

1. Les analystes métier utilisent ensuite des jeux de données en temps réel Power BI et des fonctionnalités de tableau de bord pour visualiser les insights à évolution rapide générés par votre requête Stream Analytics.

2. Les données peuvent également être partagées en toute sécurité avec d’autres unités commerciales ou partenaires approuvés externes à l’aide d’Azure Data Share. Les consommateurs de données sont libres de choisir le format de données qu’ils souhaitent utiliser, ainsi que le moteur de calcul qui est le mieux adapté au traitement des jeux de données partagés.

3. Les données structurées et non structurées stockées dans votre espace de travail Synapse peuvent également être utilisées pour créer des solutions d’exploration de connaissances et utiliser l’IA pour découvrir des insights métier précieux sur différents types de documents et formats, notamment à partir de documents Office, de fichiers PDF, d’images, d’images, de formulaires et de pages web.

Composants

Les services Azure utilisés dans l’architecture sont les suivants :

• Azure Synapse Analytics
• Azure Data Lake Gen2
• Azure Cosmos DB
• des services Azure AI
• Azure Machine Learning
• Azure Event Hubs
• Azure IoT Hub
• Azure Stream Analytics
• Microsoft Purview
• Partage de données Azure
• Microsoft Power BI
• Microsoft Entra ID
• Microsoft Cost Management
• Azure Key Vault
• Azure Monitor.
• Microsoft Defender pour cloud
• Azure DevOps
• Azure Policy
• GitHub

Autres solutions

• Dans l’architecture ci-dessus, les pipelines Azure Synapse sont responsables de l’orchestration du pipeline de données. Les pipelines Azure Data Factory fournissent également les mêmes fonctionnalités que celles décrites dans cet article.

• Azure Databricks peut également être utilisé comme moteur de calcul utilisé pour traiter des données structurées et non structurées directement sur le lac de données.

• Dans l’architecture ci-dessus, Azure Stream Analytics est le service responsable du traitement des données de diffusion en continu. Les pools Azure Synapse Spark et Azure Databricks peuvent également jouer le même rôle par le biais de l’exécution de notebooks.

• Les clusters Kafka Azure HDInsight peuvent également être utilisés pour ingérer des données de streaming et fournir le bon niveau de performances et d’extensibilité requis par les charges de travail de streaming volumineuses.

• Vous pouvez également utiliser Azure Functions pour appeler des services Azure AI ou des modèles ML personnalisés Azure Machine Learning à partir d’un pipeline Azure Synapse.

• Les technologies de cette architecture ont été choisies parce qu’elles offrent toutes les fonctionnalités nécessaires pour gérer les défis liés aux données les plus courants dans une organisation. Ces services répondent aux exigences en matière d’extensibilité et de disponibilité, tout en aidant à contrôler les coûts. Les services couverts par cette architecture ne sont qu’un sous-ensemble d’une famille beaucoup plus vaste de services Azure. Vous pouvez obtenir des résultats similaires à l’aide d’autres services ou fonctionnalités non couverts par cette conception.

• Des exigences métier spécifiques pour votre cas d’utilisation analytique peuvent également nécessiter l’utilisation d’autres services ou fonctionnalités non pris en compte dans cette conception.

• Pour procéder à des comparaisons avec d’autres solutions, consultez les articles suivants :

  • Choix d’une technologie d’orchestration de pipeline de données dans Azure
  • Choix d’une technologie de traitement par lots dans Azure
  • Choix d’un magasin de données analytique dans Azure
  • Choix d’une technologie d’analytique des données dans Azure
  • Choix d’une technologie de traitement de flux dans Azure

Détails du scénario

Cet exemple de scénario montre comment utiliser Azure Synapse Analytics avec la vaste gamme d’Azure Data Services pour créer une plateforme de données moderne capable de relever les défis les plus courants en matière de données dans une organisation.

Cas d’usage potentiels

Cette approche peut également servir à :

• Établissez une architecture de produit de données , qui se compose d’un entrepôt de données pour les données structurées et d’un lac de données pour les données semi-structurées et non structurées. Vous pouvez choisir de déployer un produit de données unique pour des environnements centralisés ou plusieurs produits de données pour des environnements distribués tels que le maillage de données. Consultez plus d’informations sur la gestion des données et les zones d’atterrissage des données.
• Intégrer des sources de données relationnelles avec d’autres jeux de données en utilisant des technologies de traitement de Big Data.
• Utiliser de puissants outils de visualisation et de modélisation sémantique pour simplifier l’analyse des données.
• Partager des jeux de données au sein de l’organisation ou avec des partenaires externes approuvés.
• Implémentez des solutions d’exploration de données pour extraire des informations commerciales précieuses masquées dans des images, des PDF, des documents, etc.

Recommandations

Découvrir et régir

La gouvernance des données est un défi courant dans les environnements d’entreprise de grande taille. D’une part, les analystes d’entreprise doivent pouvoir découvrir et comprendre les ressources de données qui peuvent les aider à résoudre les problèmes d’entreprise. D’autre part, les directeurs des données veulent des insights sur la confidentialité et la sécurité des données de l’entreprise.

Microsoft Purview

1. Utilisez Microsoft Purview pour la découverte et les insights des données sur vos ressources de données, la classification des données et la sensibilité, qui couvre l’ensemble du paysage des données de l’organisation.

2. Microsoft Purview peut vous aider à gérer un glossaire métier avec la terminologie métier spécifique requise pour les utilisateurs afin de comprendre la sémantique des jeux de données que signifient et comment ils sont destinés à être utilisés au sein de l’organisation.

3. Vous pouvez inscrire toutes vos sources de données et les organiser dans des collections, qui sert également de limite de sécurité pour vos métadonnées.

4. Configurez des analyses régulières pour cataloguer et mettre à jour automatiquement les métadonnées pertinentes sur les ressources de données de l’organisation. Microsoft Purview peut également ajouter automatiquement des informations de traçabilité de données basées sur des informations provenant de pipelines Azure Data Factory ou Azure Synapse.

5. Les étiquettes de classification des données et de confidentialité des données peuvent être ajoutées automatiquement à vos ressources de données en fonction des règles préconfigurées ou douanières appliquées pendant les analyses régulières.

6. Les professionnels de la gouvernance des données peuvent utiliser les rapports et les insights générés par Microsoft Purview pour garder le contrôle sur l’ensemble du paysage des données et protéger l’organisation contre les problèmes de sécurité et de confidentialité.

Services de plateforme

Pour améliorer la qualité de vos solutions Azure, suivez les recommandations et les instructions définies dans Azure Well-Architected Framework cinq piliers de l’excellence de l’architecture : Optimisation des coûts, Excellence opérationnelle, Efficacité des performances, Fiabilité et Sécurité.

D’après ces recommandations, les services ci-dessous doivent être considérés comme faisant partie de la conception :

1. ID Microsoft Entra : services d’identité, authentification unique et authentification multifacteur sur les charges de travail Azure.
2. Microsoft Cost Management : gouvernance financière sur vos charges de travail Azure.
3. Azure Key Vault : sécuriser les informations d’identification et la gestion des certificats. Par exemple, Azure Synapse Pipelines, les pools Azure Synapse Spark et Azure ML peuvent récupérer des informations d’identification et des certificats d’Azure Key Vault utilisés pour accéder en toute sécurité aux magasins de données.
4. Azure Monitor : collectez, analysez et agissez sur les informations de télémétrie de vos ressources Azure pour identifier de manière proactive les problèmes et optimiser les performances et la fiabilité.
5. Microsoft Defender pour cloud : renforcez et surveillez la posture de sécurité de vos charges de travail Azure.
6. Azure DevOps & GitHub : implémentez des pratiques DevOps pour appliquer l’automatisation et la conformité à vos pipelines de développement et de déploiement de charge de travail pour Azure Synapse et Azure ML.
7. Azure Policy : implémentez des normes et une gouvernance organisationnelles pour la cohérence des ressources, la conformité réglementaire, la sécurité, le coût et la gestion.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Well-Architected Framework.

Optimisation des coûts

L’optimisation des coûts se concentre sur les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez la liste de contrôle de révision de conception pour l’optimisation des coûts.

En général, utilisez la calculatrice de prix Azure pour estimer les coûts. Le niveau de tarification individuel idéal et le coût total de chaque service inclus dans l’architecture dépendent de la quantité de données à traiter et à stocker, ainsi que du niveau de performances acceptable attendu. Utilisez le guide ci-dessous pour en savoir plus sur la tarification de chaque service :

• L’architecture serverless d’Azure Synapse Analytics vous permet de mettre à l’échelle vos niveaux de calcul et de stockage indépendamment. Les ressources de calcul sont facturées selon l’utilisation et vous pouvez mettre ces ressources à l’échelle ou en pause à la demande. Les ressources de stockage sont facturées au téraoctet. Vos coûts augmentent donc en fonction du volume de données ingéré.

• Azure Data Lake Gen 2 est facturé en fonction de la quantité de données stockées et du nombre de transactions à lire et écrire des données.

• Azure Event Hubs et Azure IoT Hubs sont facturés en fonction de la quantité de ressources de calcul requises pour traiter vos flux de messages.

• Les frais Azure Machine Learning proviennent de la quantité de ressources de calcul utilisées pour entraîner et déployer vos modèles Machine Learning.

• Les services IA sont facturés en fonction du nombre d’appels que vous effectuez aux API de service.

• Microsoft Purview est facturé en fonction du nombre de ressources de données dans le catalogue et de la puissance de calcul requise pour les analyser.

• Azure Stream Analytics est facturé en fonction de la puissance de calcul requise pour traiter vos requêtes de flux.

• Power BI propose différentes options de produit pour différentes exigences. Power BI Embedded fournit une option basée sur Azure pour incorporer des fonctionnalités Power BI à l’intérieur de vos applications. L’exemple de tarification ci-dessus comprend une instance Power BI Embedded.

• Azure Cosmos DB est facturé en fonction de la quantité de ressources de stockage et de calcul requises par vos bases de données.

Une architecture similaire peut également être implémentée pour les environnements de pré-production où vous pouvez développer et tester vos charges de travail. Prenez en compte les exigences spécifiques pour vos charges de travail et les fonctionnalités de chaque service pour un environnement de pré-production économique.

Déployer ce scénario

Cet article dispose d’un référentiel complémentaire disponible dans GitHub qui montre comment automatiser le déploiement des services couverts dans cette architecture. Suivez le guide de déploiement d’Azure Analytics de bout en bout avec Azure Synapse pour déployer cette architecture sur votre abonnement. Ce guide de déploiement contient des instructions détaillées et plusieurs options de déploiement.

Contributeurs

Cet article est mis à jour et géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Fabio Braga | Architecte technique principal MTC

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Passez en revue les instructions définies dans le scénario de gestion et d’analyse des données Azure pour l’environnement d’analytique scalable dans Azure.

• Explorez les parcours d’apprentissage de l’ingénieur données chez Microsoft pour obtenir du contenu et des laboratoires de formation supplémentaires sur les services impliqués dans cette architecture de référence.

• Passez en revue la documentation et déployez l’architecture de référence à l’aide des instructions de déploiement disponibles sur GitHub.