Événements
Relevez le défi Microsoft Learn
19 nov., 23 h - 10 janv., 23 h
Ignite Edition - Créez des compétences dans Microsoft Azure et gagnez un badge numérique d’ici le 10 janvier !
S’inscrire maintenantCe navigateur n’est plus pris en charge.
Effectuez une mise à niveau vers Microsoft Edge pour tirer parti des dernières fonctionnalités, des mises à jour de sécurité et du support technique.
La plupart des solutions de Big Data se composent d’opérations de traitement des données répétées, encapsulées dans des workflows. Un orchestrateur de pipeline est un outil qui permet d’automatiser ces workflows. Un orchestrateur peut planifier des travaux, exécuter des workflows et coordonner les dépendances entre des tâches.
Dans Azure, les outils et services suivants répondent aux exigences principales d’orchestration de pipeline, de flux de contrôle et de déplacement des données :
Ces services et outils peuvent être utilisés indépendamment l’un de l’autre ou conjointement pour créer une solution hybride. Par exemple, Integration Runtime (IR) dans Azure Data Factory V2 peut exécuter en mode natif des packages SSIS dans un environnement de calcul Azure géré. S’il existe certains recoupements des fonctionnalités entre ces services, il existe aussi quelques différences importantes.
Pour restreindre les choix, commencez par répondre aux questions suivantes :
Avez-vous besoin des fonctionnalités de Big Data pour déplacer et transformer vos données ? Généralement, cela signifie des gigaoctets à des téraoctets de données. Dans ce cas, limitez vos options à celles qui sont le mieux adaptées au Big Data.
Avez-vous besoin d’un service géré qui puisse fonctionner à l’échelle ? Dans ce cas, sélectionnez un des services cloud non limité par votre puissance de traitement local.
Certaines de vos données sources sont-elles locales ? Dans l’affirmative, recherchez les options qui peuvent fonctionner avec les sources de données ou les destinations locales et sur cloud.
Vos données sources sont-elles stockées dans le stockage Blob sur un système de fichiers HDFS ? Dans ce cas, choisissez une option qui prend en charge les requêtes Hive.
Les tableaux suivants résument les principales différences entre les fonctionnalités.
Fonctionnalité | Azure Data Factory | SQL Server Integration Services (SSIS) | Oozie sur HDInsight |
---|---|---|---|
Adresses IP gérées | Oui | No | Oui |
Sur le cloud | Oui | Non (Local) | Oui |
Prérequis | Abonnement Azure | SQL Server | Abonnement Azure, cluster HDInsight |
Outils d’administration | Portail Azure, PowerShell, CLI, .NET SDK | SSMS, PowerShell | Interpréteur de commandes Bash, API REST Oozie, IU Web Oozie |
Tarifs | Paiement à l’utilisation | Licences / paiement des fonctionnalités | Aucun frais supplémentaire sur l’exécution du cluster HDInsight |
Fonctionnalité | Azure Data Factory | SQL Server Integration Services (SSIS) | Oozie sur HDInsight |
---|---|---|---|
Copier des données | Oui | Oui | Oui |
Transformations personnalisées | Oui | Oui | Oui (travaux MapReduce, Pig et Hive) |
Notation d’Azure Machine Learning | Oui | Oui (avec des scripts) | Non |
HDInsight à la demande | Oui | No | Non |
Azure Batch | Oui | No | Non |
Pig, Hive, MapReduce | Oui | No | Oui |
Spark | Oui | No | Non |
Exécuter le Package SSIS | Oui | Oui | Non |
Flux de contrôle | Oui | Oui | Oui |
Accès aux données locales | Oui | Oui | Non |
Fonctionnalité | Azure Data Factory | SQL Server Integration Services (SSIS) | Oozie sur HDInsight |
---|---|---|---|
Monter en puissance | Oui | No | Non |
Scale-out | Oui | Non | Oui (via l’ajout de nœuds de travail en cluster) |
Optimisé pour le Big Data | Oui | No | Oui |
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteur principal :
Événements
Relevez le défi Microsoft Learn
19 nov., 23 h - 10 janv., 23 h
Ignite Edition - Créez des compétences dans Microsoft Azure et gagnez un badge numérique d’ici le 10 janvier !
S’inscrire maintenant