FAQ sur Data Factory dans Microsoft Fabric

Data Factory vous aide à résoudre des scénarios ETL et d’intégration de données complexes avec des services de déplacement et de transformation de données à l’échelle du cloud, tandis que l’engineering données vous aide à créer un lakehouse et à utiliser Apache Spark pour transformer et préparer vos données. Les différences entre chacune des terminologies/expériences Fabric sont disponibles dans Terminologie Microsoft Fabric.

Les administrateurs de capacité Microsoft Fabric peuvent utiliser l’application Métriques de capacité Microsoft Fabric, également appelée application de métriques, pour obtenir une visibilité sur les ressources de capacité. Cette application permet aux administrateurs de voir quel pourcentage du processeur et combien de temps de traitement et de mémoire sont utilisés par des pipelines de données, des flux de données et d’autres éléments dans leurs espaces de travail avec capacité Fabric. Obtenez une visibilité sur les causes de surcharge, les pics de demande, la consommation des ressources et bien plus encore, et identifiez facilement les éléments les plus exigeants ou les plus populaires.

Vous pouvez séparer les différentes charges de travail sur plusieurs espaces de travail, et utiliser les rôles tels que Membre et Lecteur afin d’avoir un espace de travail pour l’engineering données qui prépare les données pour un espace de travail utilisé pour la création de rapports ou l’entraînement d’IA. Avec le rôle Lecteur, vous pouvez ensuite consommer des données à partir de l’espace de travail d’engineering données.

Actuellement, la passerelle de réseau virtuel offre une méthode injective pour s’intégrer de manière transparente dans votre réseau virtuel. En effet, elle fournit un moyen solide d’utiliser des points de terminaison privés pour établir des connexions sécurisées avec vos magasins de données. Il est important de noter que la passerelle de réseau virtuel ne prend en charge que les flux de données Fabric pour l’instant. Toutefois, nos prochaines initiatives comprennent l’expansion de ses capacités de manière à englober les pipelines Fabric.

Lorsque vous utilisez la passerelle de données locale, vous pouvez désormais vous connecter aux sources de données locales à l’aide de flux de données et de pipelines de données (Aperçu) grâce à Data Factory dans Microsoft Fabric. Pour en savoir plus, consultez Comment accéder aux sources de données locales dans Data Factory pour Microsoft Fabric.

Les mises à jour mensuelles de Fabric sont disponibles sur le blog Microsoft Fabric.

Tarification de Data Factory dans Microsoft Fabric fournit un guide complet sur la façon dont les coûts sont calculés pour les pipelines de données et Dataflow Gen2. Ce guide comprend plusieurs scénarios de tarification pour vous aider à mieux comprendre le modèle de tarification.

Nouveautés et changements à venir pour Data Factory dans Microsoft Fabric fournit des renseignements sur les fonctionnalités à venir et leurs chronologies de publication estimées au cours des prochains mois.

Fabric Data Factory vous permet de développer des pipelines qui optimisent le débit des déplacements de données pour votre environnement. Ces pipelines utilisent pleinement les ressources suivantes :

• Bande passante réseau entre les magasins de données source et de destination
• Bande passante et opérations par seconde (IOPS) d’entrée/sortie du magasin de données source ou de destination. Cette utilisation complète signifie que vous pouvez estimer le débit global en mesurant le débit minimal disponible avec les ressources suivantes :
• Magasin de données source
• Banque de données de destination
• Bande passante réseau entre les magasins de données source et de destination. En attendant, nous travaillons en permanence sur des innovations visant à optimiser le débit que vous pouvez obtenir. Aujourd’hui, le système peut déplacer un jeu de données TPC-DI de 1 To (fichiers parquet) dans la table Fabric Lakehouse et dans Data Warehouse en 5 minutes, en déplaçant 1 milliard de lignes en moins d’une minute. Il convient de noter que cette analyse des performances n’est qu’une référence pour le jeu de données de test ci-dessus. Le débit réel dépend toujours des facteurs listés plus haut. En outre, vous pouvez toujours multiplier votre débit en exécutant plusieurs activités de copie en parallèle, par exemple en utilisant une boucle ForEach.

Notre objectif actuel implique le développement actif de la fonctionnalité CDC dans Data Factory au sein de Fabric. Cette fonctionnalité à venir vous permettra de déplacer des données entre plusieurs sources de données combinant différents modèles de copie, notamment le modèle de copie en bloc/lot, le modèle de copie incrémentielle/continue (CDC) et le modèle de copie en temps réel dans une expérience 5x5.

L’activité Power Query dans ADF partage des similitudes avec Dataflow Gen2, mais elle offre des fonctionnalités supplémentaires qui permettent d’effectuer des actions telles que l’écriture dans des destinations de données spécifiques. Cette comparaison s’aligne plus justement sur Dataflow Gen1 (flux de données Power BI ou flux de données Power Apps). Pour plus de détails, consultez cette page : Différences entre Dataflow Gen1 et Dataflow Gen2.

Dans certaines expériences utilisateur, vous pourriez rencontrer des artefacts système non destinés à l’interaction. Il est préférable de ne pas tenir compte de ces artefacts, car ils seront supprimés des données de l’expérience Get Data à l’avenir.

Ce message d'erreur apparaît lorsque l'utilisateur qui a créé le premier flux de données dans l'espace de travail ne s'est pas connecté à Fabric depuis plus de 90 jours ou a quitté l'organisation. Pour le résoudre, l’utilisateur mentionné dans le message d’erreur doit se connecter à Fabric. Si l’utilisateur a quitté l’organisation, ouvrez un ticket de support.

Les pipelines Azure Data Factory (ADF) et Azure Synapse gèrent une feuille de route PaaS (platform as a service) distincte. Ces deux solutions continuent de coexister avec Fabric Data Factory, qui sert d’offre SaaS (software as a service). Les pipelines ADF et Synapse restent entièrement pris en charge, et aucune dépréciation n’est prévue. Il est important de souligner que, pour tous les projets à venir, notre suggestion consiste à les lancer à l’aide de Fabric Data Factory. En outre, nous avons des stratégies en place pour faciliter la transition des pipelines ADF et Synapse vers Fabric Data Factory, leur permettant de tirer parti des nouvelles fonctionnalités de Fabric. Vous pouvez en apprendre davantage à ce propos ici.

Nous nous efforçons de combler les lacunes de fonctionnalités et d’incorporer les capacités robustes de pipeline de données et de workflow offertes par les pipelines ADF / Azure Synapse dans Fabric Data Factory, et nous reconnaissons que certaines fonctionnalités présentes dans les pipelines ADF / Synapse peuvent être essentielles pour vos besoins. Bien que nous vous encouragions à continuer à utiliser des pipelines ADF / Synapse si ces fonctionnalités sont nécessaires, nous vous conseillons d’explorer d’abord les nouvelles possibilités d’intégration de données offertes par Fabric. Vos commentaires sur les fonctionnalités qui sont essentielles pour votre réussite sont inestimables. Pour faciliter cela, nous travaillons activement à l’introduction d’une nouvelle fonctionnalité permettant la migration de vos fabriques de données existantes d’Azure vers des espaces de travail Fabric.

Nous ne rétroportons pas les nouvelles fonctionnalités de pipelines Fabric dans des pipelines ADF /Synapse. Nous maintenons deux feuilles de route distinctes pour Fabric Data Factory et ADF/Synapse. Nous évaluons les demandes de rétroportage en réponse aux commentaires reçus.

La fonction principale du pipeline Fabric est similaire à celle du pipeline Azure Synapse, mais avec un pipeline Fabric les utilisateurs peuvent appliquer toutes les capacités d’analytique données de la plateforme Fabric. Les différences notables et les mappages de fonctionnalités entre les pipelines Fabric et les pipelines Azure Synapse sont disponibles ici : Différences entre Data Factory dans Fabric et Azure.

Pour faciliter la transition des clients d’Azure Data Factory (ADF) vers Microsoft Fabric, nous proposons une gamme de fonctionnalités essentielles et de mécanismes de support. Tout d’abord, nous fournissons une prise en charge complète qui couvre la plupart des activités menées dans ADF au sein de Fabric. De plus, nous proposons de nouvelles activités adaptées aux notifications, telles que les fonctionnalités de Teams et d'Outlook. Les clients peuvent accéder à une liste détaillée des activités disponibles dans Data Factory au sein de Fabric. En outre, nous avons introduit les connecteurs Fabric Lakehouse et Warehouse dans Azure Data Factory, ce qui permet une intégration transparente des données dans l’environnement OneLake de Fabric pour les clients ADF. Nous fournissons également un guide pour les clients ADF, qui vous aide à mapper vos transformations de flux de données de mappage existantes aux nouvelles transformations Dataflow Gen2. Nous prévoyons d’inclure dans notre feuille de route une fonction qui permettra de monter des ressources ADF dans Fabric. Ainsi, les clients pourront conserver les fonctionnalités de leurs pipelines ADF existants sur Azure tout en explorant Fabric et en planifiant des stratégies de mise à niveau complètes. Nous travaillons en étroite collaboration avec nos clients et notre communauté pour déterminer les moyens les plus efficaces visant à faciliter la migration des pipelines de données d’ADF vers Fabric. Dans le cadre de cette initiative, nous vous fournirons une expérience de mise à niveau qui vous permettra de tester vos pipelines de données actuels dans Fabric tout au long du processus de montage et de mise à niveau.

Contenu connexe

Introduction – Tutoriel Data Factory