Documentation sur l'ingénierie des données Fabric

Fabric Data Engineering permet aux utilisateurs de concevoir, de créer et de gérer des infrastructures et des systèmes qui permettent à leurs organisations de collecter, stocker, traiter et analyser de grands volumes de données.

À propos de l’ingénierie des données

Vue d’ensemble

• Qu’est-ce que Ingénieurs de données ?
• Qu’est-ce qu’un lakehouse ?

Concept

• Tables Lakehouse et Delta
• Rôles et autorisations de l’espace de travail
• Choisir un magasin de données

Guide pratique

• Optimisation delta et V-Order
• Charger dans les tables

Commencez avec le Lakehouse

Démarrage

• Créer un lakehouse.
• Naviguer dans l’explorateur lakehouse

Guide pratique

• Importer des données dans un lakehouse à l'aide d'un notebook

Didacticiel

• Étape 1 - Créer un espace de travail
• Étape 2 : Créer un lakehouse
• Étape 3 : Ingérer des données dans lakehouse
• Étape 4 : Transformer des données en tables delta
• Étape 5 : Créer un modèle sémantique et générer un rapport
• Étape 6 : Nettoyer les ressources

Prise en main des notebooks

Démarrage

• Créer et utiliser des blocs-notes

Guide pratique

• Développer et exécuter des blocs-notes
• Explorer les données lakehouse avec un bloc-notes
• Visualiser les notebooks
• Déploiement et contrôle de code source des notebooks
• Créer et exécuter des notebooks T-SQL

Interroger avec l’API pour GraphQL

Vue d’ensemble

• Qu’est-ce que l’API Fabric pour GraphQL ?

Démarrage

• Créer une API pour GraphQL et ajouter des données

Guide pratique

• Gérer des relations
• Se connecter aux applications
• Interroger plusieurs sources de données
• Pipelines de contrôle de code source et de déploiement GraphQL
• Tableau de bord de supervision et journalisation (préversion)

Intégration VS Code

Concept

• Qu’est-ce que l’extension VS Code pour l’ingénierie des données ?

Guide pratique

• Utiliser des notebooks dans VS Code
• Utiliser une image conteneur à partir de VS Code
• Utiliser des définitions de tâche Spark à partir de VS Code
• Explorez le Lakehouse depuis VS Code
• Créer un notebook à partir de l'expérience web de VS Code

Apache Spark pour l’ingénierie des données

Concept

• Définition de tâche Apache Spark
• Qu’est-ce qu’Apache Spark Advisor ?

Démarrage

• Créer une définition de travail Spark
• Créer une définition de travail Spark avec une API de Fabric
• Intégration de Git à la définition du travail Spark

Guide pratique

• Planifier et exécuter une définition de tâche Spark
• Gérer les bibliothèques Apache Spark
• Comment utiliser Fabric MSSparkUtils

Prise en main de l’environnement

Démarrage

• Environnements réseau fabric

Guide pratique

• Gérer le calcul Spark dans les environnements
• Gérer les bibliothèques dans les environnements
• Environnement d’intégration Git et pipeline de déploiement
• Gérer l’environnement via des API publiques
• Gestion des bibliothèques dans un environnement sécurisé par la protection d’accès sortant

Fabric Livy API

Vue d’ensemble

• Qu’est-ce que l’API Livy ?

Démarrage

• Créer et exécuter des travaux Spark en utilisant l’API Livy
• Envoyer des travaux de session d’API Livy
• Envoyer les tâches par lots de l’API Livy

Optimiser avec les vues matérialisées du lac

Vue d’ensemble

• Qu’est-ce que les vues matérialisées du lac ?

Démarrage

• Prise en main des vues matérialisées du lac
• Mettre en œuvre l’architecture de médaillon avec des vues sur le lac matérialisées
• Gérer les vues matérialisées du lac