Nouveautés et planifications de Synapse Ingénieurs Données ing dans Microsoft Fabric
Important
Les plans de mise en production décrivent les fonctionnalités susceptibles ou non d’avoir été publiées. Les délais de livraison et les fonctionnalités projetées peuvent changer ou ne pas être expédiés. Pour plus d’informations, consultez la stratégie Microsoft.
Synapse Ingénieurs Données ing permet aux ingénieurs de données de pouvoir transformer leurs données à grande échelle à l’aide de Spark et de créer leur architecture lakehouse.
Lakehouse pour toutes vos données organisationnelles : Le lakehouse combine le meilleur du lac de données et de l’entrepôt de données dans une expérience unique. Il permet aux utilisateurs d’ingérer, de préparer et de partager des données organisationnelles dans un format ouvert dans le lac. Plus tard, vous pouvez y accéder via plusieurs moteurs tels que Spark, T-SQL et Power BI. Il fournit différentes options d’intégration de données, telles que les flux de données et les pipelines, les raccourcis vers des sources de données externes et les fonctionnalités de partage de produits de données.
Moteur Spark performant et runtime : l’ingénierie des données Synapse fournit aux clients un runtime Spark optimisé avec les dernières versions de Spark, Delta et Python.. Il utilise Delta Lake comme format de table commun pour tous les moteurs, ce qui facilite le partage et la création de rapports de données sans déplacement de données. Le runtime est fourni avec des optimisations Spark, améliorant vos performances de requête sans aucune configuration. Il offre également des pools de démarrage et un mode haute concurrence pour accélérer et réutiliser vos sessions Spark, ce qui vous permet de gagner du temps et des coûts.
Configuration de l’administrateur Spark : les administrateurs d’espace de travail disposant d’autorisations appropriées peuvent créer et configurer des pools personnalisés pour optimiser les performances et le coût de leurs charges de travail Spark. Les créateurs peuvent configurer des environnements pour installer des bibliothèques, sélectionner la version du runtime et définir des propriétés Spark pour leurs notebooks et travaux Spark.
Expérience développeur : les développeurs peuvent utiliser des notebooks, des travaux Spark ou leur IDE préféré pour créer et exécuter du code Spark dans Fabric. Ils peuvent accéder en mode natif aux données lakehouse, collaborer avec d’autres personnes, installer des bibliothèques, suivre l’historique, effectuer une surveillance en ligne et obtenir des recommandations du conseiller Spark. Ils peuvent également utiliser Data Wrangler pour préparer facilement les données avec une interface utilisateur à faible code.
Intégration de la plateforme : tous les éléments d’ingénierie des données Synapse, y compris les notebooks, les travaux Spark, les environnements et les lakehouses, sont intégrés profondément dans la plateforme Fabric (fonctionnalités de gestion des informations d’entreprise, traçabilité, étiquettes de confidentialité et approbations).
Domaines d’investissement
| Fonctionnalité | Chronologie estimée des mises en production |
|---|---|
| Concurrence élevée dans les pipelines | Q3 2024 |
| VS Code pour le web - prise en charge du débogage | Q3 2024 |
| Extension VSCode Core pour Fabric | Q3 2024 |
| Extension satellite VSCode pour les fonctions de données utilisateur dans Fabric | Q3 2024 |
| Possibilité de trier et de filtrer des tables et des dossiers dans Lakehouse | T4 2024 |
| API de supervision publique | T4 2024 |
| Sécurité des données Lakehouse | T4 2024 |
| Prise en charge du schéma et espace de travail dans l’espace de noms dans Lakehouse | Expédié (Q3 2024) |
| Connecteur Spark pour Fabric Data Warehouse | Expédié (Q2 2024) |
| Moteur d’exécution natif Spark | Expédié (Q2 2024) |
| Créer et attacher des environnements | Expédié (Q2 2024) |
| API Microsoft Fabric pour GraphQL | Expédié (Q2 2024) |
| Mise en file d’attente de travaux pour les travaux de notebook | Expédié (Q2 2024) |
| Admission optimiste des travaux pour Fabric Spark | Expédié (Q2 2024) |
| Autotune Spark | Expédié (Q1 2024) |
Concurrence élevée dans les pipelines
Chronologie estimée de la publication : Q3 2024
Type de publication : Disponibilité générale
En plus de la concurrence élevée dans les notebooks, nous allons également activer la concurrence élevée dans les pipelines. Cette fonctionnalité vous permet d’exécuter plusieurs notebooks dans un pipeline avec une seule session.
VS Code pour le web - prise en charge du débogage
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
Visual Studio Code pour le web est actuellement pris en charge en préversion pour les scénarios de création et d’exécution. Nous ajoutons à la liste des fonctionnalités la possibilité de déboguer du code à l’aide de cette extension pour le notebook.
Extension VSCode Core pour Fabric
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
L’extension VSCode core pour Fabric fournit une prise en charge commune des développeurs pour les services Fabric.
Extension satellite VSCode pour les fonctions de données utilisateur dans Fabric
Chronologie estimée de la publication : Q3 2024
Type de version : préversion publique
L’extension satellite VSCode pour Les fonctions de données utilisateur fournit la prise en charge des développeurs (modification, génération, débogage, publication) pour les fonctions de données utilisateur dans Fabric.
Possibilité de trier et de filtrer des tables et des dossiers dans Lakehouse
Chronologie estimée de la publication : Q4 2024
Type de publication : Disponibilité générale
Cette fonctionnalité permet aux clients de trier et de filtrer leurs tables et dossiers dans Lakehouse par plusieurs méthodes différentes, notamment par ordre alphabétique, date de création, etc.
API de supervision publique
Chronologie estimée de la publication : Q4 2024
Type de publication : Disponibilité générale
Les API de surveillance publique vous permettent de récupérer par programmation l’état des travaux Spark, des résumés des travaux et des journaux d’exécution correspondants.
Sécurité des données Lakehouse
Chronologie estimée de la publication : Q4 2024
Type de version : préversion publique
Vous aurez la possibilité d’appliquer la sécurité des fichiers, des dossiers et des tables (ou au niveau de l’objet) dans le lakehouse. Vous pouvez également contrôler qui peut accéder aux données dans le lakehouse et le niveau d’autorisations dont ils disposent. Par exemple, vous pouvez accorder des autorisations de lecture sur des fichiers, des dossiers et des tables. Une fois les autorisations appliquées, elles sont automatiquement synchronisées sur tous les moteurs. Cela signifie que les autorisations sont cohérentes entre les moteurs Spark, SQL, Power BI et externes.
Fonctionnalités livrées
Prise en charge du schéma et espace de travail dans l’espace de noms dans Lakehouse
Expédié (Q3 2024)
Type de version : préversion publique
Cela permet d’organiser les tables à l’aide de schémas et d’interroger des données entre les espaces de travail.
Connecteur Spark pour Fabric Data Warehouse
Expédié (Q2 2024)
Type de version : préversion publique
Spark Connector pour Fabric DW (Data Warehouse) permet à un développeur Spark ou à un scientifique des données d’accéder aux données de Fabric Data Warehouse avec une API Spark simplifiée, qui fonctionne littéralement avec une seule ligne de code. Il offre une possibilité d’interroger les données, en parallèle, à partir de l’entrepôt de données Fabric afin qu’elle s’adapte à l’augmentation du volume de données et respecte le modèle de sécurité (OLS/RLS/CLS) défini au niveau de l’entrepôt de données lors de l’accès à la table ou à la vue. Cette première version prend en charge la lecture des données uniquement et la prise en charge de l’écriture de données sera bientôt disponible.
Moteur d’exécution natif Spark
Expédié (Q2 2024)
Type de version : préversion publique
Le moteur d’exécution natif est une amélioration révolutionnaire pour les exécutions de travaux Apache Spark dans Microsoft Fabric. Ce moteur vectorisé optimise les performances et l’efficacité de vos requêtes Spark en les exécutant directement sur votre infrastructure lakehouse. L’intégration transparente du moteur signifie qu’elle ne nécessite aucune modification du code et évite le verrouillage du fournisseur. Il prend en charge les API Apache Spark et est compatible avec Runtime 1.2 (Spark 3.4) et fonctionne avec les formats Parquet et Delta. Quel que soit l’emplacement de vos données dans OneLake ou si vous accédez aux données via des raccourcis, le moteur d’exécution natif optimise l’efficacité et les performances
Créer et attacher des environnements
Expédié (Q2 2024)
Type de publication : Disponibilité générale
Pour personnaliser vos expériences Spark à un niveau plus précis, vous pouvez créer et attacher des environnements à vos blocs-notes et travaux Spark. Dans un environnement, vous pouvez installer des bibliothèques, configurer un nouveau pool, définir des propriétés Spark et charger des scripts dans un système de fichiers. Cela vous offre davantage de flexibilité et de contrôle sur vos charges de travail Spark, sans affecter les paramètres par défaut de l’espace de travail. Dans le cadre de la disponibilité générale, nous apportons diverses améliorations aux environnements, notamment la prise en charge des API et l’intégration CI/CD.
API Microsoft Fabric pour GraphQL
Expédié (Q2 2024)
Type de version : préversion publique
L’API pour GraphQL permet aux ingénieurs données Fabric, aux scientifiques, aux architectes de solutions de données d’exposer et d’intégrer facilement les données Fabric, pour des applications analytiques plus réactives, performantes et riches, tirant parti de la puissance et de la flexibilité de GraphQL.
Mise en file d’attente de travaux pour les travaux de notebook
Expédié (Q2 2024)
Type de publication : Disponibilité générale
Cette fonctionnalité permet aux notebooks Spark planifiés d’être mis en file d’attente lorsque l’utilisation de Spark est à son nombre maximal de travaux qu’elle peut exécuter en parallèle, puis d’exécuter une fois l’utilisation supprimée sous le nombre maximal de travaux parallèles autorisés.
Admission optimiste des travaux pour Fabric Spark
Expédié (Q2 2024)
Type de publication : Disponibilité générale
Avec l’admission du travail optimiste, Fabric Spark réserve uniquement le nombre minimal de cœurs qu’un travail doit démarrer, en fonction du nombre minimal de nœuds auxquels le travail peut effectuer un scale-down. Cela permet à davantage d’emplois d’être admis s’il y a suffisamment de ressources pour répondre aux exigences minimales. Si un travail doit évoluer ultérieurement, les demandes de scale-up sont approuvées ou rejetées en fonction des cœurs disponibles dans la capacité.
Autotune Spark
Expédié (Q1 2024)
Type de version : préversion publique
Autotune utilise le Machine Learning pour analyser automatiquement les exécutions précédentes de vos travaux Spark et écouter les configurations pour optimiser les performances. Il configure la façon dont vos données sont partitionnée, jointes et lues par Spark. De cette façon, il améliore considérablement les performances. Nous avons vu que les travaux clients s’exécutent 2x plus rapidement avec cette fonctionnalité.