Partager via

Quelles sont les nouveautés d’Azure Synapse Analytics niveau archive ?

  • Article

Cet article décrit les mises à jour du mois précédent pour Azure Synapse Analytics. Pour obtenir la version la plus récente du mois, consultez les dernières mises à jour d’Azure Synapse Analytics. Chaque mise à jour est liée au blog Azure Synapse Analytics et à un article fournissant des informations supplémentaires.

Fonctionnalités en disponibilité générale

Le tableau suivant présente l’historique des fonctionnalités d’Azure Synapse Analytics qui sont passées de l’aperçu à la disponibilité générale (GA).

Month Fonctionnalité En savoir plus
Juillet 2022 Apache Spark™ 3.2 sur Synapse Analytics Apache Spark™ 3.2 pour Synapse Analytics est maintenant généralement disponible. Consultez les notes de publication officielles et les instructions de migration entre Spark 3.1 et 3.2 pour évaluer les modifications potentielles de vos applications. Pour plus d’informations, consultez Prise en charge de la version d’Apache Spark et du runtime Azure Synapse pour Apache Spark 3.1. Points forts de ce qui s’est amélioré dans Spark 3.2 dans la mise à jour de juillet d’Azure Synapse Analytics 2022.
Juillet 2022 Fonctionnalité de cache intelligent d’Apache Spark dans Azure Synapse Le cache intelligent pour Spark stocke automatiquement chaque lecture dans l’espace de stockage du cache alloué, en détectant les modifications des fichiers sous-jacents et en actualisant les fichiers pour fournir les données les plus récentes. Pour en savoir plus, consultez Activer/désactiver le cache pour votre pool Apache Spark.
Juin 2022 Outil Mappage de données L’outil Mappage de données est un processus guidé qui aide les utilisateurs à créer des mappages ETL et des flux de données de mappage depuis vos données sources vers Synapse sans écrire de code. Pour en savoir plus sur l’outil Mappage de données, lisez Mappage de données dans Azure Synapse Analytics.
Juin 2022 Fonctions définies par l’utilisateur Les fonctions définies par l’utilisateur (UDF) sont maintenant en disponibilité générale. Pour en savoir plus, lisez Fonctions définies par l’utilisateur dans les flux de données de mappage.
Mai 2022 Connecteur Azure Synapse Data Explorer pour Power Automate, Logic Apps et Power Apps Le connecteur Azure Data Explorer pour Power Automate vous permet d’orchestrer et de planifier des flux, et d’envoyer des notifications et des alertes, dans le cadre d’une tâche planifiée ou déclenchée. Pour plus d’informations, lisez Connecteur Azure Data Explorer pour Microsoft Power Automate et Exemples d’utilisation pour le connecteur Azure Data Explorer pour Power Automate.
Avril 2022 Restauration inter-abonnements pour Azure Synapse SQL Avec la mise à jour du module PowerShell Az.Sql 3.8, la cmdlet Restore-AzSqlDatabase peut être utilisée pour la restauration inter-abonnements de pools SQL dédiés. Pour plus d’informations, consultez Blog : Restaurer un pool SQL dédié (anciennement SQL DW) sur un autre abonnement. Cette fonctionnalité est maintenant en disponibilité générale pour les pools SQL dédiés (anciennement SQL DW) et pour les pools SQL dédiés dans un espace de travail Synapse. Quelle est la différence ?
Avril 2022 Concepteur de bases de données Le concepteur de base de données permet aux utilisateurs de créer visuellement des bases de données dans Synapse Studio sans écrire une seule ligne de code. Pour plus d’informations, consultez Annonce de la disponibilité générale du Concepteur de base de données. Pour plus d’informations sur les bases de données de lac, consultez Guide pratique pour modifier une base de données de lac existante en utilisant le Concepteur de base de données.
Avril 2022 Modèles de base de données De nouveaux modèles de base de données spécifiques à des secteurs ont été introduits dans le Blog Disponibilité générale de modèles de base de données Synapse. En savoir plus sur les modèles de base de données et l’expérience d’exploration améliorée.
Avril 2022 Rôle RBAC Opérateur de supervision Synapse Le rôle RBAC Opérateur de supervision Synapse permet à un utilisateur de superviser l’exécution des applications Synapse Pipelines et Spark sans avoir la possibilité d’exécuter ou d’annuler l’exécution de ces applications. Pour plus d’informations, passez en revue les rôles RBAC Synapse.
Mars 2022 Flowlets Les flowlets vous aident à concevoir des parties de la logique de nouveaux flux de données, ou à extraire des parties d’un flux de données existant et à les enregistrer en tant qu’artefact distinct dans votre espace de travail Synapse. Vous pouvez ensuite réutiliser ces flowlets dans d’autres flux de données. Pour plus d’informations, consultez le billet de blog de l’annonce de la disponibilité générale des flowlets et lisez Les flowlets dans les flux de données de mappage.
Mars 2022 Connecteurs de flux de modification Les transformations de sources de flux de données de capture de données modifiées (CDC) pour Azure Cosmos DB, Azure Blob Storage, ADLS Gen1, ADLS Gen2 et Common Data Model (CDM) sont désormais généralement disponibles. En cochant simplement une case, vous pouvez indiquer à ADF de gérer automatiquement un point de contrôle pour vous et de lire seulement les dernières lignes qui ont été mises à jour ou insérées depuis la dernière exécution du pipeline. Pour plus d’informations, consultez le billet de blog Préversion des connecteurs de flux en disponibilité générale et lisez Copier et transformer des données dans Azure Data Lake Storage Gen2 en utilisant Azure Data Factory ou Azure Synapse Analytics.
Mars 2022 Chiffrement au niveau des colonnes pour les pools SQL dédiés Le chiffrement au niveau des colonnes est maintenant en disponibilité générale sur les serveurs logiques nouveaux et existants Azure SQL avec les pools SQL dédiés Azure Synapse ainsi que les pools SQL dédiés dans les espaces de travail Azure Synapse. La prise en charge par SQL Server Data Tools (SSDT) du chiffrement au niveau des colonnes pour les pools SQL dédiés est disponible à partir de la build 17.2 Preview 2 de Visual Studio 2022.
Mars 2022 Connecteur CDM (Common Data Model) Synapse Spark Le lecteur/enregistreur de format CDM Spark permet à un programme Spark de lire et d’écrire des entités CDM dans un dossier CDM par le biais de dataframes Spark. Pour en savoir plus, consultez Comment le connecteur CDM prend en charge la lecture, l’écriture de données, les exemples et les problèmes connus.
Novembre 2021 PREDICT La syntaxe T-SQL PREDICT est maintenant en disponibilité générale pour les pools SQL dédiés. Bien démarrer avec l’Assistant Scoring de modèle Machine Learning pour les pools SQL dédiés.
Octobre 2021 Rôles RBAC Synapse Les rôles RBAC Synapse sont maintenant en disponibilité générale. En savoir plus sur les Rôles RBAC Synapse et Contrôle RBAC Azure Synapse en utilisant PowerShell.

Communauté

Cette section est une archive des opportunités de la communauté Azure Synapse Analytics et le programme Influenceurs Azure Synapse de Microsoft.

Month Fonctionnalité En savoir plus
Mai 2022 Programme Influenceurs Azure Synapse Inscrivez-vous à notre programme Influenceurs Azure Synapse gratuit et connectez-vous à une communauté d’utilisateurs Synapse qui se consacrent à aider d’autres utilisateurs à en faire plus avec l’analytique cloud. Inscrivez-vous maintenant pour notre prochaine session Demandez aux experts – Influenceurs Synapse. Elle est gratuite, et tout le monde est invité à participer et à se joindre à la discussion sur des sujets liés à Synapse. Vous pouvez regarder les événements Ask the Experts précédents enregistrés sur la chaîne YouTube Azure Synapse.
Mars 2022 Série de vidéos YouTube sur Azure Synapse Analytics et Microsoft MVP Résultat d’une activité conjointe avec l’équipe produit Azure Synapse et la communauté Microsoft MVP, une nouvelle série de vidéos MVP YouTube sur les fonctionnalités d’Azure Synapse a été lancée. Pour en savoir plus, consultez la chaîne YouTube Azure Synapse Analytics.

Apache Spark pour Azure Synapse Analytics

Cette section est une archive des fonctionnalités et capacités d’Apache Spark pour Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Mai 2022 Connecteur de pool SQL dédié Azure Synapse pour Apache Spark maintenant disponible dans Python Auparavant, le connecteur de pool SQL dédié Azure Synapse pour Apache Spark était disponible seulement avec Scala. À présent, le connecteur de pool SQL dédié pour Apache Spark peut être utilisé avec Python sur Spark 3.
Mai 2022 Gérer la configuration Apache Spark Azure Synapse Avec la nouvelle fonctionnalité Configurations Apache Spark, vous pouvez créer un artefact de configuration Spark autonome avec des suggestions automatiques et des règles de validation intégrées. L’artefact de configuration Spark vous permet de partager votre configuration Spark au sein des espaces de travail et entre les espaces de travail Azure Synapse. Vous pouvez également facilement associer votre configuration Spark à un pool Spark, un notebook et une définition de travail Spark pour les réutiliser et réduire la nécessité de copier la configuration Spark à plusieurs endroits.
Avril 2022 Apache Spark 3.2 sur Synapse Analytics Apache Spark 3.2 pour Synapse Analytics avec disponibilité d'une préversion. Consultez les notes de publication officielles de Spark 3.2 et les instructions de migration entre Spark 3.2 et 3.1 pour évaluer les modifications potentielles de vos applications. Pour plus d’informations, consultez Prise en charge de la version d’Apache Spark et du runtime Azure Synapse pour Apache Spark 3.1.
Avril 2022 Paramétrage de la définition des travaux Spark Vous pouvez maintenant affecter des paramètres dynamiquement en fonction de variables et de métadonnées, ou en spécifiant des paramètres spécifiques au pipeline pour l’activité de définition des travaux Spark. Pour plus d’informations, lisez Transformer des données avec une définition de tâche Apache Spark.
Avril 2022 Instantané de notebook Apache Spark Vous pouvez accéder à une capture instantanée du notebook en cas d’échec de l’exécution du notebook du pipeline ou s’il existe une tâche de notebook d’exécution longue. Pour plus d’informations, lisez Transformer des données en exécutant un notebook Synapse et Présentation des utilitaires Microsoft Spark.
Mars 2022 Connecteur CDM (Common Data Model) Synapse Spark Le lecteur/enregistreur de format CDM Spark permet à un programme Spark de lire et d’écrire des entités CDM dans un dossier CDM par le biais de dataframes Spark. Pour en savoir plus, consultez Comment le connecteur CDM prend en charge la lecture, l’écriture de données, les exemples et les problèmes connus.
Mars 2022 Optimisation des performances pour le connecteur de pool SQL dédié Synapse Spark De nouvelles améliorations apportées au connecteur de pool SQL dédié Azure Synapse pour Apache Spark réduisent le déplacement des données et tirent parti de COPY INTO. Les tests de performances ont indiqué une amélioration d’au moins un facteur d’environ 5 par rapport à la version précédente. Aucune action n’est nécessaire de la part de l’utilisateur pour bénéficier de ces améliorations. Pour plus d’informations, consultez Blog : Connecteur de pool SQL dédié Synapse Spark (DW) : Améliorations des performances.
Mars 2022 Prise en charge de toutes les options SaveMode pour dataframes Spark Le connecteur de pool SQL dédié Azure Synapse pour Apache Spark prend maintenant en charge les quatre choix de SaveMode des dataframes Spark : Ajouter, Remplacer, ErrorIfExists, Ignorer. Pour plus d’informations sur le SaveMode de Spark, consultez la documentation officielle d’Apache Spark.
Mars 2022 Fonctionnalité de cache intelligent d’Apache Spark dans Azure Synapse Analytics Le cache intelligent pour Spark stocke automatiquement chaque lecture dans l’espace de stockage du cache alloué, en détectant les modifications des fichiers sous-jacents et en actualisant les fichiers pour fournir les données les plus récentes. Pour plus d’informations sur cette fonctionnalité en préversion, consultez Activer/désactiver le cache pour votre pool Apache Spark ou lisez le billet de blog.

Intégration des données

Cette section est une archive des fonctionnalités capacités pour l’intégration de données Azure Synapse Analytics. Découvrez comment Charger des données dans Azure Synapse Analytics en utilisant Azure Data Factory ou un pipeline Synapse.

Month Fonctionnalité En savoir plus
Juin 2022 Préversion du connecteur SAP CDC Un nouveau connecteur de données pour SAP Change Data Capture (CDC) est maintenant disponible en préversion. Pour plus d’informations, consultez Annonce de la préversion publique de la solution SAP CDC dans Azure Data Factory et Azure Synapse Analytics et Solution SAP CDC dans Azure Data Factory.
Juin 2022 Option de jointure approximative dans la transformation de jointure L’utilisation de la correspondance approximative avec un sélecteur de seuil de score de similarité a été ajoutée à la transformation de jointure dans les flux de données de mappage.
Juin 2022 Disponibilité générale de l’outil Mappage de données Nous sommes heureux d’annoncer que l’outil Mappage de données est maintenant en disponibilité générale. L’outil Mappage de données est un processus guidé qui aide les utilisateurs à créer des mappages ETL et des flux de données de mappage depuis vos données sources vers Synapse sans écrire de code.
Juin 2022 Réexécuter un pipeline avec de nouveaux paramètres Vous pouvez maintenant changer les paramètres de pipeline lors de la réexécution d’un pipeline à partir de la page Supervision sans devoir revenir à l’éditeur de pipeline. Pour plus d’informations, consultez Réexécuter des pipelines et des activités.
Juin 2022 Disponibilité générale des fonctions définies par l’utilisateur Les fonctions définies par l’utilisateur dans les flux de données de mappage sont maintenant en disponibilité générale.
Mai 2022 Exporter la supervision des pipelines au format CSV La possibilité d’exporter la supervision des pipelines au format CSV et d’autres améliorations de la supervision ont été introduites dans ADF.
Mai 2022 Chargement de données sources incrémentiel automatique depuis PostgreSQL et MySQL Le chargement incrémentiel automatique des données sources depuis PostgreSQL et MySQL vers Synapse SQL et Azure Database est maintenant disponible en mode natif dans ADF.
Mai 2022 Gestion des erreurs de transformation d’assertion La gestion des erreurs a maintenant été ajoutée aux récepteurs après une transformation d’assertion dans un flux de données de mappage. Vous pouvez maintenant choisir de générer les lignes ayant échoué vers le récepteur sélectionné ou dans un fichier distinct.
Mai 2022 Modification de la projection des flux de données de mappage Dans les flux de données de mappage, vous pouvez maintenant mettre à jour les noms et les types des colonnes de projection de la source.
Avril 2022 Connecteur Dataverse pour les flux de données Synapse Dataverse est désormais un connecteur source et récepteur pour les flux de données Synapse. Vous pouvez Copier et transformer des données dans Dynamics 365 (Microsoft Dataverse) ou Dynamics CRM en utilisant Azure Data Factory ou Azure Synapse Analytics.
Avril 2022 Délai d’expiration de la réponse de l’activité web de pipelines Synapse Avec la propriété de délai d’expiration des réponses httpRequestTimeout, vous pouvez définir une délai d’expiration de la requête HTTP de jusqu’à 10 minutes. Les activités web fonctionnent exceptionnellement bien avec les API qui suivent le modèle de requête-réponse asynchrone, une approche suggérée pour la création d’API/services web scalables.
Mars 2022 Connecteur SFTP pour les flux de données Synapse Un connecteur SFTP natif dans les flux de données Synapse est pris en charge pour lire et écrire des données depuis SFTP en utilisant l’interface de flux de données à faible code visuel dans Synapse. Pour plus d’informations, consultez Copier et transformer des données dans le serveur SFTP en utilisant Azure Data Factory ou Azure Synapse Analytics.
Mars 2022 Améliorations des flux de données dans Data Preview Passez en revue les fonctionnalités ajoutées aux Améliorations de l’aperçu des données et du débogage dans les flux de données de mappage.
Mars 2022 Activité de script de pipeline Vous pouvez maintenant transformer des données en utilisant l’activité de script afin d’appeler des commandes SQL à la fois pour le DDL et le DML.
Décembre 2021 Partitions personnalisées pour Synapse Link pour Azure Cosmos DB Améliorez les temps d’exécution des requêtes pour vos requêtes Spark en créant des partitions personnalisées basées sur des champs fréquemment utilisés dans vos requêtes. Pour en savoir plus, consultez Partitionnement personnalisé dans Azure Synapse Link pour Azure Cosmos DB (préversion).

Modèles de base de données et concepteur de bases de données

Cette section est une archive des fonctionnalités et capacités des modèles de base de données et du Concepteur de base de données.

Month Fonctionnalité En savoir plus
Avril 2022 Concepteur de bases de données Le concepteur de base de données permet aux utilisateurs de créer visuellement des bases de données dans Synapse Studio sans écrire une seule ligne de code. Pour plus d’informations, consultez Annonce de la disponibilité générale du Concepteur de base de données. Pour plus d’informations sur les bases de données de lac, consultez Guide pratique pour modifier une base de données de lac existante en utilisant le Concepteur de base de données.
Avril 2022 Modèles de base de données De nouveaux modèles de base de données spécifiques à des secteurs ont été introduits dans le Blog Disponibilité générale de modèles de base de données Synapse. En savoir plus sur les modèles de base de données et l’expérience d’exploration améliorée.
Avril 2022 Cloner une base de données de lac Dans Synapse Studio, vous pouvez cloner rapidement une base de données en utilisant le menu d’actions disponible sur la base de données de lac. Pour en savoir plus, lisez Comment cloner une base de données de lac.
Avril 2022 Utiliser des caractères génériques pour spécifier des hiérarchies de dossiers personnalisées Les bases de données de lac sont basées sur les données qui se trouvent dans le lac, et ces données peuvent se trouver dans des dossiers imbriqués qui ne s’adaptent pas à des modèles de partition clairs. Vous pouvez maintenant utiliser des caractères génériques pour spécifier des hiérarchies de dossiers personnalisées. Pour en savoir plus, lisez Comment modifier un lac de données.
Janvier 2022 Nouveaux modèles de base de données Découvrez les nouveaux modèles spécifiques aux secteurs de l’automobile, de la génomique, de la fabrication et de l’industrie pharmaceutique et comment bien démarrer avec les modèles de base de données dans la galerie Synapse Studio.

Expérience développeur

Cette section est une archive des améliorations de la qualité de vie et des fonctionnalités pour les développeurs dans Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Mai 2022 Mise à jour du rapport Azure Synapse Analyzer Découvrez les nouvelles fonctionnalités de la version 2.0 du rapport Synapse Analyzer.
Avril 2022 Rapport Azure Synapse Analyzer Le rapport Azure Synapse Analyzer vous aide à identifier les problèmes courants qui peuvent être présents dans votre base de données et sont susceptibles d’entraîner des problèmes de performances.
Avril 2022 Référencer des notebooks non publiés À présent, quand vous utilisez des notebooks %run, vous pouvez activer « référencer des notebooks non publiés », qui vous permettra de référencer des notebooks non publiés. Lorsque cette option est activée, l’exécution du bloc-notes récupère le contenu actuel dans le cache web du bloc-notes, ce qui signifie que les modifications apportées à votre éditeur de bloc-notes peuvent être référencées immédiatement par d’autres blocs-notes sans avoir à être publiés (mode direct) ou validés (mode Git).
Mars 2022 Cellules de code avec exception pour montrer la sortie standard Maintenant, dans les notebooks Synapse, la sortie standard et les messages d’exception sont affichés quand une instruction du code échoue pour les langages Python et Scala. Pour obtenir des exemples, consultez Notebooks Synapse : Cellules de code avec exception pour montrer la sortie standard.
Mars 2022 Une sortie partielle est disponible pour l’exécution de cellules de code de notebook Maintenant, dans les notebooks Synapse, vous pouvez voir tout ce que vous écrivez (par exemple avec des commandes println) quand la cellule s’exécute au lieu d’attendre qu’elle se termine. Pour obtenir des exemples, consultez Notebooks Synapse : une sortie partielle est disponible pour l’exécution de cellules de code de notebook.
Mars 2022 Contrôler dynamiquement votre configuration de session Spark avec des paramètres de pipeline Maintenant, dans les notebooks Synapse, vous pouvez utiliser des paramètres de pipeline pour configurer la session avec le magic %%configure. Pour obtenir des exemples, consultez Notebooks Synapse : contrôler dynamiquement votre configuration de session Spark avec des paramètres de pipeline.
Mars 2022 Réutiliser et gérer des sessions de notebook Maintenant, dans les notebooks Synapse, il est facile de réutiliser une session active de manière pratique sans devoir en démarrer une nouvelle, et de voir et gérer vos sessions actives dans la liste Sessions actives. Pour voir vos sessions, sélectionnez les 3 points dans le notebook et sélectionnez Gérer les sessions. Pour obtenir des exemples, consultez Notebooks Synapse : Réutiliser et gérer les sessions de notebook.
Mars 2022 Prise en charge de la journalisation Python Dans les notebooks Synapse, tout ce qui est écrit dans le module de journalisation Python est maintenant capturé, en plus des journaux des pilotes. Pour obtenir des exemples, consultez Notebooks Synapse : Prise en charge de la journalisation Python.

Machine Learning

Cette section est une archive des fonctionnalités et améliorations apportées aux modèles Machine Learning dans Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Juin 2022 Entraînement des réseaux neuronaux profonds distribués (préversion) Le runtime Azure Synapse inclut également des bibliothèques de prise en charge, telles que Petastorm et Horovod, qui sont couramment utilisées pour l’entraînement distribué. Cette fonctionnalité est actuellement disponible en préversion. Le runtime Azure Synapse Analytics pour Apache Spark 3.1 et 3.2 inclut désormais aussi la prise en charge des bibliothèques de deep learning les plus courantes, comme TensorFlow et PyTorch. Pour en savoir plus sur l’utilisation de ces bibliothèques dans vos pools accélérés par GPU Azure Synapse Analytics, lisez les tutoriels de Deep Learning.
Novembre 2021 PREDICT La syntaxe T-SQL PREDICT est maintenant en disponibilité générale pour les pools SQL dédiés. Bien démarrer avec l’Assistant Scoring de modèle Machine Learning pour les pools SQL dédiés.

Exemples et instructions

Cette section est une archive des ressources pour les instructions et les exemples de projet pour Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Juin 2022 Analytique Azure Orbital avec Synapse Analytics Nus offrons maintenant un exemple de solution d’analytique Azure Orbital montrant une implémentation de bout en bout de l’extraction, du chargement, de la transformation et de l’analyse de données spatiales en utilisant des bibliothèques géospatiales et des modèles d’IA avec Azure Synapse Analytics. L’exemple de solution montre également comment intégrer des modèles géospatiaux spécifiques Azure AI services, des modèles d’IA des partenaires et des modèles « apportez vos propres données ».
Juin 2022 Guides de migration pour Oracle Un nouveau guide de migration créé par Microsoft pour Oracle vers Azure Synapse Analytics est maintenant disponible. Conception et performances pour les migrations Oracle.
Juin 2022 Réussite d’Azure Synapse par conception Le playbook Preuve de concept d’Azure Synapse fournit un guide d’étendue, de conception, d’exécution et d’évaluation d’une preuve de concept pour les charges de travail SQL ou Spark.
Juin 2022 Guides de migration pour Teradata Un nouveau guide de migration créé par Microsoft pour Teradata vers Azure Synapse Analytics est maintenant disponible. Conception et performances pour les migrations Teradata.
Juin 2022 Guides de migration pour IBM Netezza Un nouveau guide de migration créé par Microsoft pour IBM Netezza vers Azure Synapse Analytics est maintenant disponible. Conception et performances pour les migrations IBM Netezza.

Sécurité

Cette section est une archive des fonctionnalités et paramètres de sécurité récents dans Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Avril 2022 Rôle RBAC Opérateur de supervision Synapse Le rôle RBAC Opérateur de supervision Synapse permet à un utilisateur de superviser l’exécution des applications Synapse Pipelines et Spark sans avoir la possibilité d’exécuter ou d’annuler l’exécution de ces applications. Pour plus d’informations, passez en revue les rôles RBAC Synapse.
Mars 2022 Imposer une version minimale de TLS Vous pouvez maintenant élever ou abaisser la version minimale de TLS pour les pools SQL dédiés dans les espaces de travail Synapse. Pour plus d’informations, consultez Paramètres de connectivité d’Azure SQL. L’API SQL managée de l’espace de travail peut être utilisée pour modifier les valeurs minimales de TLS.
Mars 2022 Azure Synapse Analytics prend désormais en charge l’authentification Azure Active Directory (Azure AD) uniquement Vous pouvez maintenant utiliser l’authentification Azure Active Directory pour gérer de manière centralisée l’accès à toutes les ressources Azure Synapse, y compris les pools SQL. Vous pouvez désactiver l’authentification locale lors de la création ou après la création d’un espace de travail via le portail Azure.
Décembre 2021 Identités managées affectées par l’utilisateur Vous pouvez maintenant utiliser des identités managées affectées par l’utilisateur avec des services liés pour l’authentification dans les pipelines et les flux de données Synapse. Pour plus d’informations, consultez Informations d’identification dans Azure Data Factory et Azure Synapse.
Décembre 2021 Parcourir des dossiers ADLS Gen2 dans l’espace de travail Azure Synapse Analytics Vous pouvez maintenant parcourir et sécuriser un conteneur ou un dossier Azure Data Lake Storage Gen2 (ADLS Gen2) dans votre espace de travail Azure Synapse Analytics en vous connectant à un conteneur ou un dossier spécifique dans Synapse Studio.
Décembre 2021 TLS 2.1 imposé pour les nouveaux espaces de travail Synapse À compter de décembre 2021, une exigence d’utilisation de TLS 1.2 a été implémentée pour les nouveaux espaces de travail Synapse uniquement.

Azure Synapse Data Explorer

Azure Data Explorer (ADX) est un service d’exploration de données rapide et très scalable pour les données des journaux et de télémétrie. Il permet l’ingestion depuis Event Hubs, des hubs IoT, des objets blob écrits dans des conteneurs d’objets blob et des travaux Azure Stream Analytics. Cette section est une archive des fonctionnalités et capacités d’Azure Synapse Data Explorer et du Langage de requête Kusto (KQL). Pour plus d’informations, consultez Différence entre Azure Synapse Data Explorer et Azure Data Explorer (préversion)

Month Fonctionnalité En savoir plus
Juin 2022 Nouvelle page d’accueil de Web Explorer La nouvelle page d’accueil de Web Explorer facilite encore la prise en main de Synapse Web Explorer.
Juin 2022 Galerie d’exemples Web Explorer La galerie d’exemples Web Explorer fournit des échantillons de bout en bout de la façon dont les clients tirent parti des cas d’usage courants Synapse Data Explorer, comme les données de journaux, les données de métriques, les données IoT et les exemples de Big Data de base.
Juin 2022 Fonctionnalités d’exploration des tableaux de bord Web Explorer Vous pouvez maintenant utiliser des explorations comme paramètres dans vos tableaux de bord Synapse Web Explorer.
Juin 2022 Paramètres de fuseau horaire pour Web Explorer Les paramètres de fuseau horaire de Web Explorer s’appliquent désormais aux résultats de la requête et au tableau de bord. Si vous modifiez le fuseau horaire, les tableaux de bord sont automatiquement actualisés pour présenter les données avec le fuseau horaire sélectionné.
Mai 2022 Requête dynamique Synapse Data Explorer dans Excel En utilisant la nouvelle fonctionnalité Ouvrir dans Excel de l’expérience web Data Explorer, vous pouvez maintenant fournir un accès aux résultats dynamiques de votre requête en partageant le classeur Excel connecté avec des collègues et des membres de l’équipe. Vous pouvez ouvrir la requête en direct dans un classeur Excel et l’actualiser directement à partir d’Excel pour obtenir les résultats de requête les plus à jour. Pour créer un classeur Excel connecté à Synapse Data Explorer, commencez par exécuter une requête dans l’expérience web.
Mai 2022 Utiliser des identités managées pour des tables SQL Server externes Avec la prise en charge des identités managées, la définition de table Synapse Data Explorer est désormais plus simple et plus sécurisée. Vous pouvez maintenant utiliser des identités managées au lieu d’entrer vos informations d’identification. Pour en savoir plus sur les tables externes, lisez Créer et modifier les tables externes SQL Server.
Mai 2022 Connecteur Azure Synapse Data Explorer pour Microsoft Power Automate, Logic Apps et Power Apps Les nouveaux connecteurs Azure Data Explorer pour Power Automate sont en disponibilité générale. Pour plus d’informations, consultez Connecteur Azure Data Explorer pour Microsoft Power Automate, Microsoft Logic App et Azure Data Explorer et la possibilité de Créer une application Power Apps pour interroger des données dans Azure Data Explorer.
Mai 2022 Routage des événements dynamiques du hub d’événements vers plusieurs bases de données Nous prenons maintenant en charge le routage des données d’événements provenant d’Azure Event Hub/Azure IoT Hub/Azure Event Grid vers plusieurs bases de données hébergées dans un même cluster ADX. Pour en savoir plus sur le routage dynamique, lisez Ingestion à partir d’Event Hub.
Mai 2022 Configurer une base de données en utilisant un script inline KQL dans le cadre du modèle de déploiement ARM JSON L’exécution d’un script KQL (Kusto Query Language) pour configurer votre base de données peut désormais être effectuée en utilisant un script inline fourni en tant que paramètre pour un modèle ARM JSON.

Azure Synapse Link est un système automatisé permettant de répliquer des données provenant de SQL Server ou Azure SQL Database, Azure Cosmos DB ou Dataverse dans Azure Synapse Analytics. Cette section est une archive d’actualités sur la fonctionnalité Azure Synapse Link.

Month Fonctionnalité En savoir plus
Mai 2022 Préversion Azure Synapse Link pour SQL Azure Synapse Link pour SQL est en préversion pour SQL Server 2022 et Azure SQL Database. La fonctionnalité Azure Synapse Link fournit une réplication de données en quasi-temps réel à faible code et sans code à partir de vos magasins opérationnels basés sur SQL dans Azure Synapse Analytics. Fournissez des rapports décisionnels sur les données opérationnelles en quasi-temps réel, avec un impact minimal sur votre magasin opérationnel. La préversion d’Azure Synapse Link pour SQL a été annoncée. Pour plus d’informations, consultez Blog : Azure Synapse Link pour SQL en détails.

SQL Synapse

Cette section est une archive des améliorations et fonctionnalités des pools SQL dans Azure Synapse Analytics.

Month Fonctionnalité En savoir plus
Juin 2022 Augmentation de la limite de taille des jeux de résultats La taille maximale des jeux de résultats des requêtes dans les pools SQL serverless a été augmentée de 200 à 400 Go.
Mai 2022 Calcul automatique de la longueur des colonnes de caractères pour les pools SQL serverless Il n’est plus nécessaire de définir des longueurs de colonne de caractères pour les pools SQL sans serveur dans le lac de données. Vous pouvez obtenir des performances optimales pour les requêtes sans avoir à définir le schéma, car le pool SQL serverless utilise automatiquement les longueurs de colonne moyennes calculées et l’estimation de cardinalité.
Avril 2022 Disponibilité générale de la restauration inter-abonnements pour Azure Synapse SQL Avec la mise à jour du module PowerShell Az.Sql 3.8, la cmdlet Restore-AzSqlDatabase peut être utilisée pour la restauration inter-abonnements de pools SQL dédiés. Pour plus d’informations, consultez Restaurer un pool SQL dédié sur un autre abonnement. Cette fonctionnalité est maintenant en disponibilité générale pour les pools SQL dédiés (anciennement SQL DW) et pour les pools SQL dédiés dans un espace de travail Synapse. Quelle est la différence ?
Avril 2022 Récupérer un pool SQL à partir d’un serveur ou d’un espace de travail supprimé Avec les cmdlets de restauration PowerShell dans les modules Az.Sql et Az.Synapse, vous pouvez maintenant restaurer à partir d’un serveur ou d’un espace de travail supprimé sans ouvrir un ticket de support. Pour plus d’informations, consultez Restaurer un pool SQL dédié à partir d’un espace de travail Azure Synapse supprimé ou Restaurer un pool SQL dédié autonome (anciennement SQL DW) à partir d’un serveur supprimé, selon votre scénario.
Mars 2022 Chiffrement au niveau des colonnes pour les pools SQL dédiés Le chiffrement au niveau des colonnes est maintenant en disponibilité générale sur les serveurs logiques nouveaux et existants Azure SQL avec les pools SQL dédiés Azure Synapse ainsi que les pools SQL dédiés dans les espaces de travail Azure Synapse. La prise en charge par SQL Server Data Tools (SSDT) du chiffrement au niveau des colonnes pour les pools SQL dédiés est disponible à partir de la build 17.2 Preview 2 de Visual Studio 2022.
Mars 2022 Exécution parallèle pour CETAS De meilleures performances pour CREATE TABLE AS SELECT (CETAS) et les instructions SELECT suivantes sont désormais rendues possibles en utilisant des plans d’exécutions parallèles. Pour obtenir des exemples, consultez Amélioration des performances pour CETAS et les instructions SELECT suivantes.

Mises à jour mensuelles précédentes dans Azure Synapse Analytics

Voici le format précédent des mises à jour mensuelles des actualités pour Synapse Analytics.

Mise à jour de juin 2022

Général

  • Analyse Azure Orbital avec Synapse Analytics : nous offrons désormais un exemple de solution d’analyse Azure Orbital montrant une implémentation de bout en bout de l’extraction, du chargement, de la transformation et de l’analyse des données spatiales à l’aide de bibliothèques géospatiales et de modèles d’IA avec Azure Synapse Analytics. L’exemple de solution montre également comment intégrer des modèles géospatiaux spécifiques Azure AI services, des modèles d’IA des partenaires et des modèles « apportez vos propres données ».

  • Réussite par conception d’Azure Synapse : la réussite du projet n’est pas un accident et nécessite une planification et une exécution minutieuses. Les playbooks « Réussite par conception » de Synapse Analytics sont désormais disponibles. Le playbook Preuve de concept d’Azure Synapse fournit un guide d’étendue, de conception, d’exécution et d’évaluation d’une preuve de concept pour les charges de travail SQL ou Spark. Ces guides contiennent les meilleures pratiques des implémentations de solutions les plus difficiles et complexes intégrant Azure Synapse. Pour en savoir plus sur le playbook Preuve de concept d’Azure Synapse, lisez Réussite par conception.

SQL

Augmentation de la limite de taille du jeu de résultats : nous savons que vous passez à Azure Synapse Analytics pour travailler avec de grandes quantités de données. Sachant cela, la taille maximale des jeux de résultats des requêtes dans les pools SQL serverless a été augmentée de 200 à 400 Go. Cette limite est partagés entre les requêtes simultanées. Pour en savoir plus sur cette augmentation de taille et d’autres contraintes, lisez l’Aide autonome pour le pool SQL serverless.

Synapse Data Explorer

  • Nouvelle page d’accueil de Web Explorer : la nouvelle page d’accueil Synapse Web Explorer facilite encore la prise en main de Synapse Web Explorer. La page d’accueil de Web Explorer inclut désormais les sections suivantes :

    • Démarrage : exemple de galerie offrant des exemples de requêtes et de tableaux de bord pour les cas d’usage populaires de Synapse Data Explorer.
    • Recommandé : modules d’apprentissage populaires conçus pour vous aider à maîtriser Synapse Web Explorer et KQL.
    • Documentation : documentation de base et avancée de Synapse Web Explorer.

  • Galerie d’exemples Web Explorer : un excellent moyen d’en savoir plus sur un produit consiste à voir comment il est utilisé par d’autres utilisateurs. La galerie d’exemples Web Explorer fournit des exemples de bout en bout de la façon dont les clients tirent parti des cas d’usage courants de l’explorateur de données Synapse, tels que les données des journaux, les données de métriques, les données IoT et les exemples de Big Data de base. Chaque exemple inclut le jeu de données, des requêtes bien documentées et un exemple de tableau de bord. Pour en savoir plus sur l’exemple de galerie, lisez Azure Data Explorer en 60 minutes avec la nouvelle galerie d’exemples.

  • Fonctionnalités d’extraction des tableaux de bord Web Explorer : vous pouvez désormais ajouter des fonctionnalités d’extraction à vos tableaux de bord Synapse Web Explorer. Les nouvelles fonctionnalités d’extraction vous permettent de sauter facilement entre les pages de tableau de bord. Cela est rendu possible à l’aide d’un filtre contextuel pour connecter vos tableaux de bord. Pour définir ces extactions contextuelles, modifiez les interactions visuelles de la vignette sélectionnée dans votre tableau de bord. Pour en savoir plus sur les fonctionnalités d’extraction, lisez Utiliser des extractions comme paramètres de tableau de bord.

  • Paramètres de fuseau horaire pour Web Explorer : l’affichage des données dans différents fuseaux horaires est très puissant. Vous pouvez maintenant décider d’afficher les données en heure UTC, dans votre fuseau horaire local ou le fuseau horaire de l’appareil/ordinateur surveillé. Les paramètres de fuseau horaire de Web Explorer s’appliquent désormais aux résultats de la requête et au tableau de bord. Si vous modifiez le fuseau horaire, les tableaux de bord sont automatiquement actualisés pour présenter les données avec le fuseau horaire sélectionné. Pour plus d’informations sur les paramètres du fuseau horaire, lisez Remplacer DateTime par un fuseau horaire spécifique.

Intégration des données

  • Option de jointure floue dans la transformation de jointure : une correspondance floue avec une option de score de similarité glissante a été ajoutée à la transformation de jointure dans les flux de données de mappage. Vous pouvez créer des jointures internes et externes sur des valeurs de données similaires plutôt que des correspondances exactes ! Auparavant, vous devrez utiliser une correspondance exacte. La valeur d’échelle glissante passe de 60 % à 100 %, ce qui facilite l’ajustement du seuil de similitude de la correspondance. Pour en savoir plus sur les jointures floues, lisez Transformation de jointure dans le flux de données de mappage.

  • Mappage de données [En disponibilité générale] : nous sommes heureux d’annoncer que l’outil Mappage de données est maintenant en disponibilité générale. L’outil Mappage de données est un processus guidé qui aide les utilisateurs à créer des mappages ETL et des flux de données de mappage depuis vos données sources vers Synapse sans écrire de code. Pour en savoir plus sur Mappage de données, lisez Mappage de données dans Azure Synapse Analytics.

  • Réexécuter le pipeline avec de nouveaux paramètres : vous pouvez maintenant changer les paramètres de pipeline lors de la réexécution d’un pipeline à partir de la page Supervision sans devoir revenir à l’éditeur de pipeline. Après avoir exécuté un pipeline avec de nouveaux paramètres, vous pouvez facilement surveiller la nouvelle exécution sur les anciennes sans avoir à basculer entre les pages. Pour en savoir plus sur la réexécution des pipelines avec de nouveaux paramètres, lisez Réexécuter des pipelines et des activités.

  • Fonctions définies par l’utilisateur [En disponibilité générale] : nous sommes heureux d’annoncer que les fonctions définies par l’utilisateur sont maintenant en disponibilité générale. Avec les fonctions définie par l’utilisateur, vous pouvez créer des expressions personnalisées qui peuvent être réutilisées sur plusieurs flux de données de mappage. Vous n’avez plus besoin d’utiliser la même manipulation de chaîne, les calculs mathématiques ou d’autres logiques complexes plusieurs fois. Les fonctions définies par l’utilisateur seront rassemblées dans des bibliothèques pour aider les développeurs à regrouper des ensembles de fonctions communs. Pour en savoir plus sur les fonctions définies par l’utilisateur, lisez Fonctions définies par l’utilisateur dans les flux de données de mappage.

Apprentissage automatique

Entraînement de réseau neuronal profond distribué avec Horovod et Petastorm [Préversion publique] : pour simplifier le processus de création et de gestion des pools accélérés par GPU, Azure Synapse s’occupe de la préinstallation des bibliothèques de bas niveau et de la configuration de toutes les exigences réseau complexes entre les nœuds de calcul. Cette intégration permet aux utilisateurs de bien démarrer avec les pools accélérés par GPU en quelques minutes.

Maintenant, Azure Synapse Analytics garantit une prise en charge intégrée de l’infrastructure de Deep Learning. Le runtime Azure Synapse Analytics pour Apache Spark 3.1 et 3.2 inclut la prise en charge des bibliothèques de Deep Learning les plus courantes comme TensorFlow et PyTorch. Le runtime Azure Synapse inclut également des bibliothèques de prise en charge, telles que Petastorm et Horovod, qui sont couramment utilisées pour l’entraînement distribué. Cette fonctionnalité est actuellement disponible en préversion publique.

Pour en savoir plus sur l’utilisation de ces bibliothèques dans vos pools accélérés par GPU Azure Synapse Analytics, lisez les tutoriels de Deep Learning.

Mise à jour de mai 2022

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Général

Connectez-vous au nouveau programme Azure Synapse Influencer !Rejoignez une communauté d’influenceurs Azure Synapse qui s’entraide avec l’analyse cloud ! Le programme Azure Synapse Influencer reconnaît les utilisateurs et défenseurs Azure Synapse Analytics qui soutiennent activement la communauté en partageant du contenu, des annonces et des actualités liées à Synapse sur les réseaux sociaux.

SQL

  • Guide de migration Data Warehouse pour les pools de SQL dédiés dans Azure Synapse Analytics : Avec les avantages offerts par la migration cloud, nous entendons que vous recherchez souvent des étapes, des processus ou des instructions à suivre pour des migrations rapides et faciles à partir d’environnements d’entrepôt de données existants. Nous venons de publier un ensemble de guides de migration Data Warehouse pour faciliter votre transition vers des pools SQL dédiés dans Azure Synapse Analytics.

  • Calcul automatique de la longueur des colonnes de caractères : Il n’est plus nécessaire de définir des longueurs de colonne de caractères ! Les pools SQL serverless vous permettent d’interroger des fichiers dans le lac de données sans connaître le schéma à l’avance. La meilleure pratique consiste à spécifier les longueurs des colonnes de caractères pour obtenir des performances optimales. Ce n’est plus le cas ! Avec cette nouvelle fonctionnalité, vous pouvez obtenir des performances de requête optimales sans avoir à définir le schéma. Le pool SQL serverless calcule la longueur moyenne de colonne pour chaque colonne de caractères déduite définie comme supérieure à 100 octets. Le schéma reste le même, tandis que le pool SQL serverless utilise les longueurs de colonne moyennes calculées en interne. Il calcule également automatiquement l’estimation de cardinalité au cas où il n’y avait pas de statistique créée précédemment.

Apache Spark pour Synapse

  • Le connecteur de pools SQL dédiés Azure Synapse pour Apache Spark désormais disponible dans Python : auparavant, le connecteur de pools SQL dédiés Azure Synapse n’était disponible qu’à l’aide de Scala. À présent, il peut être utilisé avec Python sur Spark 3. La seule différence entre les implémentations Scala et Python est le descripteur de rappel Scala facultatif, qui vous permet de recevoir des métriques post-écriture.

    Les éléments suivants sont désormais pris en charge dans Python sur Spark 3 :

    • Lecture à l’aide de l’authentification Azure Active Directory (AD) ou de l’authentification de base
    • Écrire dans une table interne à l’aide d’Azure AD Authentication ou de l’authentification de base
    • Écrire dans une table externe à l’aide d’Azure AD Authentication ou de l’authentification de base

    Pour en savoir plus sur le connecteur dans Python, lisez l’article Connecteur de pools SQL dédiés Azure Synapse pour Apache Spark.

  • Gérer la configuration Azure Synapse Apache Spark : la gestion de la configuration Apache Spark est toujours une tâche difficile, car Spark a des centaines de propriétés. Il est également difficile pour vous de connaître la valeur optimale des configurations Spark. Avec la nouvelle fonctionnalité de gestion de la configuration Spark, vous pouvez créer un artefact de configuration Spark autonome avec des suggestions automatiques et des règles de validation intégrées. L’artefact de configuration Spark vous permet de partager votre configuration Spark au sein des espaces de travail et entre les espaces de travail Azure Synapse. Vous pouvez également facilement associer votre configuration Spark à un pool Spark, un notebook et une définition de travail Spark pour les réutiliser et réduire la nécessité de copier la configuration Spark à plusieurs endroits. Pour en savoir plus sur la nouvelle fonctionnalité de gestion de la configuration Spark, consultez Gérer la configuration Apache Spark.

Synapse Data Explorer

  • La requête en direct Synapse Data Explorer dans Excel : À l’aide de la nouvelle fonctionnalité expérience web Data Explorer dans Excel, vous pouvez désormais fournir l’accès aux résultats en direct de votre requête en partageant le classeur Excel connecté avec des collègues et des membres de l’équipe.  Vous pouvez ouvrir la requête en direct dans un classeur Excel et l’actualiser directement à partir d’Excel pour obtenir les résultats de requête les plus à jour. Pour en savoir plus sur la requête en direct Excel, lisez Ouvrir une requête en direct dans Excel.

  • Utiliser des identités managées pour les tables SQL Server externes : l’un des principaux avantages d’Azure Synapse est la possibilité de rassembler l’intégration des données, l’entreposage de données d’entreprise et l’analytique Big Data. Avec la prise en charge des identités managées, la définition de table Synapse Data Explorer est désormais plus simple et plus sécurisée. Vous pouvez désormais utiliser des identités managées au lieu d’entrer vos informations d’identification.

    Une table externe SQL est une entité de schéma qui fait référence à des données stockées en dehors d’une base de données Synapse Data Explorer. Avec la commande Créer et modifier les tables externes SQL Server, les tables externes SQL peuvent être ajoutées facilement au schéma de la base de données Synapse Data Explorer.

    Pour en savoir plus sur les identités managées, consultez Présentation des identités managées.

    Pour en savoir plus sur les tables externes, lisez Créer et modifier les tables externes SQL Server.

  • Le nouveau module d’apprentissage KQL (2 sur 3) est en direct ! - La puissance du Langage de requête Kusto (KQL) réside dans sa simplicité à interroger des données structurées, semi-structurées et non structurées ensemble. Pour faciliter l’apprentissage de KQL, nous publions des modules Learn. Nous avons publié Écrire votre première requête avec le langage de requête Kusto. Ce mois-ci, nous publions Obtenir des insights de vos données avec le langage de requête Kusto.

    KQL est le langage de requête utilisé pour interroger Synapse Data Explorer Big Data. KQL a une communauté d’utilisateurs à croissance rapide, avec des centaines de milliers de développeurs, d’ingénieurs de données, d’analystes de données et d’étudiants.

    Découvrez les derniers modules KQL Learn et découvrez par vous-même comment il est facile de devenir un professionel de KQL.

    Pour en savoir plus sur KQL, consultez Présentation du Langage de requête Kusto (KQL).

  • Connecteur Azure Synapse Data Explorer pour Microsoft Power Automate, Logic Apps et Power Apps [En disponibilité générale] : le connecteur Azure Data Explorer pour Power Automate vous permet d’orchestrer et de planifier des flux, d’envoyer des notifications et des alertes, dans le cadre d’une tâche planifiée ou déclenchée. Pour plus d’informations, lisez Connecteur Azure Data Explorer pour Microsoft Power Automate et Exemples d’utilisation pour le connecteur Azure Data Explorer pour Power Automate.

  • Routage des événements dynamiques du hub d’événements vers plusieurs bases de données : le routage des événements à partir d’Event Hub/IOT Hub/Event Grid est une activité généralement effectuée par les utilisateurs d’Azure Data Explorer (ADX). Auparavant, vous ne pouviez acheminer les événements que vers une base de données unique par connexion définie. Si vous souhaitez acheminer les événements vers plusieurs bases de données, vous devez créer plusieurs connexions de cluster ADX.

    Pour simplifier l’expérience, nous prenons désormais en charge le routage des données d’événements vers plusieurs bases de données hébergées dans un seul cluster ADX. Pour en savoir plus sur le routage dynamique, lisez Ingestion à partir d’Event Hub.

  • Configurer une base de données en utilisant un script KQL inline dans le cadre du modèle de déploiement ARM JSON : auparavant, Azure Data Explorer prenait en charge l’exécution d’un script KQL pour configurer votre base de données lors du déploiement du modèle Azure Resource Manager (ARM). À présent, cette opération peut être effectuée à l’aide d’un script inclus fourni en tant que paramètre pour un modèle ARM JSON. Pour en savoir plus sur l’utilisation d’un script inclus KQL, lisez Configurer une base de données à l’aide d’un script Langage de requête Kusto.

Intégration de données

  • Exporter la surveillance du pipeline en tant que CSV : la possibilité d’exporter la surveillance du pipeline au format CSV a été ajoutée après avoir reçu de nombreuses demandes de la part de la communauté. Filtrez simplement l’écran des exécutions du pipeline sur les données souhaitées, puis sélectionnez Exporter au format CSV*. Pour en savoir plus sur l’exportation de la surveillance des pipelines et d’autres améliorations de surveillance, lisez Améliorations de la surveillance Azure Data Factory.

  • Chargement incrémentiel des données facilité pour Synapse et Azure Database pour PostgreSQL et MySQL : dans une solution d’intégration de données, le chargement incrémentiel des données après une charge initiale complète des données est un scénario largement utilisé. Le chargement incrémentiel automatique des données sources est désormais disponible en mode natif pour Synapse SQL et Azure Database pour PostgreSQL et MySQL. Les utilisateurs peuvent « activer l’extraction incrémentielle » : seules les lignes insérées ou mises à jour seront alors lues par le pipeline. Pour en savoir plus sur le chargement incrémentiel des données, lisez Copie incrémentielle des données d’un magasin de données source vers un magasin de données de destination.

  • Fonctions définies par l’utilisateur pour les flux de données de mappage [préversion publique] : vous pouvez effectuer la même manipulation de chaînes, les mêles calculs mathématiques ou d’autres logiques complexes plusieurs fois. Maintenant, avec la nouvelle fonctionnalité de fonction définie par l’utilisateur, vous pouvez créer des expressions personnalisées qui peuvent être réutilisées sur plusieurs flux de données de mappage. Les fonctions définies par l’utilisateur seront rassemblées dans des bibliothèques pour aider les développeurs à regrouper des ensembles de fonctions communs. Une fois que vous avez créé une bibliothèque de flux de données, vous pouvez ajouter vos fonctions définies par l’utilisateur. Vous pouvez même ajouter plusieurs arguments pour rendre votre fonction plus réutilisable. Pour en savoir plus sur les fonctions définies par l’utilisateur, lisez Fonctions définies par l’utilisateur dans les flux de données de mappage.

  • Gestion des erreurs d’assertion : la gestion des erreurs a maintenant été ajoutée aux récepteurs après une transformation d’assertion. Les transformations d’assertion vous permettent de créer des règles personnalisées pour la qualité des données et la validation des données. Vous pouvez maintenant choisir de générer les lignes ayant échoué vers le récepteur sélectionné ou dans un fichier distinct. Pour en savoir plus sur la gestion des erreurs, lisez Transformation de données d’assertion dans le flux de données de mappage.

  • Modification de projection des flux de données de mappage : de nouvelles mises à jour de l’interface utilisateur ont été apportées à la modification de projection source dans les flux de données de mappage. Vous pouvez maintenant mettre à jour les noms et les types des colonnes de projection de la source. Pour en savoir plus sur la modification de la projection source, lisez Transformation source dans le flux de données de mappage.

Azure Synapse Link pour SQL Server : au Microsoft Build 2022, nous avons annoncé la disponibilité de la préversion publique d’Azure Synapse Link pour SQL, à la fois pour SQL Server 2022 et Azure SQL Database. Les insights de qualité pilotées par les données sont essentielles pour que les entreprises restent compétitives. Atteindre ces insights rapidement peut faire toute la différence. La nature coûteuse et fastidieuse des pipelines ETL et ELT traditionnels n’est plus suffisante. Avec cette version, vous pouvez désormais utiliser la réplication de données en quasi-temps réel à faible code et sans code à partir de vos magasins opérationnels basés sur SQL dans Azure Synapse Analytics. Cela facilite l’exécution de rapports décisionnels sur les données opérationnelles en quasi-temps réel, avec un impact minimal sur votre magasin opérationnel. Pour en savoir plus, lisez Annonce de la préversion publique d’Azure Synapse Link pour SQL et regardez notre vidéo YouTube.

Mise à jour d’avril 2022

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

SQL

  • La restauration entre abonnements pour Azure Synapse SQL est désormais en disponibilité générale. Auparavant, il est passé par de nombreuses étapes non documentées pour restaurer un pool de SQL dédié sur un autre abonnement. Maintenant, avec la mise à jour du module PowerShell Az.Sql 3.8, l’applet de commande Restore-AzSqlDatabase peut être utilisée pour la restauration entre abonnements. Pour plus d’informations, consultez Restaurer un pool SQL dédié (anciennement SQL DW) sur un autre abonnement.

  • Il est désormais possible de récupérer un pool SQL à partir d’un serveur ou d’un espace de travail supprimé. Avec les applets de commande PowerShell Restore dans les modules Az.Sql et Az.Synapse, vous pouvez maintenant restaurer à partir d’un serveur ou d’un espace de travail supprimé sans déposer de ticket de support. Pour plus d’informations, lisez Pools SQL d'espace de travail Synapse ou Pools SQL autonomes (anciennement SQL DW), selon votre scénario.

Modèles de base de données et concepteur de bases de données Synapse

  • Sur la base des commentaires des clients connus, nous avons apporté des améliorations significatives à notre expérience d’exploration lors de la création d’une base de données de lac à l’aide d’un modèle d’industrie. Pour en savoir plus, consultez Démarrage rapide : Créer une base de données de lac en tirant parti de modèles de base de données.

  • Nous avons ajouté l’option pour cloner une base de données de lac. Cela déverrouille des opportunités supplémentaires pour gérer de nouvelles versions de bases de données ou prendre en charge des schémas qui évoluent par étapes discrètes. Vous pouvez rapidement cloner une base de données à l’aide du menu action disponible sur la base de données du lac. Pour en savoir plus, lisez Comment cloner une base de données de lac.

  • Vous pouvez maintenant utiliser des caractères génériques pour spécifier des hiérarchies de dossiers personnalisées. Les bases de données de lac sont basées sur les données qui se trouvent dans le lac, et ces données peuvent se trouver dans des dossiers imbriqués qui ne s’adaptent pas à des modèles de partition clairs. Auparavant, l’interrogation des bases de données de lac exigeait que vos données existent dans une structure de répertoires simple que vous pouviez parcourir à l’aide de l’icône de dossier sans pouvoir spécifier manuellement la structure de répertoire ni utiliser des caractères génériques. Pour en savoir plus, lisez Comment modifier un lac de données.

Apache Spark pour Synapse

  • Nous sommes heureux d’annoncer la préversion d’Apache Spark™ 3.2 sur Synapse Analytics. Cette nouvelle version incorpore des améliorations demandées par l’utilisateur et résout 1 700 tickets Jira. Consultez les notes de publication officielles pour obtenir la liste complète des correctifs et fonctionnalités et consultez les instructions de migration entre Spark 3.1 et 3.2 pour évaluer les modifications potentielles apportées à vos applications. Pour plus d’informations, consultez Prise en charge de la version d’Apache Spark et du runtime Azure Synapse pour Apache Spark 3.1.

  • L’attribution dynamique de paramètres en fonction de variables, de métadonnées ou de spécification de paramètres spécifiques au pipeline a été l’une de vos principales demandes de fonctionnalités. Maintenant, avec la sortie de la paramétrisation pour l’activité de définition de travail Spark, vous pouvez le faire. Pour plus d’informations, lisez Transformer des données avec une définition de tâche Apache Spark.

  • Nous recevons souvent des demandes de client pour accéder à la capture instantanée du bloc-notes lorsqu’il existe un échec d’exécution du notebook de pipeline ou qu’il existe une tâche de bloc-notes de longue durée. Avec la version de la fonctionnalité de capture instantanée Synapse Notebook, vous pouvez maintenant afficher la capture instantanée de l’activité Notebook exécutée avec le code Notebook d’origine, la sortie de cellule et les paramètres d’entrée. Vous pouvez également accéder à l’instantané du bloc-notes référencé à partir de la sortie de cellule Notebook de référence si vous faites référence à d’autres blocs-notes via des utils Spark. Pour plus d’informations, lisez Transformer des données en exécutant un notebook Synapse et Présentation des utilitaires Microsoft Spark.

Sécurité

  • Le rôle RBAC de l’opérateur de surveillance Synapse est désormais en disponibilité générale. Depuis la disponibilité générale de Synapse, les clients ont demandé un rôle RBAC affiné (contrôle d’accès en fonction du rôle) qui permet à un utilisateur de surveiller l’exécution des applications Synapse Pipelines et Spark sans avoir la possibilité d’exécuter ou d’annuler l’exécution de ces applications. À présent, les clients peuvent attribuer le rôle Opérateur de supervision Synapse à ces personnes chargées de la supervision. Cela permet aux organisations de rester conformes tout en ayant la flexibilité nécessaire à la délégation de tâches à des personnes ou à des équipes. En savoir plus en lisant Rôles RBAC Synapse.

Intégration des données

  • Microsoft a ajouté Dataverse en tant que connecteur source et récepteur aux flux de données Synapse afin que vous puissiez maintenant créer des travaux ETL de transformation de données à faible code dans Synapse directement à l’accès à votre environnement Dataverse. Pour plus d’informations sur l’utilisation de ce nouveau connecteur, lisez les Propriétés du mappage de flux de données.

  • Nous avons entendu dire qu’un délai d’expiration de 1 minute pour l’activité web n’était pas assez long, en particulier dans les cas d’API synchrones. Maintenant, avec la propriété de délai d’expiration de réponse « httpRequestTimeout », vous pouvez définir le délai d’expiration de la requête HTTP jusqu’à 10 minutes. Apprenez-en davantage en lisant Améliorations du délai d’expiration de l’activité Web.

Expérience développeur

  • Auparavant, si vous souhaitiez référencer un bloc-notes dans un autre bloc-notes, vous ne pouviez référencer que du contenu publié ou validé. À présent, quand vous utilisez des notebooks %run, vous pouvez activer « référencer les notebooks non publiés », qui vous permettra de référencer des notebooks non publiés. Lorsque cette option est activée, l’exécution du bloc-notes récupère le contenu actuel dans le cache web du bloc-notes, ce qui signifie que les modifications apportées à votre éditeur de bloc-notes peuvent être référencées immédiatement par d’autres blocs-notes sans avoir à être publiés (mode direct) ou validés (mode Git). Pour en savoir plus, lisez Référencer un notebook non publié.

Mise à jour de mars 2022

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Expérience de développement

  • Les cellules de code dans les notebooks Synapse qui entraînent une exception affichent désormais la sortie standard avec le message d’exception. Cette fonctionnalité est prise en charge pour les langages Python et Scala. Pour plus d’informations, consultez l’exemple de sortie lorsqu’une instruction de code échoue.

  • Les notebooks Synapse prennent désormais en charge la sortie partielle lors de l’exécution de cellules de code. Pour en savoir plus, consultez les exemples de ce billet de blog

  • Vous pouvez maintenant contrôler dynamiquement la configuration de la session Spark pour l’activité du notebook avec des paramètres de pipeline. Pour plus d’informations, consultez la fonctionnalité explorateur de variables des notebooks Synapse.

  • Vous pouvez maintenant réutiliser et gérer des sessions de notebook sans avoir à en démarrer de nouvelles. Vous pouvez facilement connecter un bloc-notes sélectionné à une session active dans la liste démarrée à partir d’un autre bloc-notes. Vous pouvez détacher une session d’un notebook, arrêter la session et la surveiller. Pour en savoir plus, consultez Comment gérer vos sessions de notebook actives.

  • Les notebooks Synapse capturent désormais tout ce qui est écrit dans le module de journalisation Python, en plus des journaux des pilotes. Pour en savoir plus, consultez Prise en charge de la journalisation Python.

SQL

  • Le chiffrement au niveau des colonnes pour les pools Azure Synapse de SQL dédiés est désormais en disponibilité générale. Avec le chiffrement au niveau des colonnes, vous pouvez utiliser différentes clés de protection pour chaque colonne, chaque clé ayant ses propres autorisations d’accès. Les données dans les colonnes avec chiffrement au niveau des colonnes sont chiffrées sur le disque et restent chiffrées en mémoire jusqu’à ce que la fonction DECRYPTBYKEY soit utilisée pour les déchiffrer. Pour en savoir plus, consultez Comment chiffrer une colonne de données.

  • Les pools SQL serverless prennent désormais en charge de meilleures performances pour les requêtes CETAS (Create External Table as Select) et les requêtes SELECT suivantes. Les améliorations des performances incluent un plan d’exécution parallèle qui entraîne une exécution CETAS plus rapide et la mise en place de plusieurs fichiers. Pour en savoir plus, consultez l’article CETAS avec Synapse SQL et ce billet de blog

Apache Spark pour Synapse

  • Le connecteur Synapse Spark Common Data Model (CDM) est désormais en disponibilité générale. Le lecteur/enregistreur de format CDM Spark permet à un programme Spark de lire et d’écrire des entités CDM dans un dossier CDM par le biais de dataframes Spark. Pour en savoir plus, consultez Comment le connecteur CDM prend en charge la lecture, l’écriture de données, les exemples et les problèmes connus.

  • Le connecteur Synapse Spark Dedicated SQL Pool (DW) prend désormais en charge les performances améliorées. La nouvelle architecture élimine le déplacement redondant des données et utilise COPY-INTO au lieu de PolyBase. Vous pouvez vous authentifier via l’authentification de base SQL ou opter pour la méthode d’authentification basée sur Azure Active Directory/Azure AD. Il offre maintenant environ 5 fois plus d’améliorations que la version précédente. Pour en savoir plus, consultez Connecteur de pools SQL dédiés Azure Synapse pour Apache Spark.

  • Le connecteur Synapse Spark Dedicated SQL Pool (DW) prend désormais en charge tous les choix SaveMode du dataframe Spark. Il prend en charge les modes Append, Overwrite, ErrorIfExists et Ignore. Les modes Append et Overwrite sont essentiels pour la gestion de l’ingestion de données à grande échelle. Pour plus d’informations, consultez Prise en charge de l’écriture dataFrame SaveMode

  • Accélérez la vitesse d’exécution de Spark à l’aide de la nouvelle fonctionnalité de cache intelligent. Cette fonctionnalité est actuellement disponible en préversion publique. Le cache intelligent stocke automatiquement chaque lecture dans l’espace de stockage du cache alloué, en détectant les modifications de fichier sous-jacentes et en actualisant les fichiers pour fournir les données les plus récentes. Pour en savoir plus, consultez comment activer/désactiver le cache pour votre pool Apache Spark ou lisez ce billet de blog

Sécurité

  • Azure Synapse Analytics prend désormais en charge l'authentification Azure Active Directory (Azure AD). Vous pouvez activer l’authentification Azure AD pendant la création de l’espace de travail ou une fois l’espace de travail créé. Pour en savoir plus, consultez Comment utiliser l’authentification Azure AD avec Synapse SQL.

  • Prise en charge de l’API pour augmenter ou réduire la version TLS minimale pour l’espace de travail géré du SQL Server dédié. Pour en savoir plus, consultez comment mettre à jour le paramètre TLS minimal ou lisez ce billet de blog pour plus d’informations.

Intégration de données

Mise à jour de février 2022

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

SQL

Intégration des données

Mise à jour de janvier 2022

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Apache Spark pour Synapse

Vous pouvez désormais utiliser quatre nouveaux modèles de base de données dans Azure Synapse. Découvrez plus en détail les modèles automobiles, génomiques, industriels et pharmaceutiques dans le billet de blog ou l’article sur les modèles de base de données. Ces modèles sont actuellement en préversion publique et sont disponibles dans la galerie de Synapse Studio.

Machine Learning

Améliorations de la bibliothèque Synapse Machine Learning v0.9.5 (anciennement MMLSpark). Cette version simplifie la création de pipelines Machine Learning massivement scalables avec Apache Spark. Pour en savoir plus, lisez le billet de blog sur les nouvelles fonctionnalités de cette version ou consultez les notes de publication complètes.

Sécurité

  • Vue d’ensemble de la sécurité Azure Synapse Analytics - Livre blanc qui couvre les cinq couches de sécurité. Les couches de sécurité comprennent l’authentification, le contrôle d’accès, la protection des données, la sécurité réseau et la protection contre les menaces. Comprenez en détail chaque fonctionnalité de sécurité pour implémenter une base de référence de sécurité standard et protéger vos données dans le cloud.

  • TLS 1.2 est maintenant requis pour les espaces de travail Synapse nouvellement créés. Pour en savoir plus, découvrez comment TLS 1 2 offre une sécurité renforcée en consultant cet article ou le billet de blog. Les tentatives de connexion à un espace de travail Synapse nouvellement créé à partir de connexions utilisant une version de TLS antérieure à 1.2 échouent.

Intégration de données

SQL Synapse

Mise à jour de décembre 2021

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Apache Spark pour Synapse

  • Article de blog sur l’accélération des charges de travail Spark avec l’accélération du GPU NVIDIA
  • Article de blog sur le montage du stockage distant sur un pool Synapse Spark
  • Article de blog sur la lecture et l’écriture en mode natif des données dans ADLS avec Pandas
  • Article de blog sur l’allocation dynamique d’exécuteurs pour Spark

Machine Learning

  • Article de blog sur la bibliothèque de Machine Learning Synapse
  • Article de blog sur les modèles intelligents préintégrés de pointe
  • Article de blog sur la création de systèmes IA responsables à l’aide de la bibliothèque de Machine Learning Synapse
  • Article de blog PREDICT est désormais en disponibilité générale pour les pools SQL dédiés Synapse
  • Article de blog sur le scoring simple et évolutif avec PREDICT et MLFlow pour Apache Spark pour Synapse
  • Article de blog sur les solutions IA de vente au détail

Sécurité

  • Article de blog sur les identités managées affectées par l’utilisateur désormais prises en charge dans Synapse Pipelines en préversion
  • Article de blog Parcourir des dossiers ADLS Gen2 dans un espace de travail Azure Synapse Analytics en préversion

Intégration de données

  • Article de blog sur l’échec de l’activité du pipeline
  • Article de blog sur le flux de données de mappage avec de nouveaux connecteurs natifs
  • Formats d’exportation de bloc-note supplémentaires : HTML, Python et LaTeX blog
  • Trois nouveaux types de graphiques dans une vue de bloc-notes : diagramme à surfaces, histogramme et tableau croisé dynamique blog
  • Reconnexion à une session de bloc-notes perdue blog

Integrate

  • Azure Synapse Link pour Dataverse - articlede blog
  • Partitions personnalisées pour Synapse Link pour Azure Cosmos DB en préversion - articlede blog
  • Outil Mapper les données (préversion publique), une expérience d’ETL guidée sans code blogarticle
  • Réutilisation rapide de cluster Spark blogarticle
  • Transformation d’appel externe blogarticle
  • Flowlets (préversion publique) blogarticle

Mise à jour de novembre 2021

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Synapse Data Explorer

  • Synapse Data Explorer désormais disponible dansl’article de la version préliminaire du blog

Travailler avec des bases de données et des lacs de données

  • Article du blog Présentation des bases de données du lac (anciennement appelées bases de données Spark)
  • Concepteur de bases de données du lac désormais disponible dansl’article de la version préliminaire du blog
  • Article du blog sur les modèles de base de données et le concepteur de base de données

SQL

  • Article du blog sur la prise en charge de Delta Lake pour SQL sans serveur est généralement disponible.
  • Article du blog sur l’interrogation de plusieurs chemins d’accès aux fichiers à l’aide d’OPENROWSET dans un SQL sans serveur
  • Article du blog sur les requêtes de SQL sans serveur peuvent désormais renvoyer jusqu’à 200 go de résultats
  • Article du blog sur la gestion de lignes non valides avec OPENROWSET dans SQL sans serveur

Apache Spark pour Synapse

  • Article de blog sur l’accélération des charges de travail Spark avec l’accélération du GPU NVIDIA
  • Article de blog sur le montage du stockage distant sur un pool Synapse Spark
  • Article de blog sur la lecture et l’écriture en mode natif des données dans ADLS avec Pandas
  • Article de blog sur l’allocation dynamique d’exécuteurs pour Spark

Machine Learning

  • Article de blog sur la bibliothèque de Machine Learning Synapse
  • Article de blog sur les modèles intelligents préintégrés de pointe
  • Article de blog sur la création de systèmes IA responsables à l’aide de la bibliothèque de Machine Learning Synapse
  • Article de blog PREDICT est désormais en disponibilité générale pour les pools SQL dédiés Synapse
  • Article de blog sur le scoring simple et évolutif avec PREDICT et MLFlow pour Apache Spark pour Synapse
  • Article de blog sur les solutions IA de vente au détail

Sécurité

  • Article de blog sur les identités managées affectées par l’utilisateur désormais prises en charge dans Synapse Pipelines en préversion
  • Article de blog Parcourir des dossiers ADLS Gen2 dans un espace de travail Azure Synapse Analytics en préversion

Intégration de données

  • Article de blog sur l’échec de l’activité du pipeline
  • Article de blog sur le mappage des données Flow obtenir de nouveaux connecteurs natifs
  • Azure Synapse Link pour Dataverse - articlede blog
  • Partitions personnalisées pour Synapse Link pour Azure Cosmos DB en préversion - articlede blog

Mise à jour d’octobre 2021

Les mises à jour suivantes sont nouvelles dans Azure Synapse Analytics ce mois-ci.

Général

  • Article de blog sur la gestion de vos coût avec les plans de préachat Azure Synapse
  • Article de blog sur le déplacement de votre espace de travail Azure Synapse entre régions Azure

Apache Spark pour Synapse

  • Optimisations des performances Spark blog

Sécurité

  • Article de blog sur tous les rôles RBAC Synapse sont désormais généralement disponibles pour une utilisation en production
  • Article de blog sur l’exploitation des identités managées affectées par l’utilisateur pour le chiffrement double
  • Les administrateurs Synapse disposent désormais d’un accès élevé aux pools SQL dédiés blogarticle

Gouvernance

  • Les espaces de travail Synapse peuvent désormais envoyer (push) automatiquement des données de traçabilité à Microsoft Purview blogarticle

Integrate

  • Utiliser Stringify dans les flux de données pour transformer facilement des types de données complexes en chaînes blogarticle
  • Contrôler la durée de vie de session Spark dans les flux de données blogarticle

CI/CD et Git

  • Déployer des espaces de travail Synapse à l’aide de GitHub Actions blogarticle
  • Plus de contrôle sur la création de branches Git dans Synapse Studio blogarticle

Expérience de développement

  • Modification de Markdown améliorée dans les notebooks Synapse (préversion) blogarticle
  • Les tramedonnées Pandas s’affichent automatiquement sous la forme de tables HTML bien mises en forme blogarticle
  • Utiliser des widgets IPython dans des notebooks Synapse blogarticle
  • Contexte de runtime Mssparkutils désormais disponible pour Python et Scala blogarticle

Étapes suivantes

Bien démarrer avec Azure Synapse Analytics