Notes de publication de Databricks SQL

Cet article répertorie les nouvelles fonctionnalités et améliorations de Databricks SQL, ainsi que les problèmes connus et les FAQ.

Processus de mise en production

Databricks publie des mises à jour de l’interface utilisateur de l’application web Databricks SQL de manière continue, avec tous les utilisateurs obtenant les mêmes mises à jour déployées sur une brève période de temps.

En outre, Databricks publie régulièrement de nouvelles versions de la capacité de calcul d’entrepôt SQL. Deux canaux sont toujours disponibles : aperçu et actuel.

Notes

Les publications se font par étapes. Votre compte Databricks peut ne pas être mis à jour avec une nouvelle version de SQL Warehouse ou une nouvelle fonctionnalité Databricks SQL jusqu’à une semaine ou plus après la date de publication initiale.

Remarque

Databricks SQL Serverless n’est pas disponible dans Azure Chine. Databricks SQL n’est pas disponible dans les régions Azure Government.

Chaînes

Les chaînes vous permettent de choisir d’utiliser la version de capacité de calcul d’entrepôt SQL Actuelle ou en Préversion. Les versions préliminaires vous permettent d’essayer des fonctionnalités avant qu’elles ne deviennent la norme pour Databricks SQL. Profitez des versions préliminaires pour tester vos requêtes et tableaux de bord de production par rapport aux changements à venir.

En règle générale, une version d’évaluation est promue au canal actuel environ deux semaines après avoir été libérée dans le canal de préversion. Certaines fonctionnalités, telles que les fonctionnalités de sécurité, les mises à jour de maintenance et les correctifs de bogues, peuvent être publiées directement sur le canal actuel. De temps à autre, Databricks peut promouvoir une version préliminaire du canal actuel selon une planification différente. Chaque nouvelle version sera annoncée dans les sections suivantes.

Pour savoir comment basculer un entrepôt SQL existant vers le canal de préversion, consultez Canaux de préversion. Les fonctionnalités listées dans les sections des mises à jour de l’interface utilisateur sont indépendantes des versions de capacité de calcul d’entrepôt SQL décrites dans la section Problèmes résolus des notes de publication.

Versions de Databricks SQL disponibles

Canal actuel : Databricks SQL version 2024.40

• Consultez les caractéristiques de 2024.40.

31 octobre 2024

Mises à jour de l’interface utilisateur

Nouvel éditeur SQL (préversion publique)

• Vous pouvez maintenant exécuter la requête SQL active à l’aide du raccourci Command clavier (ou Ctrl) + Shift + Enter.
• La zone d’entrée des paramètres affiche désormais une barre de défilement lorsque le texte s’étend en dehors de la fenêtre d’affichage.
• Correction d’un problème empêchant l’ouverture complète de la page des détails du profil de requête.
• Vous pouvez maintenant renommer des requêtes en tapant le nouveau nom dans le titre de l’onglet.
• Le bouton Planification est désormais désactivé pour les requêtes qui n’ont jamais été enregistrées précédemment.

24 octobre 2024

Notes de publication pour les outils IA/BI

Les notes de publication pour les tableaux de bord IA/BI et AI/BI Genie ont été déplacées vers les notes de publication IA/BI. Les futures versions et mises à jour seront documentées ici.

17 octobre 2024

Les destinations de notification sont désormais en disponibilité générale

Vous pouvez créer et configurer des destinations de notification que les utilisateurs de l’espace de travail peuvent ajouter à certains flux de travail, tels que les alertes, les travaux Databricks et les planifications de tableaux de bord IA/BI, pour envoyer des e-mails ou des webhooks lorsqu’un événement s’exécute. Consultez Gérer les destinations de notification.

10 octobre 2024

Les vues matérialisées et les tables de diffusion en continu sont désormais généralement disponibles sur Databricks SQL

Les tables de diffusion en continu permettent l’ingestion incrémentielle à partir du stockage cloud et des files d’attente de messages, tandis que les vues matérialisées sont des vues précalcalisées qui sont automatiquement et mises à jour de manière incrémentielle à mesure que de nouvelles données arrivent. Consultez Utiliser des vues matérialisées dans Databricks SQL et charger des données à l’aide de tables de diffusion en continu dans Databricks SQL.

Insights de requête

• Les nouvelles colonnes query_source, executed_aset executed_as_user_id ont été ajoutées à la table système de l’historique des requêtes. Consultez Informations de référence sur la table système de l’historique des requêtes.

3 octobre 2024

Prise en charge de SQL Warehouse serverless étendue

Les entrepôts SQL serverless sont désormais disponibles dans la région swedencentral. Consultez Fonctionnalités avec une disponibilité régionale limitée.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

Explorateur de catalogues

• Les commentaires générés par l’IA sont désormais pris en charge pour les catalogues, les schémas, les volumes, les modèles et les fonctions, et les utilisateurs peuvent utiliser l’Assistant de conversation inline pour modifier plus facilement leurs commentaires.

Fonctions SQL AI La fonction vector_search() est désormais disponible en préversion publique. Consultez vector_search function

26 septembre 2024

Prise en charge de SQL Warehouse serverless étendue

Les entrepôts SQL serverless sont désormais disponibles dans la région francecentral. Consultez Fonctionnalités avec une disponibilité régionale limitée.

11 septembre 2024

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

éditeur SQL

Vous pouvez désormais utiliser la syntaxe de marqueur de paramètre nommé dans l'éditeur SQL. La syntaxe de marqueur de paramètre nommé peut être utilisée dans l’éditeur SQL, les Notebooks et les tableaux de bord IA/BI. Consultez Utiliser les paramètres de requête.

Requêtes et tableaux de bord hérités

Pour les requêtes SQL et les tableaux de bord hérités, les éléments supprimés n’apparaissent plus dans les pages de référencement. Recherchez les éléments supprimés dans le dossier de corbeille de l’espace de travail. Les administrateurs d’espace de travail peuvent afficher les éléments supprimés dans tous les dossiers de corbeille des utilisateurs.

5 septembre 2024

Modifications dans 2024.40

Databricks SQL version 2024.40 inclut les modifications comportementales suivantes, les nouvelles fonctionnalités et les améliorations suivantes.

Modifications de comportement

• Basculer vers le mode de liaison de schéma par défaut pour les vues

  Les vues s’adaptent désormais aux modifications de schéma dans la requête sous-jacente à l’aide de la compensation de schéma avec des règles de cast régulières. Il s’agit d’un changement par rapport au mode par défaut précédent (BINDING), qui levait des erreurs lorsqu’un cast sécurisé ne pouvait pas être effectué lors du référencement de la vue.

  Voir CREATE VIEW et cast, fonction.

• Interdire l’utilisation de la syntaxe non documentée ! à la place de NOT en dehors des expressions booléennes

  Avec cette version, l’utilisation de ! comme synonyme de NOT en dehors des expressions booléennes n’est plus autorisée. Par exemple, des instructions telles que les suivantes : CREATE ... IF ! EXISTS, IS ! NULL, une propriété de champ ou colonne ! NULL, ! IN et ! BETWEEN, doivent être remplacées par : CREATE ... IF NOT EXISTS, IS NOT NULL, une propriété de champ ou colonne NOT NULL, NOT IN et NOT BETWEEN.

  Ce changement garantit la cohérence, s’aligne sur la norme SQL, et rend votre code SQL plus portable.

  L’opérateur de préfixe booléen ! (par exemple, !is_mgr ou !(true AND false)) n’est pas affecté par ce changement.

• Interdire la syntaxe de définition de colonne non documentée dans les vues

  Databricks prend en charge CREATE VIEW avec des colonnes nommées et des commentaires de colonne. Auparavant, la spécification des types de colonnes, contraintes NOT NULL, ou DEFAULT, était autorisée. Avec cette version, vous ne pouvez plus utiliser cette syntaxe.

  Ce changement garantit la cohérence, s’aligne sur la norme SQL, et prend en charge les améliorations futures.

• L’ajout d’une CHECK contrainte sur une colonne non valable renvoie désormais la UNRESOLVED_COLUMN.WITH_SUGGESTIONclasse d’erreur

  Pour fournir une messagerie d’erreur plus utile, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT qui inclut une contrainte CHECK référençant un nom de colonne non valide retourne la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, une erreur INTERNAL_ERROR était retournée.

Améliorations et nouvelles fonctionnalités

• Activer UniForm Iceberg en utilisant ALTER TABLE

  Vous pouvez désormais activer UniForm Iceberg sur des tables existantes sans réécrire les fichiers de données. Consultez Activer en modifiant une table existante.

• Fonctions de validation UTF-8

  Cette version présente les fonctions suivantes pour valider les chaînes UTF-8 :

  • is_valid_utf8 vérifie si une chaîne est une chaîne UTF-8 valide.
  • make_valid_utf8 convertit une chaîne UTF-8 potentiellement non valide en chaîne UTF-8 valide à l’aide de caractères de substitution
  • validate_utf8 génère une erreur si l’entrée n’est pas une chaîne UTF-8 valide.
  • try_validate_utf8 retourne NULL si l’entrée n’est pas une chaîne UTF-8 valide.

• fonctions to_avro et from_avro

  Les fonctions to_avro et from_avro permettent la conversion de types SQL en données binaires Avro et retour.

• try_url_decode function

  Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée en URL. Si la chaîne n’est pas au format correct, la fonction retourne NULL au lieu de lever une erreur.

• Autoriser éventuellement l’optimiseur à s’appuyer sur des contraintes de clé étrangère non appliquées

  Pour améliorer les performances des requêtes, vous pouvez désormais spécifier le mot clé RELY sur les contraintes FOREIGN KEY lorsque vous exécutez CREATE ou ALTER sur une table.

• Prise en charge de la suppression de la fonctionnalité de table de contraintes de vérification

  Les remplacements sélectifs à l’aide de replaceWhere exécutent désormais des travaux qui suppriment les données et insèrent de nouvelles données en parallèle, ce qui améliore les performances des requêtes et l’utilisation du cluster.

• Exécutions de travaux parallélisées pour les remplacements sélectifs

  Les remplacements sélectifs à l’aide de replaceWhere exécutent désormais des travaux qui suppriment les données et insèrent de nouvelles données en parallèle, ce qui améliore les performances des requêtes et l’utilisation du cluster.

• Amélioration des performances pour le flux des changements de données avec des remplacements sélectifs

  Les remplacements sélectifs à l’aide de replaceWhere sur les tables avec flux des changements de données n’écrivent plus de fichiers de changements de données distincts pour les données insérées. Ces opérations utilisent une colonne masquée _change_type présente dans les fichiers de données Parquet sous-jacents pour enregistrer les changements sans amplification d’écriture.

• Amélioration de la latence des requêtes pour la commande COPY INTO

  Cette version inclut une modification qui améliore la latence de requête pour la commande COPY INTO. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le magasin d’états RocksDB. Avec ce changement, vous devez constater une amélioration de la durée de démarrage pour les requêtes avec des états volumineux, telles que les requêtes avec un grand nombre de fichiers déjà ingérés.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

Visualisations

• Les totaux d’info-bulles s’affichent désormais uniquement pour les graphiques empilés.

22 août 2024

Visualisations

Pour les configurations groupées et multi-champs, les info-bulles affichent désormais les totaux lorsque vous survolez les éléments du graphique.

15 août 2024

Visualisations

Correction d’un problème où les numéros de ligne dans les visualisations de table n’étaient pas mis à jour après avoir modifié le format de page.

Découverte de données

La possibilité d’étendre et de réduire les types de colonnes complexes imbriqués dans les tables de catalogue Unity est désormais prise en charge.

1er août 2024

Visualisations :

• Le tri de table est désormais conservé lorsque les données changent en raison du filtrage.

Éditeur SQL :

• Amélioration de la lisibilité grâce à l’ajout d’un remplissage supplémentaire entre la dernière ligne d’une requête et la sortie du résultat.

25 juillet 2024

API REST Databricks :

• Les API de gestion des requêtes, des alertes, des sources de données et des autorisations ont changé. La version héritée va continuer à être prise en charge pendant six mois. Cette période de transition est destinée à vous donner suffisamment de temps pour migrer vos applications et intégrations vers la nouvelle version avant que l’ancienne version ne soit supprimée. Consultez Mise à jour vers la dernière version d’API Databricks SQL

18 juillet 2024

Mises à jour de l’interface utilisateur

Explorateur de catalogues :

• Un nouvel assistant de configuration de catalogue est désormais disponible pour configurer des liaisons d’espace de travail, des privilèges de catalogue et des métadonnées lors de la création d’un catalogue.

Surveillance de l’entrepôt SQL :

• L’autorisation CAN MONITOR est désormais en disponibilité générale. Elle permet aux utilisateurs de surveiller des entrepôts SQL, notamment l’historique des requêtes et les profils de requête associés. Consultez les listes de contrôle d’accès du point de terminaison de recherche vectorielle.

jeudi 11 juillet 2024

Databricks SQL version 2024.35 disponible

Calendrier de déploiement : lancement en préversion pour 2024.35 : entre le 9 juillet et le 15 juillet

Changements dans 2024.35

Désactiver le mappage de colonnes avec la commande Drop Feature

Vous pouvez désormais utiliser DROP FEATURE pour désactiver le mappage de colonnes sur les tables Delta et passer à une version antérieure du protocole de table. Consultez Désactiver le mappage de colonnes.

Syntaxe et fonctions de types de variantes dans la préversion publique

La prise en charge intégrée d’Apache Spark pour l’utilisation de données semi-structurées comme type VARIANT est désormais disponible dans DataFrames Spark et SQL. Consultez les données de variante de requête.

Prise en charge des types de variantes pour Delta Lake en préversion publique

Vous pouvez désormais utiliser VARIANT pour stocker des données semi-structurées dans des tables soutenues par Delta Lake. Consultez Prise en charge des variantes dans Delta Lake.

Prise en charge des différents modes d’évolution du schéma dans les vues

CREATE VIEW et ALTER VIEW vous permettent désormais de définir un mode de liaison de schéma, ce qui améliore la façon dont les vues gèrent les modifications de schéma dans les objets sous-jacents. Cette fonctionnalité permet aux vues de tolérer ou d’adapter les modifications de schéma dans les objets sous-jacents. Elle traite les modifications apportées au schéma de requête résultant des modifications apportées aux définitions d’objets.

Amélioration des performances de certaines fonctions de la fenêtre

Cette version inclut une modification qui améliore les performances de certaines fonctions de fenêtre Spark, en particulier les fonctions qui n’incluent pas de clause ORDER BY ou un paramètre window_frame. Dans ces cas, le système peut réécrire la requête pour l’exécuter à l’aide d’une fonction d’agrégation. Cette modification permet d’accélérer l’exécution de la requête en utilisant l’agrégation partielle et en évitant les surcharges liées à l’exécution des fonctions de fenêtre. Le paramètre de configuration Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled contrôle cette optimisation et est défini sur true par défaut. Pour désactiver cette optimisation, définissez spark.databricks.optimizer.replaceWindowsWithAggregates.enabled sur false.

Prise en charge de la fonction try_mod ajoutée

Cette version ajoute la prise en charge de la fonction PySpark try_mod(). Cette fonction prend en charge le calcul compatible ANSI SQL du reste entier de la division de deux valeurs numériques. Si l’argument diviseur est 0, la fonction try_mod() retourne null au lieu de lever une exception. Vous pouvez utiliser la fonction try_mod() au lieu de mod ou de %, qui lève une exception si l’argument de division est 0 et si ANSI SQL est activé.

Mises à jour de l’interface utilisateur

Éditeur SQL :

L’Assistant inline est désormais disponible dans l’éditeur SQL. Cliquez sur l’icône Assistant dans la zone de l’éditeur pour activer ou désactiver l’entrée. Tapez une question ou un commentaire en anglais, puis appuyez sur Entrée (et non Maj + Entrée, qui exécute une requête) pour générer une réponse avec une autre vue directement dans l’éditeur.

Plateforme :

Une API pour les destinations de notifications est désormais disponible. Vous pouvez désormais gérer par programme les destinations de webhook et d’e-mail pour vos alertes et notifications d’exécution de travail. Consultez Destinations de notifications.

4 juillet 2024

Databricks SQL version 2024.30 disponible

Calendrier de déploiement : lancement en préversion pour 2024.30 : entre le 9 juillet et le 15 juillet

Modifications dans 2024.30

Lakehouse Federation est en disponibilité générale (GA)

Les connecteurs Lakehouse Federation dans les types de base de données suivants sont désormais en disponibilité générale (GA) :

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

Cette version présente également les améliorations suivantes :

• Prise en charge de l’authentification unique (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.

• Prise en charge d’Azure Private Link dans le connecteur SQL Server à partir d’environnements de calcul serverless. Consultez l’Étape 3 : Créer des règles de point de terminaison privé.

• Prise en charge des pushdowns supplémentaires (chaîne, mathématiques, fonctions diverses).

• Amélioration du taux de réussite des pushdowns sur différentes formes de requête.

• Fonctionnalités de débogage des pushdowns supplémentaires :

  • La sortie EXPLAIN FORMATTED affiche le texte de la requête poussée vers le bas (pushed-down).
  • L’interface utilisateur du profil de requête affiche les temps d’exécution de la requête poussée vers le bas (pushed-down), les identificateurs de nœud fédéré et les temps d’exécution des requêtes JDBC (en mode détaillé). Consultez Afficher les requêtes fédérées générées par le système.

DESCRIBE HISTORY affiche désormais les colonnes de clustering pour les tables qui utilisent le clustering liquide

Lorsque vous exécutez une requête DESCRIBE HISTORY, la colonne operationParameters affiche un champ clusterBy par défaut pour les opérations CREATE OR REPLACE et OPTIMIZE. Pour une table Delta qui utilise le clustering liquide, le champ clusterBy est renseigné avec les colonnes de clustering de la table. Si la table n’utilise pas le clustering liquide, le champ est vide.

La prise en charge des clés primaires et étrangères est en disponibilité générale

La prise en charge des clés primaires et étrangères dans Databricks Runtime est en disponibilité générale. La version en disponibilité générale inclut les modifications suivantes apportées aux privilèges requis pour utiliser des clés primaires et étrangères :

• Pour définir une clé étrangère, vous devez disposer du privilège SELECT sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n’avez pas besoin d’être propriétaire de la table avec la clé primaire, ce qui était obligatoire avant.
• La suppression d’une clé primaire à l’aide de la clause CASCADE ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référencement.
• La suppression d’une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n’incluent pas de contraintes.

Pour savoir comment utiliser des clés primaires et étrangères avec des tables ou des affichages, consultez Clause CONSTRAINT, Clause ADD CONSTRAINT et Clause DROP CONSTRAINT.

Le clustering liquide est en disponibilité générale

La prise en charge du clustering liquide est désormais en disponibilité générale avec Databricks Runtime 15.2 et versions ultérieures. Consultez Utilisation des clustering liquides pour les tableaux Delta.

L’élargissement du type est disponible en préversion publique

Vous pouvez désormais activer l’élargissement du type sur les tables soutenues par Delta Lake. Les tables avec extension de type activée permettent de modifier le type de colonnes en un type de données plus large sans réécrire les fichiers de données sous-jacents. Voir Élargissement du type.

Clause d’évolution du schéma ajoutée à la syntaxe de fusion SQL

Vous pouvez maintenant ajouter la clause WITH SCHEMA EVOLUTION à une instruction de fusion SQL pour activer l’évolution du schéma pour l’opération. Consultez Syntaxe d’évolution de schéma pour la fusion.

Prise en charge de l’inventaire vacuum

Vous pouvez maintenant spécifier un inventaire des fichiers à prendre en compte lors de l’exécution de la commande VACUUM sur une table Delta. Consultez la documentation OSS Delta.

Prise en charge des fonctions de compression Zstandard

Vous pouvez désormais utiliser les fonctions zst_compress, zstd_decompress et try_zstd_decompress pour compresser et décompresser les données BINARY.

Les plans de requête dans l’interface utilisateur SQL affichent maintenant correctement PhotonWriteStage

Lorsqu’elles sont affichées dans l’interface utilisateur SQL, les commandes write dans les plans de requête n’ont pas correctement affiché PhotonWriteStage en tant qu’opérateur. Avec cette version, l’interface utilisateur est mise à jour pour afficher PhotonWriteStage en tant qu’étape. Il s’agit seulement d’un changement de l’interface utilisateur qui n’affecte pas la façon dont les requêtes sont exécutées.

Mises à jour de l’interface utilisateur

Prise en charge des API :

• Vous pouvez maintenant gérer les destinations de notification à l’aide de l’API REST. Consultez Destinations de notifications.

27 juin 2024

Les filtres de lignes et les masques de colonne dans les vues Databricks SQL matérialisées et les tables de diffusion en continu sont une préversion publique

Les filtres de lignes et les masques de colonne dans les vues Databricks SQL matérialisées et les tables de diffusion en continu sont une préversion publique. La version de préversion publique inclut les modifications suivantes :

• Vous pouvez ajouter des filtres de lignes et des masques de colonne à une vue matérialisée Databricks SQL ou une table de diffusion en continu.

  • Vous pouvez définir des vues matérialisées Databricks SQL ou des tables de diffusion en continu sur des tables qui incluent des filtres de lignes et des masques de colonne.

  Consultez CRÉER UNE VUE MATÉRIALISÉE et CRÉER UNE TABLE DE DIFFUSION EN CONTINU.

Mises à jour de l’interface utilisateur

Visualisations :

• Amélioration de l’interactivité dans l’affichage des info-bulles lors du pointage sur les graphiques en secteurs, nuages de points et cartes thermiques avec de nombreux points de données.

Explorateur de catalogues :

• Une interface utilisateur de l’Explorateur de catalogues repensée facilite la découverte et les ressources récentes du catalogue Unity récentes à partir de la vue Accès rapide. L’expérience de navigation a également été simplifiée, ce qui vous permet d’explorer les détails de calcul, de stockage, d’informations d’identification, de connexions, DBFS et de gestion à l’aide des Paramètres dans le coin supérieur gauche de l’écran. Le partage Delta, les salles propres et les données externes disposent désormais de pages dédiées.

6 juin 2024

Correctif pour les vues matérialisées Databricks SQL et les tables de diffusion en continu

Le problème empêchant les ALTER SCHEDULE requêtes sur les vues matérialisées et les tables de diffusion en continu Databricks SQL ne prennent effet qu’une fois que l’opération ACTUALISER suivante a été corrigée. À présent, ALTER SCHEDULE les requêtes sont appliquées immédiatement. Consultez Planifier les actualisations de vue matérialisée.

Les vues matérialisées et les tables de diffusion en continu dans Databricks SQL sont une préversion publique

Les vues matérialisées et les tables de diffusion en continu dans Databricks SQL sont une préversion publique et sont disponibles pour tous les clients. La version de préversion publique inclut les modifications suivantes :

• REFRESH de vues matérialisées et de tables de diffusion en continu dans Databricks SQL est désormais synchrone par défaut. Consultez RAFRAÎCHIR (VUE MATÉRIALISÉE ou TABLE DE STREAMING).

  • Les erreurs qui se produisent lors d’une opération d’actualisation d’une vue matérialisée ou d’une table de diffusion en continu Databricks SQL sont retournées dans l’Éditeur SQL.

  Pour apprendre comment utiliser des vues matérialisées et des tables de diffusion en continu dans Databricks SQL, consultez Utiliser des vues matérialisées dans Databricks SQL et Charger des données à l’aide de tables de diffusion en continu dans Databricks SQL.

Mises à jour de l’interface utilisateur

Tableaux de bord :

• Les utilisateurs du compte peuvent désormais télécharger les données de visualisation des tableaux de bord publiés.
• Les tableaux de bord non publiés peuvent désormais être publiés à l’aide de la liste déroulante Brouillon/Publication près de la partie supérieure d’un tableau de bord.
• Correction d’un problème où les paramètres nommés limit n’étaient pas détectés.

Visualisations :

• Amélioration du rendu du tracé en boîte en mode sombre.

Aperçu des requêtes :

• Pour tous les ordinateurs portables rattachés à des entrepôts SQL, vous pouvez accéder au profil de la requête en cliquant sur Voir la performance sous la cellule qui contient la requête. Si la cellule inclut plusieurs requêtes, un lien vers le profil de requête pour chaque requête est fourni pour chaque instruction.

30 mai 2024

Nouveau niveau d’autorisation pour les entrepôts SQL

L’autorisation Peut monitorer permet aux utilisateurs de monitorer des entrepôts SQL, notamment l’historique de requêtes et les profils de requête associés. L’autorisation Peut monitorer est désormais en Préversion publique. Consultez les listes de contrôle d’accès du point de terminaison de recherche vectorielle.

Mises à jour de l’interface utilisateur

Améliorations apportées au tableau de bord :

• Ajout d’un menu kebab aux widgets de tableau de bord pour télécharger des images et des données.
• Les utilisateurs peuvent migrer les paramètres hérités basés sur des requêtes de tableau de bord et les paramètres de liste déroulante vers des tableaux de bord.

23 mai 2024

Mises à jour de l’interface utilisateur

• Vous pouvez maintenant sélectionner plusieurs éléments dans l’espace de travail à déplacer ou supprimer. Lorsque plusieurs objets sont sélectionnés, une barre d’actions apparaît et fournit des options pour déplacer ou supprimer des éléments. De plus, vous pouvez sélectionner plusieurs éléments à l’aide de votre souris et les faire glisser vers un nouvel emplacement. Les autorisations existantes sur les objets s’appliquent toujours pendant les opérations de déplacement et de suppression en bloc.
• Vous pouvez désormais marquer les ressources du catalogue Unity comme favoris dans l’Explorateur de catalogues et l’Explorateur de schémas. Cela inclut les catalogues, les schémas, les tables, les modèles, les volumes et les fonctions. Les ressources du catalogue Unity que vous marquez comme favoris sont facilement accessibles à partir de la page d’accueil d’Azure Databricks.

Mises à jour du tableau de bord :

• Les graphiques combinés à deux axes affichent désormais correctement les légendes de barres sur l’axe droit et les légendes de trait en conséquence.
• Les graphiques à deux axes affichent désormais correctement les étiquettes sur les barres.

Mises à jour des visualisations :

• Les étiquettes de format conditionnel de l’éditeur de tableau pour if et then prennent désormais en charge le mode sombre.
• L’icône de lien ouvert redondante a été supprimée des info-bulles de format de l’éditeur de tableau.
• L’étiquette de la couleur de police par défaut dans l’éditeur de tableau s’aligne désormais automatiquement.

16 mai 2024

Planification du lancement

• Déploiement de préversion pour 2024.25 : terminé le 1er mai
• Déploiement actuel pour 2024.25 : entre le 14 mai et le 21 mai

Remarque

Une mise à niveau de la bibliothèque Python Panda (version 2.0.3) a provoqué un changement cassant dans Databricks SQL version 2024.20. Azure Databricks n’a pas déployé la version 2024.20 dans le canal actuel. Le canal de préversion a par contre été mis à niveau vers 2024.25 le 1er mai 2025. Le déploiement de canal actuel passe directement de 2024.15 à 2024.25.

Modifications dans 2024.25

Gouvernance des données

Le passage des informations d’identification et les contrôles d’accès aux tables du metastore Hive est déconseillé.

Le passage des informations d’identification and les contrôles d’accès aux tables du metastore Hive sont des modèles de gouvernance des données hérités. Effectuez une mise à niveau vers Unity Catalog pour simplifier la sécurité et la gouvernance de vos données en offrant un emplacement central pour administrer et auditer l’accès aux données entre les différents espaces de travail de votre compte. Consultez Qu’est-ce que Unity Catalog ?.

La prise en charge du passage des informations d’identification et des contrôles d’accès aux tables du metastore Hive sera supprimée dans une prochaine version de DBR.

Fonctionnalités du langage SQL

La clause * (étoile) est désormais prise en charge dans la clause WHERE.

Vous pouvez maintenant utiliser la clause étoile (*) dans la clause WHERE pour faire référence à toutes les colonnes de la liste SELECT. Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Prise en charge du stockage Cloudflare R2 pour éviter les frais de sortie inter-région depuis 2024.15

Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre.

Le stockage Cloudflare R2 prend en charge toutes les données de Databricks et les ressources d’IA prises en charge dans Azure Data Lake Storage Gen2.

Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

Mises à jour de la découverte de données : le metastore Hive dans l’assistant de mise à jour Unity Catalog prend en charge la mise à niveau des tables gérées de metastore Hive en utilisant un calcul à usage général ou des entrepôts SQL. La mise à jour de plus de 20 tables crée un notebook contenant les commandes SYNC ET ALTER TABLE qui effectuent la conversion.

Mises à jour du tableau de bord :

• La fonctionnalité à double axe est désormais disponible pour des types de graphique Aires, Barres, Lignes et Nuage de point.
  • Lorsque vous activez un graphique à double axe, le titre d’axe et la plage ne sont plus copiés dans l’axe secondaire.
  • Le dernier champ identifié dans la configuration de visualisation est automatiquement déplacé vers l’axe Y côté droit.

9 mai 2024

Correctifs de l’éditeur SQL :

• Le paramètre d’administration Fonctionnalités de Presse-papiers de la table de résultats s’applique désormais à la Nouvelle table de résultats de l’éditeur SQL.

Améliorations apportées au tableau de bord :

• Les paramètres basés sur des requêtes permettent aux créateurs de définir une liste de valeurs sélectionnables que les viewers peuvent utiliser comme paramètres pour d’autres visualisations sur un canevas de tableau de bord. Consultez Utiliser des paramètres basés sur des requêtes.
• L’ordre de colonnes dans des fichiers téléchargés à partir d’un widget de table est désormais conservé.
• L’éditeur de table inclut maintenant le pointage sur des info-bulles qui affichent les noms de colonnes.
• Lorsque vous basculez d’autres types de visualisation vers un histogramme, le codage d’informations est désormais mieux conservé.

Correctifs apportés aux tableaux de bord :

• Nous avons corrigé un problème de filtre de hauteur de grille unique affichant une barre de défilement de dépassement inutile.
• Nous avons corrigé un problème qui entraînait des visualisations incorrectement affichées sur des tableaux de bord publiés où une colonne de jeu de données référencé était supprimée.

2 mai 2024

Mises à jour du tableau de bord :

• Les requêtes et les visualisations peuvent désormais être copiées dans un nouveau tableau de bord à partir de l’éditeur SQL. Vous pouvez toujours ajouter des visualisations dans des tableaux de bord hérités à partir de l’éditeur SQL. Consultez Modifiez, téléchargez ou ajoutez à un tableau de bord.
• Les tableaux de bord vont désormais conserver un cache de résultats de 24 heures pour optimiser les temps de chargement initiaux. Consultez Optimisation et mise en cache des jeux de données.
• Les graphiques à barres avec X catégoriel et Y quantitatif sont désormais triés dans les réponses de l’Assistant Databricks.
• Correction du problème de migration avec l’histogramme hérité COUNT (*) pour garantir une migration précise.
• Implémentation de la possibilité de combiner des types numériques et des types de dates dans un widget de filtre.
• Lors de la création de graphiques, l’Assistant Databricks suggère désormais automatiquement des colonnes pertinentes à mesure que vous tapez.

Mises à jour de visualisation :

• La couleur sélectionnée par l’utilisateur pour les tables conserve désormais le clair et le mode sombre dans les graphiques hérités.
• La logique de troncation des données a été peaufinée pour améliorer les performances dans les graphiques combinés, les graphiques à secteurs, les cartes thermiques et les histogrammes.
• Une graduation est désormais affichée en permanence en haut d’un axe quantitatif pour les graphiques de base.

23 avril 2024

Mises à jour de l’interface utilisateur :

• Pour tous les dialogues Partager dans l’interface utilisateur, le groupe All Users a été renommé All Workspace Users. Le nouveau nom reflète plus précisément l’étendue du groupe, qui a toujours inclus les utilisateurs affectés à l’espace de travail. Aucune modification n’est apportée à l’appartenance au groupe dans le cadre de ce renommage.

Améliorations apportées au tableau de bord :

• Lorsque l’entrepôt SQL d’un tableau de bord démarre, une boîte de dialogue apparaît pour expliquer le temps d’attente.
• La position de défilement est conservée lors du basculement entre les onglets Canevas et Données.
• Le clonage d’un tableau de bord hérité pour créer un tableau de bord Lakeview prend désormais en charge une conversion de paramètres. Consultez Ajuster les paramètres hérités.
• Les dates relatives, telles que Aujourd’hui, Demainet il y a 7 jours, sont désormais prises en charge pour les paramètres date et heure de date.
• Les curseurs de plage de nombres peuvent être ajoutés en tant que filtres sur un tableau de bord.
• Les histogrammes peuvent désormais afficher des données désagrégées.
• Les nuages de points prennent désormais en charge l’encodage de taille.

Correctifs apportés aux tableaux de bord :

• L’encodage des couleurs temporelles peut désormais modifier correctement les affectations de couleurs.

Mises à jour de visualisation :

• Les formats d’outil personnalisés fonctionnent désormais correctement pour les graphiques à plusieurs axes.
• Les Nouveaux graphiques balise d’aperçu sont supprimés lorsque les utilisateurs n’ont pas modifié le bouton bascule au cours des 14 derniers jours.

18 avril 2024

Les tableaux de bord Lakeview sont en disponibilité générale

Les tableaux de bord Lakeview sont désormais l’outil de tableau de bord par défaut. Ils ont été renommés en tant que Tableaux de bord dans l’interface utilisateur. Les tableaux de bord Databricks SQL sont désormais appelés Tableaux de bord hérités. Les noms des outils API associés n’ont pas changé.

• Améliorations apportées au tableau de bord :
  • Les journaux d’audit sont disponibles pour les tableaux de bord Lakeview. Consultez Événements des tableaux de bord.
  • Les données téléchargées à partir de tableaux de bord respectent les paramètres appliqués.
  • L’Assistant Databricks est activé sous l’onglet Données sans ajouter d’abord de jeux de données.
  • Les graphiques à barres empilés avec plusieurs champs Y peuvent prendre en charge le tri de l’axe X en fonction de la somme des valeurs de l’axe Y.
  • Basculez entre les fonctions d’échelle Linéaire et Log(Symétrique) dans les menus de l’axe de visualisation.
  • La taille par défaut du widget de filtre est désormais plus compacte.
  • Le temps de chargement initial du widget de filtre d’entrée de texte a été réduit.
  • Amélioration des conversions de graphiques automatiques lors de la migration à partir de tableaux de bord hérités.
• Correctifs apportés aux tableaux de bord :
  • L’avertissement des paramètres d’affichage restreint ne s’affiche pas si le tableau de bord a été partagé avec d’autres utilisateurs.
  • Les messages d’erreur dans l’éditeur SQL de l’onglet Données sont désormais activés en mode sombre.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

Améliorations :

• Les info-bulles sur les graphiques empilés affichent désormais la valeur de la pile et le pourcentage par défaut.
• Les info-bulles pour les graphiques à plusieurs axes mettent désormais en surbrillance l’élément pointé.
• Les visualisations de table pour Databricks SQL adaptent désormais le type de données d’un nouveau résultat de requête lors de la modification dans l’éditeur SQL.
• La table Historique des requêtes de l’Explorateur de catalogues affiche une vue d’arborescence pour l’attribution de la Source de requête. Vous pouvez l’utiliser pour voir quelles entités ont déclenché l’instruction de requête à exécuter.

11 avril 2024

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

Améliorations :

• Vous pouvez maintenant regrouper par pourcentage lors de la création de visualisations dans Databricks SQL et les notebooks.
• Pour les nouveaux graphiques (en préversion publique), vous pouvez effectuer un zoom le long d’un axe unique en cliquant et en faisant glisser une ligne droite parallèle à l’axe.
• L’interface utilisateur de liste d’autorisation de cluster partagé d’Unity Catalog est désormais en disponibilité générale. Vous pouvez y accéder dans la page de détails du Metastore dans l’Explorateur de catalogues. Consultez Comment ajouter des éléments à la liste d’autorisation.
• Les formulaires permettant de créer et de modifier des emplacements externes s’ouvrent désormais en tant que page complète. Ils incluent l’option d’inclure des informations d’identification de stockage.

Correctifs :

• Correction d’un problème pour les histogrammes où les valeurs négatives étaient marquées par erreur comme positives.

4 avril 2024

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

Améliorations :

• Améliorations apportées aux histogrammes sur les tableaux de bord Lakeview.

  • Ajout de la prise en charge des étiquettes.
  • Les paramètres de compartiment sont maintenant conservés lors du basculement entre différents champs.

• La galerie d’exemples de la page de référencement du tableau de bord crée désormais des tableaux de bord Lakeview. Consultez le Tutoriel : Utiliser des exemples de tableaux de bord.

• Le fait de cliquer avec le bouton droit sur la bordure d’un widget dans un tableau de bord Lakeview ouvre un menu contextuel.

• La barre de navigation de gauche est conservée pour les utilisateurs de l’espace de travail qui consultent des tableaux de bord Lakeview publiés.

• Les sélections de filtre sont conservées lors de la navigation entre les tableaux de bord Lakeview publiés et brouillons.

• Les noms de colonnes peuvent désormais être insérés dans l’éditeur SQL lors de la modification d’une requête à partir de l’onglet Données dans un tableau de bord Lakeview brouillon.

• Le remplacement d’un tableau de bord Lakeview conserve le nom du tableau de bord existant et remplace le contenu.

• Le changement de visualisations entre les cartes thermiques et d’autres types de graphiques préserve désormais mieux les champs pertinents.

Correctifs :

• Les graphiques à barres avec encodages de couleurs limitent désormais correctement l’ajout de plusieurs champs d’axe Y.
• Résolution d’un problème où le bouton Télécharger en tant que PNG était manquant dans certaines visualisations.
• Correction de la mise en forme pour les entiers volumineux négatifs manquant précédemment des milliers de séparateurs.
• Correction du positionnement incorrect des lignes de pointage lors du pointage sur les étiquettes sur les graphiques en courbes.

28 mars 2024

Databricks SQL version 2024.15 disponible

Planification du lancement

• Lancement en préversion pour 2024.15 : entre le 14 février et le 4 mars
• Lancement actuel pour 2024.15 : entre le 25 mars et le 8 avril

Changements dans 2024.15

Mises à jour delta

• Delta UniForm est désormais en disponibilité générale : UniForm est désormais en disponibilité générale et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez désormais activer ou mettre à niveau UniForm sur des tables existantes. Consultez Utiliser UniForm pour lire les tables Delta avec les clients Iceberg.
• Recompilation des statistiques de saut de données pour les tables Delta : vous pouvez maintenant recompiler les statistiques stockées dans le journal Delta après avoir modifié les colonnes utilisées pour ignorer les données. Consultez Spécifier des colonnes de statistiques Delta.

Mises à jour du langage SQL

• Déclaration de variables temporaires dans une session SQL : cette version introduit la possibilité de déclarer des variables temporaires dans une session pouvant être définies et référencées à partir de requêtes. Voir Variables.
• Prise en charge du format de fichier XML natif (préversion publique) : la prise en charge du format de fichier XML natif est désormais disponible en préversion publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml, et peut générer des documents XML. Il ne nécessite pas de jars externes et fonctionne de manière transparente avec Auto Loader, read_files, COPY INTO, et Delta Live Tables. Consultez Lire et écrire des fichiers XML.

Mises à jour d’Apache Spark SQL

Databricks SQL 2024.15 inclut Apache Spark 3.5.0. Des correctifs et améliorations supplémentaires pour SQL sont répertoriés dans la note de publication Databricks Runtime 14.3. Consultez Apache Spark et recherchez la balise [SQL] pour obtenir une liste complète.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

• Un nouvel onglet vue d’ensemble de la page d’entité de l’Explorateur de catalogues affiche des métadonnées importantes telles que la taille des fichiers, la source de données, le propriétaire, le schéma de table et les commentaires.

• Mises à jour du tableau de bord Lakeview :

  • Les tableaux de bord Lakeview prennent désormais en charge les paramètres. Les auteurs peuvent ajouter des paramètres aux requêtes de jeu de données à partir de l’onglet Données, puis définir des paramètres sur le canevas à l’aide de sélecteurs à valeur unique et de sélecteurs de dates. Consultez Utiliser les paramètres de tableau de bord.
  • Les tableaux de bord Lakeview sont désormais pris en charge dans l’API d’autorisations de l’espace de travail. Consultez PATCH /api/workspace/workspace/updatepermissions dans la référence de l’API REST.
  • Les widgets Contrôle sur le canevas ont été renommés en widgets Filtre .
  • Les graphiques combinés n’autorisent plus les champs désagrégés sur l’axe x.
  • Le bouton Copier le lien dans la boîte de dialogue Partager inclut désormais les paramètres stockés dans l’URL.
  • Les widgets sur les tableaux de bord publiés n’affichent plus de bordures lors du pointage.
  • Nous avons résolu un problème où les boutons Assistant Databricks et Télécharger PNG se chevauchent avec les visuels de graphique.

• Le basculement de visualisations entre les cartes thermiques et d’autres types de graphiques permet désormais de mieux conserver les champs appropriés.

• Les graphiques à barres avec encodages de couleurs limitent désormais correctement l’ajout de plusieurs champs d’axe Y.

21 mars 2024

• La traçabilité des modèles Unity Catalog est désormais disponible en préversion publique.

L’affichage de table dans l’Explorateur de catalogues dispose désormais d’un onglet Vue d’ensemble pour décrire ses métadonnées principales.

• Les entrepôts SQL pour les notebooks, désormais en disponibilité générale, vous permettent de tirer parti d’un calcul complètement managé, instantané et scalable pour vos charges de travail SQL dans l’environnement de création collaboratif enrichi d’un notebook. Consultez l’article Utiliser un notebook avec un entrepôt SQL.

Les correctifs et améliorations suivants s’appliquent aux tableaux de bord Lakeview :

• La prise en charge étendue de l’API pour Lakeview permet de créer, d’obtenir, de mettre à jour et de jeter des tableaux de bord. Consultez Lakeview dans la référence de l’API REST.
• Ajout d’un bouton d’actualisation pour le navigateur de catalogues sous l’onglet Données.
• Les tableaux de bord Lakeview apparaissent désormais avant les tableaux de bord dans le menu Nouveau dans la barre latérale de l’espace de travail. Dans la page de référencement du tableau de bord, l’onglet Tableaux de bord Lakeview apparaît à gauche de l’onglet Tableaux de bord.
• L’expérience de l’Assistant Databricks pour Lakeview a été mise à jour avec une zone d’entrée et des suggestions pour améliorer la détectabilité et aider les utilisateurs à comprendre les invites qu’ils peuvent poser.
• Les visualisations Lakeview prennent désormais en charge les agrégations médianes.
• Mise à jour du sélecteur de couleurs dans l’éditeur de visualisation du tableau de bord Lakeview pour une expérience utilisateur plus simplifiée lors de la création de tables.
• Amélioration de la migration de graphique en secteurs pour prendre en charge exclusivement des scénarios avec des définitions d’angle ou de couleur.
• Correction d’un bogue empêchant le regroupement par des graphiques nommés count. Les graphiques peuvent maintenant être regroupés par champs nommés count.
• Pour les graphiques à barres, les contrôles de disposition de groupe et de pile sont désormais masqués lorsqu’ils ne s’appliquent pas à la configuration sélectionnée par l’utilisateur.

14 mars 2024

Pour les tableaux de bord Lakeview :

• Les histogrammes prennent désormais en charge les couleurs personnalisées par catégorie.

  • Les cartes thermiques prennent désormais en charge les mises à l’échelle quantitatives.
  • Les titres et les descriptions sont conservés lors du basculement d’un type de visualisation à un autre, notamment les graphiques Combo.
  • Vous pouvez maintenant ouvrir le jeu de données sous-jacent associé à une ébauche de widget de tableau de bord en cliquant avec le bouton droit dessus. Le jeu de données s’ouvre sous l’onglet Données.

• Les nouveaux graphiques appliquent désormais des alias et des couleurs personnalisées pour les valeurs nulles dans des colonnes numériques.

• Les nouveaux graphiques affichent maintenant des graduations pour montrer le haut de l’axe Y.

7 mars 2024

• Lorsque vous affichez une table dans l’Explorateur de catalogues, le bouton Create inclut une option permettant de créer un tableau de bord Lakeview plutôt qu’un tableau de bord Databricks SQL.

• Les histogrammes sont désormais disponibles pour les tableaux de bord Lakeview. Les histogrammes sont couramment utilisés pour visualiser la distribution d’un champ numérique.

• Lors du clonage d’un tableau de bord Databricks SQL pour créer un tableau de bord Lakeview, les problèmes de conversion de jeu de données s’affichent désormais sous forme d’erreurs dans le nouveau widget du tableau de bord Lakeview.

• Les dégradés de couleurs sont disponibles quand un champ numérique est utilisé pour une visualisation sur un tableau de bord Lakeview.

• Les dégradés de couleurs sont désormais exposés dans l’éditeur de visualisation du tableau de bord Lakeview lorsqu’un champ Color by est spécifié.

• Le titre et la description associés à une visualisation n’apparaissent plus comme étant modifiables si le viewer ne dispose pas de privilèges de modification sur un brouillon de tableau de bord Lakeview.

• Correction d’un problème où les info-bulles dans les graphiques avec plus de 100 séries affichaient incorrectement toutes les séries. À présent, seule la série avec le focus est affichée.

• Réduction de 30 % de la latence de saisie dans l’éditeur SQL grâce à des optimisations des performances.

• Lors de la gestion des requêtes dans l’éditeur SQL, le déplacement d’une requête vers la corbeille ferme automatiquement l’onglet.

• Correction d’un problème dans l’éditeur SQL où du texte était accidentellement sélectionné lors de l’ajustement de la largeur du panneau latéral.

29 février 2024

• Le navigateur de schémas dans l’Explorateur de catalogues affiche désormais les contraintes de clé primaire et de clé étrangère de colonne.

• La durée de rétention indiquée sous l’onglet Traçabilité de l’Explorateur de catalogues a été portée à un an.

• Les info-bulles sur les nouveaux graphiques dans les notebooks sont désormais toujours affichées à l’intérieur de la limite de visualisation.

• Découvrez comment gérer les tableaux de bord Lakeview par programmation à l’aide de l’API REST. Consultez Gérer les tableaux de bord avec des API Espace de travail.

• Les tableaux de bord Lakeview prennent désormais en charge les histogrammes.

• Amélioration du partage et de la publication dans les tableaux de bord Lakeview :

  • Amélioration des boîtes de dialogue de partage et de publication pour sécuriser et faciliter le partage avec n’importe quel utilisateur de compte.
  • Les tableaux de bord ouverts à partir du navigateur d’espace de travail affichent le tableau de bord publié s’il existe. Les viewers peuvent désormais voir les détails de la dernière version publiée, notamment l’éditeur, l’heure et les informations d’identification.
  • Pour les éditeurs, un nouveau sélecteur de liste déroulante disponible dans l’interface utilisateur du tableau de bord Lakeview permet de passer rapidement d’une version brouillon à une version publiée.

22 février 2024

• Les améliorations apportées à l’onglet Exemples de données dans l’affichage de la table de l’Explorateur de catalogue vous permettent de trier les colonnes, de copier les données sélectionnées dans le Presse-papiers et d’afficher les numéros de ligne. Il peut désormais mieux afficher des valeurs spéciales, telles que des objets JSON, des dates, des valeurs numériques et null.

• Les tableaux de bord Lakeview prennent désormais en charge l’envoi des instantanés PDF périodiques du tableau de bord aux utilisateurs de l’espace de travail et aux destinations de notification. Consultez Planifications et abonnements.

• La liste des options de visualisation dans le sélecteur de liste déroulante Lakeview est désormais triée par ordre alphabétique.

• Lors de la copie de tableaux de bord Databricks SQL dans des tableaux de bord Lakeview, les widgets qui ne peuvent pas être convertis affichent désormais le sélecteur de configuration de visualisation au lieu d’un message d’erreur.

15 février 2024

• La documentation relative aux filtres de requête basés sur le code, telles que SELECT action AS 'action::filter', a été supprimée. Databricks recommande de mettre à jour les requêtes pour supprimer ce modèle.

• Pour les tableaux de bord Lakeview, les graphiques en secteurs affichent désormais des tranches de taille égale lorsqu’aucun champ d’angle n’est spécifié.

• Lakeview prend désormais en charge les graphiques combinés, qui combinent des graphiques à barres et en courbes pour afficher deux valeurs différentes sur le même graphique.

• Les graphiques de carte thermique, qui utilisent l’intensité des couleurs pour indiquer l’ampleur de la corrélation entre deux variables discrètes, sont désormais disponibles dans Lakeview.

8 février 2024

• Vous pouvez maintenant demander l’accès lors de l’ouverture d’un lien vers un tableau de bord Lakeview pour lequel vous n’avez pas d’autorisations.
• Les filtres de tableau de bord Lakeview disposent désormais des options explicites Tous et Aucun. Les auteurs peuvent choisir de masquer l’option Tous dans des filtres à sélection unique.
• Vous pouvez maintenant définir des valeurs minimales et maximales pour les axes des graphiques de tableau de bord Lakeview.

1er février 2024

Databricks SQL version 2024.10 disponible

Planification du lancement

• Lancement en préversion pour 2024.10 : entre le 30 janvier 2024 et le 5 février 2024
• Lancement actuel pour 2024.10 : entre le 13 février 2023 et le 20 février 2024

Changements en 2024.10

• Correction de la gestion des fichiers endommagés dans les commandes DML : les commandes DML DELETE, UPDATE et MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu’elles rencontrent un fichier non lisible dans un tableau, ces commandes échouent désormais même si ces options sont spécifiées.
• L’accès concurrentiel au niveau des lignes est en disponibilité générale et activé par défaut : l’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes. La concurrence au niveau des lignes est prise en charge uniquement sur les tables sans partitionnement dont font partie les tables avec clustering liquide. La concurrence au niveau des lignes est activée par défaut sur les tables Delta avec les vecteurs de suppression activés. Consultez Conflits d’écriture avec concurrence au niveau des lignes.
• Clone superficiel pour les tables externes du catalogue Unity (préversion publique) : vous pouvez désormais utiliser un clone superficiel avec des tables externes du catalogue Unity. Consultez Clone superficiel pour les tables Unity Catalog.
• Collection de statistiques multithread plus rapide : la collecte de statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution de CONVERT TO DELTA ou d’un clonage à partir de tables Iceberg et Parquet. Consultez Convertir en delta Lake et Cloner de manière incrémentielle les tables Parquet et Iceberg vers Delta Lake.
• Filtres pushdown dans les fichiers DeltaSource sur Delta : pour une meilleure utilisation, les filtres de partition sur les requêtes de streaming de tables Delta font désormais l’objet d’un pushdown vers Delta avant la limitation de débit.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

• L’onglet Vue administrateur sur les pages de référencement des objets Databricks SQL (requêtes, tableaux de bord et alertes) a été supprimé. Les utilisateurs administrateurs de l’espace de travail peuvent afficher tous les objets de leurs pages de référencement respectives. Consultez Accéder et gérer les requêtes enregistrées, Tableaux de bord hérités et Qu’est-ce que les alertes Databricks SQL ?.

• La page historique des requêtes affiche par défaut les requêtes des 24 dernières heures. Consulter l'Historique des requêtes.

• Une option de menu, Cloner dans le tableau de bord Lakeview, a été ajoutée à l’interface utilisateur du tableau de bord Databricks SQL. Vous pouvez utiliser cet outil pour créer un tableau de bord Lakeview qui inclut les mêmes requêtes et visualisations dans vos tableaux de bord Databricks SQL existants. Consultez Cloner un tableau de bord hérité en un tableau de bord IA/BI.

• Les graphiques à barres dans les tableaux de bord Lakeview prennent en charge les barres de pile pour normaliser à 100 %.

• Correction d’un problème à cause duquel le zoom sur un tableau de bord Lakeview publié entraînait la mise en place d’intervalles de zoom incorrects.

24 janvier 2024

• Le canevas du tableau de bord Lakeview ajuste automatiquement le placement des widgets pour supprimer l’espace blanc vertical vide entre les lignes quand cela est possible.
• Espace blanc réduit entre le titre et le texte de description dans les visualisations du tableau de bord Lakeview.

18 janvier 2024

• Correction d’un problème de rendu pour les visualisations où les graphiques à barres affichaient une seule date sur l’axe des X, ce qui entraînait l’apparition d’une barre très fine. Les nouvelles visualisations de graphique s’affichent comme prévu.

• La page liste des tableaux de bord Lakeview affiche vos tableaux de bord par défaut. Vous pouvez utiliser des filtres sur cette page pour accéder aux tableaux de bord Lakeview détenus par d’autres utilisateurs de l’espace de travail.

11 janvier 2024

• Les requêtes Databricks SQL et les API de tableau de bord prennent en charge la modification par programmation du paramètre de rôle Exécuter en tant que.

• Lakeview prend en charge l’exportation et l’importation de tableaux de bord en tant que fichiers pour faciliter la reproduction de brouillons de tableaux de bord entre des espaces de travail. Consultez Exporter, importer ou remplacer un tableau de bord

4 janvier 2024

• Introduction des diagrammes de relations entre les entités à clé primaire et les entités à clé étrangère dans l’explorateur de catalogues. Consulter Afficher le diagramme des relations entre entités.

21 décembre 2023

• Le type de visualisation Compteur Lakeview montre des couleurs lors de la comparaison des valeurs BigInt aux principaux champs Valeur et Cible.

• Les info-bulles s’affichant lors de l’activation/désactivation de la visibilité de colonnes sur des tables dans Lakeview ont été améliorées. Elles agissent comme prévu et ne persistent pas.

• Les utilisateurs peuvent désormais utiliser l’Assistant Databricks pour créer des visualisations dans Lakeview. Consultez Créer des visualisations avec l’Assistant Databricks.

• Pour de nouveaux graphiques, les graphiques de type carte thermique respectent le paramètre reverseY.

• Nous avons résolu un problème de performances de l’affichage pour les notebooks avec un grand nombre de visualisations.

14 décembre 2023

• Correction d’un bogue qui faisait que les tableaux de bord Lakeview n’apparaissaient pas dans la page de référencement Lakeview sans actualisation manuelle de la page.
• Utilisez la touche d’échappement pour annuler la création d’un widget Lakeview lors de son placement sur le canevas.
• Le catalogue Explorer affiche désormais les index de recherche vectorielle dans l’interface utilisateur, dans le cadre de la préversion publique de recherche vectorielle Mosaic.

7 décembre 2023

Mises à jour de l’interface utilisateur

• Vous pouvez ajouter des tableaux de bord Lakeview aux favoris pour bénéficier d’accès rapide.

• Le copier-coller de raccourcis clavier sont pris en charge pendant l’élaboration d’un tableau de bord Lakeview. La clé de suppression supprime également les widgets sélectionnés.

• Amélioration des descriptions et des titres de widget Lakeview pour empêcher de détourer du texte pendant le chargement.

• Correction du problème de mise en forme de la visualisation dans lequel de grandes valeurs de type entier étaient affichées par erreur comme flottants.

• Correction d’une erreur avec des tableaux de bord Databricks SQL dans laquelle les affichages développés d’un graphique affichaient parfois des graphiques vides.

• Les graphiques à barres avec des champs quantitatifs sur les axes X et Y rendent des étiquettes de données plus lisibles.

• Correction d’une erreur dans l’Éditeur SQL pour que les tables ayant le mot stream dans le titre ne soient plus en conflit avec le mot clé réservé. Ces tables apparaissent désormais comme prévu dans le navigateur de schémas et ne sont pas mises en surbrillance pour signaler une erreur.

• La page d’historique de requêtes prend maintenant en charge le redimensionnement de colonnes et les sélections de colonnes.

• La page d’historique de requêtes prend désormais en charge deux nouvelles colonnes : Source de requête et Type de source de requête.

• Les options BI, comme Tableau et Power BI, sont plus faciles à trouver dans l’Explorateur de catalogues sur des pages éligibles.

30 novembre 2023

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

• Les graphiques à secteurs dans Lakeview peuvent désormais avoir des affectations de couleur personnalisées.

• Les transformations de visualisation dans Lakeview sont maintenant conservées lors de basculements entre des types de champ compatibles.

• Ajout de paramètres de titre pour les canaux d’angle de graphiques à secteurs.

• La liste déroulante de jeux de données Lakeview peut désormais faire l’objet d’une recherche pour faciliter la navigation.

• Lakeview prend en charge l’affichage numérique complet pour des valeurs inférieures à 10 000, ce qui élimine les abréviations.

• Ajout de la possibilité de coder des champs de date par couleur dans Lakeview.

• Les utilisateurs de Lakeview peuvent désormais mettre en évidence des légendes de graphique avec leur curseur pour copier et coller les valeurs.

• Les graphiques à secteurs de Lakeview offrent maintenant une option de bascule d’étiquette.

• Standardisation de la couleur bleue par défaut dans toutes les visualisations Lakeview.

• Les icônes de colonnes Lakeview dans les transformations correspondent désormais de manière systématique à la méthode de transformation utilisée.

• Les contrôles dans le volet de modification de Lakeview effectuent maintenant un enveloppement de manière automatique pour améliorer la lisibilité.

• Mise en production d’un éditeur de couleur amélioré pour les visualisations Lakeview.

• Le contrôle des conditions de police de table est désormais enveloppé pour améliorer la lisibilité.

• Compatibilité améliorée du mode sombre pour les étiquettes dans les nouveaux graphiques.

• Les nouveaux graphiques hiérarchisent désormais l’affichage d’étiquettes à l’intérieur des barres.

• Correction d’un bogue dans lequel des actions du menu contextuel ne fonctionnaient pas dans l’Éditeur SQL.

16 novembre 2023

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de SQL Warehouse décrites ci-dessus.

• Les requêtes, alertes et tableaux de bord Databricks SQL ont une nouvelle interface de planification et de planification.

• Les widgets Lakeview sont désormais plus faciles à redimensionner en raison d’une zone de déclencheur de redimensionnement plus grande.

• Les administrateurs d’espace de travail peuvent désormais modifier le propriétaire d’un tableau de bord Lakeview. À partir du mode d’édition sur un tableau de bord Lakeview :

  • Cliquez sur Partager
  • Cliquez sur
  • Cliquez sur Attribuer un nouveau propriétaire

• Les utilisateurs peuvent activer ou désactiver des étiquettes dans Lakeview.

Visualisations :

• Les nouvelles étiquettes de graphique préfèrent désormais fortement être à l’intérieur d’une barre lorsque cela est possible.
• Les nouvelles étiquettes de graphique apparaissent désormais correctement sur les barres empilées suffisamment larges pour afficher l’étiquette entière.
• Les couleurs des étiquettes à l’intérieur des graphiques à barres sont désormais plus cohérentes.

9 novembre 2023

Changements dans 2023.50 :

Points forts :

• Vous pouvez maintenant utiliser appel de paramètre nommé sur SQL et python.

Mises à jour du langage SQL : les fonctions intégrées suivantes ont été ajoutées :

• from_xml : analyse un code XML STRING en un STRUCT.
• schema_of_xml : dérive un schéma à partir d’un code XML STRING.
• session_user : retourne l’utilisateur connecté.
• try_reflect : retourne NULL au lieu de l’exception si une méthode Java échoue.

Les fonctions intégrées suivantes ont été améliorées :

• Invocation de la fonction. Les arguments de table pour les fonctions prennent en charge le partitionnement et l’ordre : vous pouvez désormais utiliser PARTITION BY et ORDER BY des clauses pour contrôler la façon dont les arguments de table sont passés à une fonction.
• mode : prise en charge d’un paramètre facultatif forçant un résultat déterministe.
• to_char : nouvelle prise en charge pour DATE, TIMESTAMPet BINARY.
• to_varchar : nouvelle prise en charge pour DATE, TIMESTAMPet BINARY.
• array_insert() est basée sur 1 pour les index négatifs : la fonction array_insert est basée sur 1 pour les index positifs et négatifs. Il insère désormais un nouvel élément à la fin des tableaux d'entrée pour l'index -1.

Mises à jour de l’interface utilisateur

Les fonctionnalités répertoriées dans cette section sont indépendantes des versions de calcul de l’entrepôt SQL décrites ci-dessus.

Visualisations :

• Les info-bulles pour les nouveaux graphiques affichent uniquement les éléments pointés pour les graphiques à cardinalité élevée.
• Les nouveaux graphiques alignent automatiquement les graphiques à deux axes à zéro.
• Les graphiques ont changé l’étiquette pivotée et le sens de l’angle du texte de l’axe de -90 à 90 degrés.
• Les graphiques utilisent désormais la largeur de l’étiquette pour décider de la rotation.

Tableaux de bordLakeview :

• Correctif : les lignes de table dans les tableaux de bord Lakeview n’ajoutent plus de remplissage vertical quand seul un petit nombre de lignes sont retournées.
• Le clonage d’un nouveau widget de tableau de bord Lakeview tente d’abord de placer le clone à droite de l’original, à condition qu’il y ait suffisamment d’espace sur le canevas. Si l’espace est insuffisant, le clone est placé sous l’original.
• Vous pouvez maintenant réaffecter le propriétaire d’un tableau de bord Lakeview via la boîte de dialogue Partager.

Éditeur SQL : la saisie semi-automatique est désormais moins agressive et ignore automatiquement à la fin des instructions

2 novembre 2023

Améliorations :

Voici des améliorations apportées à la traçabilité du tableau de bord Lakeview :

• ajout d’icônes distinctes pour les tables, les vues et les vues matérialisées ;
• ajout de la prise en charge du défilement vertical lorsqu’il y a de nombreuses sources de données en amont ;
• amélioration du message d’erreur lorsque la visionneuse ne dispose pas d’autorisations sur l’objet en amont ;
• clarification de la messagerie relative aux exemples de tables de données et aux données HMS ;
• ajout de balises de valeur clé aux sources de données en amont ;

Correctif :

• correction d’un problème dans les nouveaux graphiques qui empêchait le rendu après avoir renommé une série avec des valeurs booléennes ;

26 octobre 2023

Modifications apportées à Databricks SQL version 2023.45

Points forts :

• Les E/S prédictives pour les mises à jour sont désormais en disponibilité générale. Consultez Qu’est-ce que les E/S prédictives ?
• Les vecteurs de suppression sont désormais en disponibilité générale. Consultez Que sont les vecteurs de suppression ?

Optimisations des requêtes :

• Suppression de la jointure externe si toutes les fonctions d’agrégation sont distinctes. SPARK-42583
• Optimisation de l’ordre de filtrage des prédicats. SPARK-40045

Mises à jour de la fonction SQL :

• Prise en charge de la résolution d’alias de colonne latérale implicite sur Aggregate. SPARK-41631
• Prise en charge des alias de colonne latérale implicite dans les requêtes avec Window. SPARK-42217
• Prise en charge de Datasketches HLLSketch. Consultez fonction d’agrégation hll_sketch_agg.
• Ajout de la fonction try_aes_decrypt(). Consultez fonction try_aes_decrypt.
• prise en charge du mode CBC pour aes_encrypt() et aes_decrypt(). Voir fonction aes_decrypt.
• Ajout d’alias de fonction à trois arguments DATE_ADD et DATE_DIFF.
• Ajout de la prise en charge des aes_encrypt IVs et AAD. SPARK-43290
• Implémentation de fonctions bitmap. SPARK-44154
• Ajout de l’alias to_varchar pour to_char. Consultez fonction to_varchar.
• Ajout de la prise en charge de array_compact. Consultez fonction array_compact.
• Prise en charge d’udf luhn_check. Consultez fonction luhn_check.
• Ajout de la prise en charge des arguments nommés par l’analyseur pour les fonctions intégrées. SPARK-44059
• Prise en charge de la règle d’analyseur d’argument TABLE pour TableValuedFunction. SPARK-44200
• array_insert échoue maintenant avec l’index 0. SPARK-43011
• Ajout des valeurs NULL pour INSERT avec des listes spécifiées par l’utilisateur de moins de colonnes que la table cible. SPARK-42521
• La fonction DECODE retourne des résultats incorrects lors de la transmission de la valeur NULL. SPARK-41668

Mises à jour de l’interface utilisateur

Améliorations :

• L’éditeur SQL Lakeview prend désormais en charge les raccourcis clavier pour exécuter des requêtes.

• Les filtres dans Lakeview répertorient désormais les sélections de plages de dates relatives rapides pour les derniers 7, 14, 28, 30, 60 et 90 jours.

• Les périodes dans les noms de champs de données n’entraînent plus de graphiques vides.

• Le navigateur de schémas hérité fonctionne désormais avec Unity Catalog.

• Implémentation d’améliorations des performances pour charger uniquement l’onglet actif dans l’éditeur SQL, ce qui réduit le temps de chargement initial jusqu’à 20 %.

• Les commentaires de table générés par l’IA dans l’explorateur de catalogues sont désormais en disponibilité générale.

Correctifs :

• Les barres des graphiques à barres temporelles sont désormais centrées sur la graduation de date.
• Les modèles d’étiquette de données avec des expressions d’agrégation utilisent désormais les formateurs numériques appropriés.
• Le zoom sur de nouveaux graphiques fonctionne désormais avec un groupe identique pour utiliser des données temporelles.

Nouvel article :

• Publication d’un nouvel article montrant toutes les visualisations Lakeview, y compris les captures d’écran et les notes montrant comment recréer chacune des visualisations de chaque capture d’écran. Consultez Types de visualisation de tableaux de bord.

19 octobre 2023

Améliorations :

• Le glisser-déposer dans le navigateur de schéma est désormais disponible.

• Le modal Sélectionner une table dans les tableaux de bord Lakeview facilite la sélection parmi toutes les tables d’un catalogue ou d’un schéma et utilise désormais des prédictions de recherche d’autocomplétion au fur et à mesure que vous tapez.

Correctifs :

• Les instructions de l'info-bulle de sélection de légende précisent l'utilisation des utilisateurs Mac cmd et celle des utilisateurs Windows ctrl.

• Visibilité améliorée des messages tronqués dans les tableaux de bord Lakeview lorsque les données rendues dépassent les limites.

• Les graphiques avec des données tronquées affichent des couleurs cohérentes comme celles affichées dans l'éditeur.

12 octobre 2023

Améliorations :

• Les valeurs des filtres textuels contenant des caractères spéciaux sont désormais correctement filtrées dans les tableaux de bord Lakeview.

• Les nouveaux graphiques prennent en charge @@name étiquettes de données sur les tracés de points.

• Les formats de pourcentage personnalisés s’appliquent aux info-bulles de graphique groupées dans les nouveaux graphiques.

• L’interface utilisateur de l’extension de liaison d’espace de travail est en disponibilité générale.

Correctifs :

• Amélioration du rendu des étiquettes sur de nouveaux graphiques pour empêcher les étiquettes de se déverser en dehors des limites du graphique.
• Augmentation du contraste des lignes de graduation et de grille sur de nouveaux graphiques pour améliorer la visibilité.
• Augmentation de l’espacement des étiquettes d’axe pour améliorer la lisibilité sur les nouveaux graphiques.

5 octobre 2023

Améliorations :

• Des info-bulles précises ont été ajoutées pour des actions du mode de publication et une traçabilité des dates dans les tableaux de bord Lakeview.

• La mise en forme conditionnelle et les modèles de lien dans les visualisations de table dans Lakeview prennent désormais en charge les colonnes masquées.

• Le positionnement d’étiquette est optimisé pour les graphiques temporels à barre latérale afin d’améliorer la clarté dans les nouveaux graphiques.

• La visualisation de compteur dans Lakeview conserve ses transformations, même après la suppression d’autres champs, afin de garantir la cohérence.

• Le pointage sur une série de graphique estompe désormais les séries avoisinantes dans l’info-bulle pour améliorer la lisibilité dans les nouveaux graphiques.

• Les nouveaux graphiques utilisant des valeurs en pourcentage affichent désormais des info-bulles avec des valeurs absolues.

• La prise en charge de l’autocomplétion a été ajoutée pour la création de volumes.

• La fermeture d’un onglet non actif ne permet plus de basculer d’un onglet à un autre.

• Une exécution sélectionnée indique clairement une mise en surbrillance de texte.

Correctifs :

• Libellé de message d’erreur amélioré dans les tableaux croisés dynamiques en cas de troncation des données.

• Correction d’une erreur de rendu dans les tableaux croisés dynamiques où les couleurs ne s’affichent pas lors de l’utilisation de types de données BigInt.

• Suppression du symbole de couleur des entrées de légende de dépassement lors d’un téléchargement au format PNG dans de nouveaux graphiques dotés de nombreux éléments de légende.

• Les lignes des nouveaux graphiques maintiennent une épaisseur cohérente, même à la limite de l’affichage supérieur.

• Dans Lakeview, le sélecteur de jeux de données du canevas est vide si aucun jeu de données n’existe.

• Les Delta Live Tables sont correctement détectées par l’analyseur SQL et ne s’affichent pas en tant que tables non valides dans un navigateur de schémas.

• Les info-bulles sont ajoutées à la barre latérale.

28 septembre 2023

Améliorations :

• Les tableaux de bord Lakeview publiés disposent désormais d'un bouton de d’actualisation.

• Amélioration des messages d'erreur pour les utilisateurs qui n'ont pas accès à un tableau de bord Lakeview.

• La configuration de filtre dans les tableaux de bord Lakeview liste désormais les champs valides en haut de la liste de sélection.

• Le téléchargement d’un graphique en tant que PNG depuis un tableau de bord Lakeview conserve désormais le titre et la description.

• L’amélioration de l’historique des tables Delta dans Catalog Explorer comprend l’ajout de filtres pour la plage de dates, l’utilisateur et le type d’opération, ainsi que des colonnes triables et des liens inclus vers les travaux et notebooks associés.

• Ajout de la prise en charge du mode sombre pour les légendes, les infobulles et la visualisation des tableaux.

Correctif :

• Les sélections de filtres ne sont plus effacées lors de l'actualisation d'un tableau de bord Lakeview.

21 septembre 2023

Améliorations :

• Les performances de rendu du tableau croisé dynamique ont été améliorées.
• Nouveau modèle DuBois pour les vues tabulaires de lignée dans l'interface utilisateur.

14 septembre 2023

Amélioration :

• Les noms de fichiers sont désormais conservés lors du téléchargement de fichiers PNG dans les nouvelles visualisations graphiques. Consultez Nouvelles visualisations de graphiques dans Databricks.

7 septembre 2023

Databricks SQL version 2023.40 disponible

Planification du lancement

• Déploiement préliminaire pour 2023.40 : entre le 5 septembre 2023 et le 11 septembre 2023
• Déploiement actuel pour 2023.40 : entre le 18 septembre 2023 et le 25 septembre 2023

Changements en 2023.40 :

• Les balises sont désormais disponibles avec Unity Catalog.
• Databricks Runtime renvoie une erreur si un fichier est modifié entre la planification de la requête et l'appel.
• Prise en charge du pilote Azure Databricks ODBC/JDBC.
• Activez l’étiquetage des colonnes de séries chronologiques.
• Nouvelles fonctions SQL bitmap.
• Fonctions de cryptage améliorées.
• Prise en charge du catalogue Unity pour REFRESH FOREIGN.
• INSERT BY NAME est maintenant pris en charge.
• Partagez des vues matérialisées avec Delta Sharing.

Mises à jour de l’interface utilisateur

Améliorations :

• De nouveaux graphiques sont désormais disponibles, offrant des performances de rendu plus rapides, de belles couleurs et une interactivité améliorée. Consultez Nouvelles visualisations de graphiques dans Databricks.

• Dans la vue graphique du profil de requête, vous pouvez désormais afficher le type de jointure sur n'importe quel nœud contenant une jointure dans le plan de requête.

• Data Explorer est renommé Catalog Explorer pour reconnaître le fait que vous pouvez l’utiliser pour utiliser tous les objets sécurisables dans Unity Catalog, pas seulement les objets de données. Consultez Qu’est-ce que l’Explorateur de catalogues ?.

• L’API Databricks SQL Statement Execution est désormais GA avec Databricks SQL version 2023.35 et supérieure. L'API vous permet de soumettre des instructions SQL pour exécution sur un entrepôt SQL Databricks, de vérifier l'état et de récupérer les résultats, ou d'annuler l'exécution d'une instruction SQL en cours d'exécution. Voir API d'exécution d'instructions.

31 août 2023

Nouvelle fonctionnalité :

• L’étiquetage pour Unity Catalog est en préversion publique. Vous pouvez utiliser des étiquettes pour simplifier la recherche et la découverte de vos ressources de données. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

24 août 2023

Amélioration :

• L’autocomplétion cesse de suggérer des recommandations après avoir appuyé sur la barre d’espace.
• Le navigateur de schémas ne voit plus les Delta Live Tables live comme des tables rompues.

16 août 2023

Amélioration :

• Le Catalogue déroulant dans l’éditeur SQL se ferme à présent lorsque vous changez d’onglets. Auparavant, lorsque vous changiez d’onglets, la liste déroulante restait ouverte.

10 août 2023

Amélioration :

• L’autocomplétion prend désormais en charge la nouvelle syntaxe de définition des étiquettes Unity Catalog. Pour plus d’informations sur les commandes, consultez Référence sur le langage SQL.

3 août 2023

Améliorations :

• L’éditeur Monaco sous-jacent utilise désormais la version 37.1.
• Prise en charge de l’autocomplétion pour les commandes Delta SHOW ARCHIVED FILES FOR.

27 juillet 2023

Améliorations :

• L’éditeur SQL est désormais compatible avec les caractères de nouvelle ligne Windows, ce qui garantit que la mise en forme des requêtes fonctionne comme prévu dans tous les cas.
• Vous pouvez ouvrir la navigation du profil de requête depuis les résultats du notebook. Pour les requêtes, exécutez votre requête avec l’entrepôt SQL.

20 juillet 2023

Databricks SQL version 2023.35 disponible

Planification du lancement

• Lancement de la préversion pour 2023.35 : entre le 18 juillet 2023 et le 24 juillet 2023
• Déploiement actuel pour 2023.35 : entre le 31 juillet 2023 et le 8 août 2023

Changements dans 2023.35 :

• Fiabilité améliorée pour VACUUM avec clone superficiel dans Unity Catalog.
• Prise en charge des UDF Python dans SQL.
• Delta Lake UniForm pour Iceberg est en préversion publique.
• Le clustering liquide Delta Lake est en préversion publique.
• Prise en charge de l’archivage pour Delta Lake.
• Prise en charge des clauses IDENTFIER.
• Prise en charge des fonctions définies par l’utilisateur (UDF) Python et Pandas par Unity Catalog.

Amélioration :

• La popularité des tables dans Catalog Explorer est disponible pour tous les utilisateurs Unity Catalog.

13 juillet 2023

Amélioration :

• Les utilisateurs Unity Catalog peuvent désormais afficher des informations supplémentaires sur les tables dans Catalog Explorer, comme les tables fréquemment jointes, les utilisateurs fréquents d’une table donnée et les notebooks et tableaux de bord fréquemment utilisés.

22 juin 2023

Aperçu public :

• Databricks SQL prend désormais en charge les modèles de langage volumineux (LLM) hébergés sur des points de terminaison de mise en service de modèles. Appelez ai_query() pour accéder à votre LLM. Cette fonction est uniquement disponible en préversion publique sur Databricks SQL Pro et Serverless. Pour participer à la préversion publique, envoyez le formulaire d’inscription à la préversion publique d’AI Functions.

15 juin 2023

Nouvelle fonctionnalité :

• Les tâches SQL dans les Travaux sont désormais en disponibilité générale. Vous pouvez orchestrer des requêtes, des tableaux de bord et des alertes à partir de la page Travaux. Consultez Tâche SQL pour les travaux.
• Un nouveau navigateur de schémas est désormais disponible en préversion publique, avec une expérience utilisateur mise à jour, un onglet Pour vous et des filtres améliorés. Le navigateur de schémas est disponible dans Databricks SQL, Catalog Explorer et les notebooks. Affichez Parcourir des données.

8 juin 2023

DBSQL version 2023.30 est disponible

Changements dans la version 2023.30

• Nouvelles fonctions SQL intégrées, telles que array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]]) et sql_keywords() .
• Vous pouvez désormais utiliser un clone superficiel pour créer des tables gérées Unity Catalog à partir de tables gérées Unity Catalog existantes. Consultez Clone superficiel pour les tables Unity Catalog.
• Vous pouvez désormais utiliser CLONE et CONVERT TO DELTA avec des tables Iceberg qui ont des partitions définies sur des colonnes tronquées de types int, long et string. Les colonnes tronquées de type decimal ne sont pas prises en charge.
• START VERSION est désormais déconseillé pour ALTER SHARE.

Mises à jour de l’interface utilisateur

Correctif :

• La visualisation de compteur prend désormais en charge la mise en forme lors de l’utilisation de grands entiers.

1 juin 2023

Améliorations :

• Les données binaires sont désormais affichées sous forme de chaîne hexadécimale lors de l’utilisation du format Arrow.

• Dans l’API d’instruction SQL, le format CSV est désormais pris en charge pour la disposition EXTERNAL_LINKS. Cela permet aux clients d’extraire jusqu’à 100 Gio de données au format CSV avec des URL pré-signées, alors que la limite INLINE pour JSON est de 16 Mio.

• Azure Databricks SQL Pro est disponible dans toutes les régions de Chine. SQL Pro est désormais l’entrepôt par défaut de l’interface utilisateur. La valeur par défaut de l’API est toujours Classique.

29 mai 2023

Nouvelle fonctionnalité :

• Vous pouvez maintenant utiliser l’interface utilisateur d’ajout de données pour charger des données à partir d’un chemin de stockage d’objets cloud défini en tant qu’emplacement externe Unity Catalog. Pour plus d’informations, consultez Charger des données à l’aide d’un emplacement externe Unity Catalog.

25 mai 2023

Améliorations :

• Vous pouvez maintenant désactiver le panneau de résultats de l’autocomplétion.
• Désactivez la touche Entrée afin qu’elle n’accepte plus les suggestions d’autocomplétion. Sous Paramètres utilisateur DBSQL, cliquez sur Paramètres de l’éditeur, puis sur Paramètres du nouvel éditeur. Désactivez Enter key accepts autocomplete suggestions (La touche Entrée accepte les suggestions de saisie semi-automatique).

Correctifs :

• Les en-têtes de table triés ont désormais des couleurs.
• Les lignes de graphique s’affichent maintenant correctement.

18 mai 2023

Amélioration :

• Dans l’API d’instruction SQL, la disposition EXTERNAL_LINKS prend désormais en charge le format JSON_ARRAY. Vous pouvez extraire jusqu’à 100 Gio de données au format JSON avec des URL pré-signées. La limite INLINE pour JSON est de 16 Mio.

11 mai 2023

Nouvelle fonctionnalité :

• Le navigateur de schémas est désormais en disponibilité générale dans Catalog Explorer.

Améliorations :

• L’affichage du panneau de détails de la table lors du survol est moins sensible.
• La touche Échappement ferme maintenant le panneau d’autocomplétion.
• Les définitions d’affichage disposent désormais de la mise en surbrillance de la syntaxe dans l’onglet des détails de Catalog Explorer.

Correctifs :

• Les tableaux croisés dynamiques s’affichent désormais correctement sur les appareils Windows.
• Les suggestions d’autocomplétion suivent maintenant correctement la casse du premier mot clé.

4 mai 2023

Databricks SQL version 2023.26 disponible

Planification du lancement

• Lancement en préversion pour 2023.26 : entre le 19 avril 2023 et le 25 avril 2023
• Lancement actuel pour 2023.26 : entre le 3 mai 2023 et le 10 mai 2023

Changements dans 2023.26

• Photon retourne une erreur si un fichier est modifié entre la planification et l’exécution de la requête.
• Nouvelles fonctionnalités et prise en charge étendue des fonctionnalités d’E/S prédictives. Consultez Databricks Runtime 13.0 (EoS).
• Utilisez le connecteur Azure Databricks pour vous connecter à un autre espace de travail Databricks.
• Fonctionnalité CREATE TABLE LIKE pour les tables Delta.
• Nouveaux champs de colonne de métadonnées indiquant le début et la longueur du bloc de fichiers.
• Nouvelles fonctions géospatiales H3. Consultez Fonctions géospatiales H3.
• Nouvelles fonctions SQL intégrées. Consultez Databricks Runtime 13.0 (EoS).

Mises à jour de l’interface utilisateur

Améliorations :

• Les administrateurs peuvent changer de propriétaires d’entrepôt à l’aide de l’interface utilisateur ou de l’API. Consultez Gérer un entrepôt SQL.
• Catalog Explorer affiche désormais les principaux de service de compte dans les listes d’utilisateurs pour les ressources dans Unity Catalog. Par exemple, les principaux de service de compte sont visibles lors de la modification des privilèges ou de la modification de propriétaires dans Catalog Explorer.
• Les étiquettes de graphique personnalisées prennent en charge la possibilité de référencer n’importe quelle colonne dans le jeu de données.
• Les filtres de tableau de bord chargent désormais les noms de colonnes, même lorsque vous utilisez des requêtes qui n’ont pas d’informations de catalogue ni de schéma.

27 avril 2023

Améliorations :

• L’éditeur SQL s’appuie désormais sur l’éditeur Monaco pour une expérience d’édition plus fiable.
• La page de liste historique SQL (requêtes) inclut désormais le système de conception Dubois.

20 avril 2023

Améliorations :

• Introduit de nouveaux tableaux croisés dynamiques qui vous permettent d’agréger plus de 64 000 résultats.
• Les tables et visualisations Databricks SQL prennent désormais en charge BigInt, les décimales 38 bits et les caractères non UTF-8. Pour les nombres, le paramètre par défaut est désormais la précision des chiffres définie par l’utilisateur.
• L’autocomplétion suggère désormais des jointures passées fréquentes pour les tables Unity Catalog, avec les données de traçabilité Unity Catalog dans Databricks Runtime 12.0 et versions ultérieures.

Nouvelle fonctionnalité :

• Retourner le texte généré par un modèle LLM (Large Language Model) sélectionné en fonction de l’invite avec ai_generate_text. Cette fonction est uniquement disponible en préversion publique sur Databricks SQL Pro et Serverless. Pour participer à la préversion publique, renseignez et envoyez le formulaire d’inscription à la préversion publique d’AI Functions.

13 avril 2023

Nouvelle fonctionnalité :

• Le type TIMESTAMP_NTZ représente des valeurs comprenant les champs Année, Mois, Jour, Heure, Minute et Seconde. Toutes les opérations sont effectuées quel que soit le fuseau horaire. Consultez Type TIMESTAMP_NTZ.

Améliorations :

• Les utilisateurs peuvent désormais envoyer des résultats mis en forme dans des alertes à l’aide de la balise QUERY_RESULT_TABLE dans un message d’alertes personnalisé.
• Les utilisateurs peuvent désormais afficher la taille des données de fichier pour les tables Unity Catalog dans Catalog Explorer.

6 avril 2023

Databricks SQL version 2023.20 disponible

Planification du lancement

• Lancement de la préversion pour 2023.20 : entre le 15 mars 2023 et le 23 mars 2023
• Lancement actuel pour 2023.20 : entre le 27 mars 2023 et le 3 avril 2023

Changements dans 2023.20

• L’évolution du schéma Delta Lake prend en charge la spécification de colonnes sources dans les instructions de fusion.
• Supprimez tous les éléments NULL d’un tableau à l’aide d’array_compact.
• Pour ajouter des éléments à un tableau, utilisez array_append.
• Pour anonymiser les valeurs de chaîne sensibles, utilisez la fonction mask.
• Les conditions d’erreur courantes retournent maintenant SQLSTATE.
• Appelez des fonctions de générateur table dans la clause régulière FROM d’une requête.
• Utilisez les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.
• Amélioration de la cohérence pour le comportement de validation Delta pour les transactions vides relatives aux commandes update, delete et merge.
• Changement de comportement
  • La fonctionnalité d’alias de colonne latérale introduit des changements de comportement pendant la résolution de noms. Consultez Changements de comportement.

Mises à jour de l’interface utilisateur

Améliorations :

• Catalog Explorer prend désormais en charge la suppression du metastore Hive.
• Le message pour l’état initial de l’éditeur de visualisation est passé de Colonnes requises manquantes à Aucune donnée.

3 avril 2023

Nouvelle fonctionnalité :

• La page Créer ou modifier une table à partir d’un fichier chargé prend désormais en charge les téléchargements de fichiers JSON. Pour plus d’informations, consultez Créer ou modifier une table à l’aide du chargement de fichiers.

30 mars 2023

Améliorations :

• Dans la page de supervision de l’entrepôt, vous pouvez maintenant afficher l’historique des requêtes pour l’intervalle de temps sélectionné, ainsi que vos graphiques de mise à l’échelle. Vous pouvez également afficher les requêtes en cours d’exécution et mises en file d’attente, les sessions SQL actives, l’état de l’entrepôt et le nombre actuel de clusters. Consultez Superviser un entrepôt SQL.
• Le clustering de mappage est désormais désactivé par défaut dans Cartes à marqueurs.
• Des info-bulles ont été ajoutées pour les limites de troncation et de rendu de visualisation.

Correctifs :

• Les graphiques respectent désormais l’ordre d’origine lorsque le tri est désactivé pour les valeurs d’axe et que le graphique a le groupe par colonne.

23 mars 2023

Améliorations :

• Les visualisations prennent désormais en charge le binning horaire par semaine.
• Total calcule maintenant toutes les données au-delà des 100 x 100 cellules jusqu’à 64 000 résultats dans les tableaux croisés dynamiques de notebooks.
• Les utilisateurs peuvent désormais mettre en forme les valeurs de cellule dans le nouveau tableau croisé dynamique des notebooks.
• La traçabilité des fichiers, des requêtes et des magasins de fonctionnalités est disponible.

16 mars 2023

Amélioration :

• Prise en charge de la syntaxe GROUP BY ALL.

9 mars 2023

Nouvelle fonctionnalité :

• L’API d’exécution d’instruction Databricks SQL est désormais disponible en préversion publique. L’exécution des instructions fournit des points de terminaison qui exécutent des instructions SQL sur un entrepôt Databricks SQL. Elle peut également vérifier l’état, extraire les résultats et annuler une instruction SQL en cours d’exécution.

Amélioration :

• La console d’administration SQL a été combinée aux paramètres d’administration généraux pour créer une expérience unifiée pour les utilisateurs administrateurs. Tous les paramètres d’administration SQL sont désormais accessibles à partir de la console d’administration.
• Les destinations d’alerte sont désormais appelées « destinations de notifications ».

Correctifs :

• Les tables n’affichent plus deux barres de défilement.
• Les titres de widget vides ne sont plus remplacés sur les tableaux de bord.

2 mars 2023

Correctif :

• Vous pouvez maintenant utiliser des URL relatives dans les tables pour accéder aux tableaux de bord.

23 février 2023

Amélioration :

• TINYINT est désormais pris en charge dans les tables de résultats dans les notebooks.

Correctif :

• Correction d’un bogue où le défilement sur le modal de filtre de création de tableau de bord a entraîné une erreur.

16 février 2023

Améliorations :

• Les étiquettes de données sur les graphiques affichent désormais plus de caractères pour éviter de tronquer des descriptions.
• L’autocomplétion reconnaît désormais range() et les fonctions create UDF Python.
• L’autocomplétion évite désormais d’initier des extraits de code sur les décimales et dans les commentaires de code.

Correctifs :

• Les utilisateurs peuvent désormais zoomer sur des cartes.
• Dans les notebooks, les couleurs sont désormais correctement attribuées aux graphiques.

2 février 2023

Améliorations :

• Prise en charge de DESCRIBE DETAILS dans l’éditeur.
• Amélioration de la vitesse de chargement du navigateur de schémas.
• Vous pouvez maintenant afficher la liste des colonnes possibles dans le panneau latéral d’un SELECT *.

26 janvier 2023

Amélioration :

• Les messages d’erreur de votre requête incluent désormais des liens vers la rubrique de documentation décrivant l’erreur.

19 janvier 2023

Améliorations :

• Vous pouvez maintenant voir un panneau Nouveautés qui met en évidence les principales améliorations. Vous pouvez ouvrir et fermer ce panneau en cliquant sur l’icône représentant un cadeau.
• Les administrateurs peuvent désormais modifier la propriété des entrepôts SQL.
• Vous pouvez désormais filtrer plusieurs visualisations dans un tableau de bord en cliquant sur Ajouter>Filtre, puis en sélectionnant la requête et les colonnes à filtrer.

12 janvier 2023

Améliorations :

• Les titres des widgets de visualisation sur les tableaux de bord ont désormais le format suivant par défaut : Nom de la visualisation - Nom de la requête.
• Ajout de fonctions géospatiales H3 à la référence du panneau inline.
• Ajout de références inline pour la syntaxe SQL comme CREATE TABLE et OVER.

Correctifs :

• Le tri et les bascules inversées sont désormais disponibles quand l’échelle de l’axe X est définie sur Automatique.
• Les cartes thermiques et les tableaux croisés dynamiques sont désormais réactifs pour certains cas de périphérie.
• Les graduations catégorielles de l’axe Y sont désormais triées par défaut.
• Les brouillons de requête ne sont plus perdus après une actualisation du navigateur.

8 décembre 2022

• Les alertes Azure Databricks SQL prennent désormais en charge les alertes pour les agrégations de colonnes de résultats de requête telles que SUM, COUNTet AVG.
• Le titre de visualisation par défaut est désormais « VisualizationName - QueryName » lors de la création de widgets sur des tableaux de bord.

17 novembre 2022

Alertes :

• Chatworks, Mattermost et Google Hangouts Chat ne sont plus des destinations de notification.

Amélioration :

• L’axe y affiche désormais les nombres sous forme de pourcentages lors de la vérification des valeurs de pourcentage.
• Le paramètre administrateur de l’espace de travail pour désactiver l’interface utilisateur de chargement des données s’applique désormais à la nouvelle interface utilisateur de chargement des données. Ce paramètre s’applique aux images Science des données et Ingénierie, Databricks Mosaic AI et Databricks SQL.

Correctifs :

• Correction d’un problème dans les alertes Databricks SQL où la comparaison avec les valeurs Null n’était pas évaluée de manière incorrecte.
• Correction d’un problème où les barres de défilement sur les tableaux croisés dynamiques disparaissait.
• Correction d’un problème où le navigateur de schémas ne pouvait pas se redimensionner avec des onglets débordés.

10 novembre 2022

Amélioration :

• Vous pouvez maintenant créer un filtre de tableau de bord qui fonctionne sur plusieurs requêtes en même temps. En mode Modifier le tableau de bord, choisissez Ajouter, puis Filtre, puis Nouveau filtre de tableau de bord.
• La saisie semi-automatique prend désormais en charge CREATE MATERIALIZED VIEW.

Correctif :

• Correction d’un problème où le défilement jusqu’à la fin d’un ensemble de résultats paginés du tableau de bord envoyait une erreur.
• Correction d’un problème où le passage d’un graphique à barres empilées à un graphique en courbes conservait la propriété d’empilement.
• Correction des appels de récupération dupliqués.

3 novembre 2022

Amélioration :

• Lors de la demande d’accès dans Databricks SQL, l’autorisation par défaut est désormais « peut s’exécuter ».

Correctifs :

• Correction d’un problème où le tri par created_at à l’aide de l’API Requêtes et tableaux de bord ne renvoyait pas l’ordre de tri correct.
• Correction d’un problème où les colonnes contenant des URL avec une mise en forme HTML avaient des largeurs de colonne trop larges.
• Correction d’un problème où le mot cléWHERE n’était pas mis en surbrillance.

27 octobre 2022

Améliorations :

• La limite de lignes pour le téléchargement des résultats de requête dans Excel a été augmentée de 64 000 lignes à 100 000 lignes. Les limites de téléchargement CSV et TSV restent inchangées (environ 1 Go de données).

• La saisie semi-automatique prend désormais en charge la syntaxe, les URL et les informations d’identificationLIST.

• Panneaux de suggestions de correction consolidés et modernisés.

• Un nouveau type d’entrepôt, Databricks SQL Pro, est introduit pour Databricks SQL. Ce type d’entrepôt permet à un entrepôt Databricks SQL d’utiliser l’intégration des Travaux, la fédération des requêtes, les fonctionnalités géospatiales et les E/S prédictives.

Correctifs :

• Correction d’un problème où la bannière d’avertissement dans l’éditeur chevauche les visualisations en pleine hauteur.
• Correction d’un problème où la largeur des colonnes de table n’était pas conservée lors du déplacement des colonnes de la table.
• Correction d’un problème où le lien vers le tableau de bord dans les notifications contextuelles était rompu si une visualisation était ajoutée à partir de l’éditeur SQL.

20 octobre 2022

Améliorations :

• Vous pouvez maintenant trouver la barre de progression de la requête dans le pied de page et l’action de modification d’une visualisation dans le menu kebab.
• La saisie semi-automatique prend désormais en charge le voyage dans le temps Delta et fournit l’autocomplétion des colonnes lors de la définition d’une clé étrangère.

Correctif :

• Résolution d’un problème dans lequel l’ajout de plusieurs visualisations à un tableau de bord de succession rapide entraînait l’échec des visualisations dans le tableau de bord.

13 octobre 2022

Améliorations :

• Vous pouvez maintenant supprimer les messages d’erreur signalés.
• COMMENT ON l’instruction est désormais prise en charge dans l’éditeur.
• Vous pouvez maintenant utiliser Cmd+P ou Ctrl+P (pour PC) comme raccourci pour la recherche supérieure. Utilisez Cmd+I ou Ctrl+I (pour PC) pour ajouter des paramètres.

11 octobre 2022

Améliorations :

• L’IU d’ajout de données permet d’accéder aux configurations de sources de données courantes et aux interfaces utilisateur de chargement de fichiers. Consultez Charger des fichiers dans Azure Databricks.
• Vous pouvez charger de petits fichiers vers Delta Lake à l’aide d’une interface utilisateur. Consultez Créer ou modifier une table à l’aide du chargement du fichier.

6 octobre 2022

Améliorations :

• EXTERNAL est maintenant une de propriété de tableau réservée. Les commandes CREATE TABLE ... TBLPROPERTIES et ALTER TABLE ... SET TBLPROPERTIES échouent si EXTERNAL est spécifiée dans les propriétés.
• strfmt dans format_string(strfmt, obj, ...) et printf(strfmt, obj, ...) ne prend plus en charge l’utilisation de 0$ comme premier argument. Le premier argument doit toujours être référencé par 1$ lorsque vous utilisez un index d’arguments pour indiquer la position de l’argument dans la liste d’arguments.
• Les segments de graphique en secteurs ont désormais une fine bordure pour délimiter différents segments.
• Vous pouvez maintenant utiliser Cmd+I (pour Mac) ou Ctrl+I (pour PC) comme raccourci pour Ajouter un paramètre. Utilisez Cmd+P ou Ctrl+P (pour PC) comme raccourci pour Recherche globale
• Un bouton de commentaires est disponible pour les messages d’erreur de requête corrects ou incorrects.
• Les suggestions de correctif sont désormais disponibles en tant que Correctif rapide.

Correctifs :

• Les fonctions lpad et rpad fonctionnent désormais correctement avec BINARY les entrées de chaîne. La sortie des entrées de chaîne lpad et rpad pour BINARY est désormais une BINARY chaîne.
• Correction d’un problème où les actualisations manuelles des alertes ne fonctionnaient pas.
• Modifications restaurées du dimensionnement automatique des compteurs pour résoudre les problèmes de formatage.

29 septembre 2022

Améliorations :

• Vous pouvez désormais demander l’accès aux requêtes, alertes et tableaux de bord Databricks SQL aux propriétaires de ces ressources.
• Vous pouvez désormais filtrer par durée de requête et type d’instruction sur la page des historiques des requêtes.
  • Pour utiliser le filtre de durée de requête, entrez une durée et choisissez une unité de temps. Le résultat de l’historique renvoie les requêtes qui s’exécutent plus longtemps que le temps spécifié.
  • Pour utiliser le filtre de type d’instruction, choisissez un type d’instruction dans la liste déroulante. Le résultat de l’historique renvoie les requêtes contenant cette instruction.

Correctif :

• Correction d’un problème où toutes les balises HTML prises en charge ne fonctionnaient pas dans des modèles d’alerte personnalisés. Toutes les balises sont disponibles comme documenté.
• Correction d’un problème où les notifications de visualisation apparaissent. Par exemple, le double-clic pour effectuer un zoom arrière sur une visualisation n’était pas affiché précédemment.
• Correction d’un problème où l’échange des axes sur un graphique n’était pas répercuté dans le nom du graphique.

22 septembre 2022

Améliorations :

• Les widgets de compteur de la même taille auront le même dimensionnement de police lorsque plusieurs widgets de compteur sont affichés sur un tableau de bord.
• Les graphiques combinés sont mis à jour afin que, lorsque vous utilisez deux axes, seul le même type de graphique (par exemple, la ligne, la barre) peut être utilisé sur le même axe. Les alias de série sont également appliqués à l’axe.
• Ajout de la prise en charge de la saisie semi-automatique pour les clés et opérations de substitution LIST.

Correctif :

• Résolution du problème où les paramètres de texte n’acceptaient pas Null comme valeur valide.

15 septembre 2022

Correctif :

• Correction d’un problème en raison duquel l’affichage de l’historique des requêtes à partir de la page listant les entrepôts SQL ne fonctionnait pas.

8 septembre 2022

Amélioration :

• Présentation de la nouvelle carte « Intégrations open source » dans les pages d’accueil DSE/SQL qui affichent les options d’intégration open source, telles que Delta Live Tables et dbt core.

Correctif :

• Correction d’un problème où les menus déroulants de paramètres étaient bloqués par l’onglet visualisation.

1 septembre 2022

Améliorations :

• Présentation d’une nouvelle interface utilisateur simplifiée pour ajouter des paramètres et des filtres. Sélectionnez et choisissez d’ajouter un filtre ou un paramètre.
• Les parenthèses des jetons SQL, tels que « OVER() », sont désormais ajoutées automatiquement.

Correctifs :

• Correction du problème qui avait pour effet que l’affichage plein écran du tableau de bord ignorait la palette de couleurs.
• Correction du problème qui avait pour effet que la saisie rapide, puis l’utilisation du raccourci Exécuter exécutait le texte de requête précédent, au lieu du texte de requête nouvellement saisi.
• Correction du problème qui avait pour effet que l’utilisation de la commande clavier Ctrl+Entrée pour exécuter des requêtes envoyait des requêtes en double.

25 août 2022

Correctif :

• Correction d’un problème où les filtres de tableau de bord ne sont pas mis à jour lorsque les paramètres de requête ont changé.

18 août 2022

• Pour Databricks SQL, Unity Catalog (préversion publique) est disponible dans le canal de préversions. Pour plus d’informations, consultez Qu’est-ce que Unity Catalog ?.

• Documentation : la documentation de l’API Alertes a été publiée.

• Visualisations : les utilisateurs peuvent désormais définir des valeurs par défaut pour les filtres de date. Chaque fois que le filtre est actualisé sur une requête ou un tableau de bord, la valeur par défaut est appliquée.

• Correctifs :

  • Correction d’un problème qui entravait l’application des modifications si un tableau de bord était en cours de rechargement.
  • Correction d’un problème lié au fait que les colonnes étaient trop étroites quand une requête ne retournait aucun résultat.

11 août 2022

Améliorations :

• Les utilisateurs peuvent recevoir des e-mails quand leurs actualisations échouent. Pour activer ces notifications, accédez à l’onglet Paramètres SQL de la console d’administration. Sous E-mails d’échec, choisissez le type d’objet (Requête, Tableau de bord ou Alerte) pour lequel vous souhaitez recevoir des notifications d’échec. Les rapports d’échec sont envoyés toutes les heures.
• Visualisations
  • Présentation d’une nouvelle palette de couleurs moderne pour les visualisations et les tableaux de bord. Pour définir un tableau de bord sur la nouvelle palette de couleurs, accédez à celui-ci, cliquez sur -> -> et sélectionnez la palette de couleurs Databricks. Les administrateurs SQL peuvent également définir la nouvelle palette de couleurs comme option par défaut pour un espace de travail en accédant à -> -> -> et en sélectionnant la nouvelle palette.

Correctifs :

• Correction d’un problème lié au fait que la sélection de l’option pour appliquer un filtre échouait si une requête était déjà en cours d’exécution.

4 août 2022

Améliorations :

• Lors du clonage d’un tableau de bord, il existe désormais une option permettant de déterminer si les requêtes doivent également être clonées.
• Le contenu des onglets est synchronisé avec les onglets du navigateur. L’état de votre requête est désormais synchronisé avec tous les onglets du navigateur. Cela signifie que si vous travaillez sur la requête 1 dans l’onglet 1 du navigateur puis basculez vers l’onglet 2 du navigateur, vous verrez la requête 1 dans l’état où vous l’avez laissée quand vous étiez dans l’onglet du navigateur d’origine.

Correctif :

• Les étiquettes des chaînes vides du graphique à secteurs reflètent désormais que la chaîne est vide plutôt que l’index de la valeur.

28 juillet 2022

• Alertes
  • Des modèles d’e-mails d’alerte personnalisés ont été mis à jour pour interdire certaines balises HTML susceptibles de présenter un risque de sécurité. Les attributs et balises HTML non autorisés sont automatiquement nettoyés. Par exemple,
  • Les utilisateurs peuvent désormais abonner d’autres utilisateurs à des alertes sans avoir à créer une destination de notification, ce qui nécessite des autorisations d’administrateur.
• Téléchargements : Les utilisateurs peuvent désormais télécharger jusqu’à environ 1 Go de données de résultats à partir de Databricks SQL aux formats CSV et TSV, alors qu’ils étaient limités à 64 000 lignes auparavant.
• Visualisations
  • Vous pouvez désormais modifier des visualisations directement dans le tableau de bord. En mode d’édition, cliquez sur les trois points et sélectionnez Modifier la visualisation pour commencer à modifier la visualisation.
  • Lors du téléchargement des résultats associés à une visualisation tirant parti des agrégations, les résultats téléchargés sont également agrégés. L’option de téléchargement passe des trois points du bas à ceux associés à l’onglet. Les résultats téléchargés proviennent de l’exécution la plus récente de la requête qui a créé la visualisation.
• Éditeur SQL : les tables de résultats affichent désormais un message lorsque les données affichées par la table dans le navigateur sont limitées à 64 000 lignes. Les téléchargements TSV et CSV continuent d’être limités à environ 1 Go de données.
• Filtres de requête :
  • Les filtres de requête ont été mis à jour pour fonctionner dynamiquement côté client ou côté serveur afin d’optimiser les performances. Les filtres de requête précédents (désormais hérités) fonctionnaient uniquement côté client. S’ils le souhaitent, les utilisateurs peuvent toujours utiliser des filtres hérités avec la syntaxe ::.
  • Les filtres mis à jour sont plus simples : les utilisateurs cliquent sur un bouton +Ajouter un filtre et sélectionnent une colonne dans une liste déroulante. Auparavant, les utilisateurs devaient modifier directement le texte de la requête.
  • Les valeurs pertinentes sont mises en surbrillance pour mieux voir quelles sélections au sein d’un filtre retourneront les résultats en fonction d’autres sélections de filtre.
• Historique des requêtes : les détails de la requête dans l’historique des requêtes affichent désormais la source de la requête qui est l’origine de la requête exécutée.

21 juillet 2022

• Notifications sur le partage : les utilisateurs sont désormais avertis par e-mail chaque fois qu’un tableau de bord, une requête ou une alerte sont partagés avec eux.
• Expérience améliorée de l’éditeur SQL via le nouveau kit de ressources d’éditeur incorporé
  • Mise en surbrillance des erreurs de syntaxe en direct (par exemple, mot clé incorrect, table inexistante et suggestions de correction de l’erreur)
  • Dans l’aide contextuelle : lors du pointage de la souris (par exemple, nom complet de la table, panneau Fonction détaillé) et dans les messages d’erreur d’exécution inline (par exemple, mise en surbrillance de la ligne contenant l’erreur post-exécution)
  • Classement intelligent des suggestions (par exemple, saisie semi-automatique des paramètres, formule de classement par ordre de priorité, résultats avec moins de bruit)

14 juillet 2022

• Vous pouvez maintenant charger des fichiers TSV à l’aide de l’interface utilisateur Create Table en plus des fichiers CSV.
• Databricks SQL offre désormais la possibilité de notifier les utilisateurs par e-mail chaque fois qu’un tableau de bord, une requête ou une alerte est partagé avec eux.
• Les tables de visualisation incluent désormais des numéros de ligne affichés en regard des résultats.
• Lorsque vous sélectionnez une région géographique pour la visualisation choroplèthe, vous obtenez maintenant des indicateurs internes pour les valeurs acceptées.

23 juin 2022

• Changement de nom « Point de terminaison SQL » : le nom « Point de terminaison SQL » a été changé en « Entrepôt SQL » dans Databricks, car c’est plus qu’un simple point d’entrée d’API pour l’exécution de commandes SQL. Un entrepôt SQL est une ressource de calcul pour tous vos besoins d’entreposage de données, partie intégrante de la plateforme Databricks. Les ressources de calcul sont des ressources d’infrastructure qui fournissent des fonctionnalités de traitement dans le cloud.
• Pour les visualisations choroplèthes, les sélections de champs Clé et Cible dans l’éditeur de visualisation ont été renommées Colonne géographique et Type géographique. Ce changement de nom est destiné à faciliter la compréhension et n’introduit aucune modification du comportement des choroplèthes nouvelles ou existantes.
• L’option de limite à 1 000 requêtes est passée d’une case à cocher dans l’éditeur de requête SQL à une case à cocher dans le bouton Exécuter.
• Les requêtes mises en cache dans la table Historique des requêtes sont désormais marquées avec une étiquette Cache.
• L’actualisation manuelle d’un tableau de bord utilise l’entrepôt du tableau de bord (s’il est disponible) au lieu de l’entrepôt de chaque requête individuelle.
• L’actualisation d’une alerte utilise toujours l’entrepôt de l’alerte, quel que soit le paramètre Exécuter en tant que visiteur/propriétaire.

9 juin 2022

• Lorsque vous pointez dans le sélecteur de point de terminaison, le nom complet du point de terminaison s’affiche sous la forme d’une info-bulle.
• En filtrant dans le navigateur de schéma de l’éditeur SQL, le terme de recherche est mis en surbrillance dans les résultats de la recherche.
• La boîte de dialogue Fermer tout dans l’éditeur SQL affiche maintenant une liste de requêtes non enregistrées.
• Pour rouvrir le dernier onglet fermé dans l’éditeur SQL, utilisez ce nouveau raccourci clavier : <Cmd> + <Shift> + <Option> + T
• Vous pouvez maintenant ajouter des étiquettes de données à des graphiques combinés.
• La liste des opérations d’agrégations de visualisation inclut désormais la variance et l’écart type.

26 mai 2022

Améliorations apportées à la création :

• Vous pouvez désormais contourner les agrégations lorsque vous créez des visualisations. Cela est particulièrement utile lorsque votre requête inclut déjà une agrégation. Par exemple, si votre requête est SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio, l’éditeur de graphique exigeait auparavant explicitement la spécification d’une autre couche d’agrégation.
• Lorsque vous créez des tableaux de bord, vous pouvez désormais :
  • Dupliquer des widgets de zone de texte.
  • Développer la taille du panneau de zone de texte de modification.
• L’agrégation par défaut de la colonne d’erreur lorsque vous créez des visualisations est l’écart type.

Correctifs :

• Les actions de modification pour les visualisations sont disponibles uniquement lorsque le tableau de bord est en mode édition. Les actions de modification ne sont plus disponibles en tant qu’action en mode affichage.
• Lorsque vous créez une requête, elle s’ouvre dans un onglet juste à droite de l’onglet ayant le focus plutôt qu’à la fin de la liste.
• Le modal de requête ouvert indique la requête déjà ouverte, et fournit la possibilité de basculer le focus vers cet onglet de requête.
• Les graphiques Sankey et Sunburst ne traitent plus 0 comme nul.

19 mai 2022

• Problème résolu : Lorsque le focus de l’éditeur SQL ouvert est sur un onglet de visualisation spécifique, et que vous partagez le lien avec un autre utilisateur, l’utilisateur aura le même focus dans l’éditeur SQL lorsqu’il cliquera sur le lien partagé.
• Améliorations :
  • Microsoft Teams est désormais une destination de notification prise en charge.
  • Les paramètres Plage de dates, Date et Heure, et Plage de date et d’heure (avec secondes) prennent désormais en charge la possibilité de désigner le jour de début de la semaine, avec dimanche comme valeur par défaut.

12 mai 2022

• Les visualisations prennent désormais en charge la quantification de temps directement dans l’interface utilisateur. À présent, vous pouvez facilement basculer entre les classes annuelles, mensuelles, quotidiennes ou horaires de vos données en modifiant une valeur déroulante plutôt qu’en ajoutant et modifiant une fonction date_trunc() dans le texte de requête lui-même.
• Les tableaux de bord présentent maintenant une cohérence des couleurs par défaut. Si vous disposez d’une même série sur plusieurs graphiques, cette série est toujours colorée sur tous les graphiques, sans nécessiter de configuration manuelle.

3 mai 2022

• Lors du partage d’un tableau de bord avec un utilisateur ou un groupe, nous fournissons désormais également la possibilité de partager toutes les requêtes en amont utilisées par les visualisations et les paramètres.
  • Lorsque vous n’êtes pas autorisé à partager une ou plusieurs des requêtes en amont, vous recevez un message d’avertissement indiquant que toutes les requêtes n’ont pas pu être partagées.
  • Les autorisations accordées lors du partage d’un tableau de bord ne remplacent, n’annulent ou n’étendent pas les autorisations existantes sur les requêtes en amont. Par exemple, si un utilisateur ou un groupe dispose d’autorisations CAN RUN (peut exécuter) en tant que propriétaire sur le tableau de bord partagé, mais qu’il dispose uniquement d’autorisations d’exécution en tant que lecteur sur une requête en amont, les autorisations effectives sur cette requête en amont seront exécutées en tant que lecteur.

27 avril 2022

• La disposition de votre tableau de bord est désormais conservée lors de l’exportation au format PDF à la demande et de la génération d’e-mails d’abonnement planifiés.

17 mars 2022

• Les graphiques incluent une nouvelle option de visualisation de combinaison. Cela vous permet de créer des graphiques qui incluent à la fois des barres et des courbes.

10 mars 2022

• Le catalogue Unité (Préversion) vous permet de gérer la gouvernance et l’accès à vos données au niveau du compte. Vous pouvez gérer de manière centralisée les métadonnées et les autorisations de données, et vous pouvez affecter un magasin de données à plusieurs espaces de travail dans votre compte. Vous pouvez gérer et interagir avec les données et les objets Unity Catalog à l’aide de l’explorateur de catalogue Databricks SQL ou de l’éditeur SQL, et vous pouvez utiliser des données Unity Catalog dans des tableaux de bord et des visualisations. Consultez Qu’est-ce que Unity Catalog ?.

Notes

Le Catalogue Unity requiert des points de terminaison SQL pour utiliser la version 2022.11, qui se trouve dans le canal en préversion.

• Le partage Delta (préversion) vous permet de partager des données en lecture seule avec des destinataires en dehors de votre organisation. Databricks SQL prend en charge l’interrogation des données de partage Delta et leur utilisation dans les visualisations et les tableaux de bord.
• Chaque fois qu’un tableau de bord est actualisé manuellement ou en vertu d’une planification, toutes les requêtes dans le tableau de bord et en amont, y compris celles utilisées par les paramètres, sont actualisées. Quand une visualisation individuelle est actualisée, toutes les requêtes en amont, y compris celles utilisées par les paramètres, sont actualisées.

3 mars 2022

• La visualisation cohorte a été mise à jour de telle sorte que les cohortes soient interpolées à partir des valeurs min et max plutôt que 0 et 100. Il est désormais beaucoup plus facile de distinguer les cohortes au sein de la plage réelle de données disponibles. Auparavant, si tous les nombres étaient proches les uns des autres, ils utilisaient la même couleur. Désormais, les nombres proches ensemble sont susceptibles d’utiliser des couleurs différentes, car la cohorte est divisée de la plage max. à min pour former chaque série.
• Il est plus facile de voir si un calendrier d’abonnement de tableau de bord est actif ou suspendu. Lorsque vous cliquez sur s’abonner, si la planification de l’abonnement au tableau de bord est suspendue, le message indiquant que cette planification a été suspendue s’affiche. Quand une planification de l’abonnement au tableau de bord est suspendue, vous pouvez vous abonner ou vous désabonner du tableau de bord, mais les instantanés planifiés ne sont pas envoyés et les visualisations du tableau de bord ne sont pas mises à jour.
• Lorsque vous affichez l' historique des requêtes, vous pouvez désormais trier la liste par durée. Par défaut, les requêtes sont triées par heure de début.

24 février 2022

• Dans Catalog Explorer, vous pouvez désormais afficher les autorisations dont disposent les utilisateurs ou les groupes sur une table, une vue, un schéma ou un catalogue. Cliquez sur l’objet, puis sur autorisations et utilisez la zone nouveau filtre.

17 février 2022

• Les visualisations sont devenues un peu plus intelligentes ! Quand une requête génère une ou deux colonnes, un type de visualisation recommandé est automatiquement sélectionné.
• Vous pouvez maintenant créer des histogrammes pour visualiser la fréquence de chaque valeur dans un jeu de données et déterminer si un jeu de données a des valeurs qui sont regroupées autour d’un petit nombre de plages ou qui sont plus répandues.
• Dans l’historique des requêtes et le profil de requête, vous pouvez désormais développer jusqu’à la largeur complète de la chaîne de requête et du message d’erreur d’une requête qui a échoué. Il est ainsi plus facile d’analyser les plans de requête et de résoudre les problèmes de requêtes qui ont échoué.
• Dans les visualisations à barres, en courbes, en aires, en secteurs et carte thermique, vous pouvez désormais effectuer une agrégation directement dans l’interface utilisateur de configuration de la visualisation, sans avoir à modifier la requête elle-même. Lorsque vous tirez parti de ces nouvelles fonctionnalités, l’agrégation est effectuée sur l’ensemble du jeu de données, au lieu d’être limité aux 64 000 premières lignes. Lorsque vous modifiez une visualisation créée avant cette version, un message s’affiche indiquant This visualization uses an old configuration. New visualizations support aggregating data directly within the editor. si vous souhaitez tirer parti des nouvelles fonctionnalités, vous devez recréer la visualisation. Voir Activer l’agrégation dans une visualisation.

10 février 2022

• Vous pouvez maintenant définir une palette de couleurs personnalisée pour un tableau de bord. Toutes les visualisations qui s’affichent dans ce tableau de bord utilisent la palette spécifiée. La définition d’une palette personnalisée n’affecte pas le mode d’affichage d’une visualisation dans d’autres tableaux de bord ou dans l’éditeur de SQL.

  Vous pouvez spécifier des valeurs hexadécimales pour une palette ou importer des couleurs d’une autre palette, qu’elles soient fournies par Databricks ou créées par un administrateur d’espace de travail.

  Quand une palette est appliquée à un tableau de bord, toutes les visualisations affichées dans ce tableau de bord utilisent la palette de couleurs sélectionnée par défaut, même si vous configurez des couleurs personnalisées lors de la création de la visualisation. Pour remplacer ce paramètre, consultez Personnaliser les couleurs d’une visualisation.

• Les administrateurs de l’espace de travail peuvent désormais créer une palette de couleurs personnalisée à l’aide de la console d’administration. Une fois la palette de couleurs personnalisée créée, elle peut être utilisée dans les tableaux de bord nouveaux et existants. Pour utiliser une palette de couleurs personnalisée pour un tableau de bord ou pour la personnaliser, vous pouvez modifier les paramètres du tableau de bord.

• Lorsque vous ajoutez une visualisation qui utilise des paramètres à un tableau de bord à partir du menu SQL , la visualisation utilise désormais des paramètres de niveau tableau de bord par défaut. Cela correspond au comportement lorsque vous ajoutez un widget à l’aide du bouton Ajouter une visualisation dans un tableau de bord.

• Lorsque vous affichez l’historique des requêtes et filtrez la liste par une combinaison de paramètres, le nombre de requêtes correspondantes s’affiche à présent.

• Dans les visualisations, un problème a été résolu dans lequel la plage de l’axe des Y n’a pas pu être ajustée à des valeurs spécifiques.

3 février 2022

• L’éditeur de SQL à onglets est désormais activé par défaut pour tous les utilisateurs. Pour plus d’informations ou pour désactiver l’éditeur avec onglets, consultez modifier plusieurs requêtes.

• Les abonnés aux e-mails du tableau de bord reçoivent désormais une image inline qui affiche l’instantané du tableau de bord au lieu d’une pièce jointe. Un fichier PDF de l’instantané est joint à l’e-mail.

• Vous pouvez désormais équilibrer la fiabilité et les coûts en configurant la stratégie d’instance par point pour les points de terminaison de SQL. La stratégie des instances ponctuelles détermine si les travailleurs utilisent uniquement des instances à la demande ou une combinaison d'instances à la demande et ponctuelles. Le coût optimisé (valeur par défaut) utilise principalement des instances ponctuelles et une instance à la demande. La fiabilité optimisée utilise uniquement des instances à la demande. Auparavant, les instances à la demande étaient toujours utilisées pour les points de terminaison de SQL. Pour conserver ce comportement, définissez la stratégie d’instance par point sur fiabilité optimisée. Consultez Configurer la stratégie d’instance de zone.

27 janvier 2022

• Des améliorations ont été apportées à la façon dont vous pouvez afficher, partager et importer le profil d’une requête. Voir Profil de requête.

• La visualisation des détails vous permet désormais de renommer les colonnes, tout comme la visualisation de table.

• Vous pouvez maintenant fermer un onglet dans l’éditeur de SQL en cliquant sur celui-ci avec le bouton central.

• Les raccourcis clavier suivants ont été ajoutés à l’éditeur de SQL à onglets :

  • Fermer tous les onglets : Cmd+Option+Shift+A (macOS) / Ctrl+Option+Shift+A (Windows)
  • Fermez les autres onglets : Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

  Ces raccourcis clavier permettent de cliquer avec le bouton droit sur un onglet pour accéder aux mêmes actions. Pour afficher tous les raccourcis clavier, cliquez sur l’icône de clavier dans l’éditeur SQL à onglets.

20 janvier 2022

• La mise en forme par défaut des types de données Integer et float dans les tables a été mise à jour pour ne pas inclure de virgules. Cela signifie que, par défaut, les valeurs telles que 10002343 ne comporteront plus de virgules. Pour mettre en forme ces types pour qu’ils s’affichent avec des virgules, cliquez sur modifier la visualisation, développez la zone de la colonne et modifiez le format pour inclure une virgule.
• Pour mieux s’aligner sur les limites de rendu du navigateur, les visualisations affichent désormais un maximum de 10 000 points de données. Par exemple, un nuage affiche un maximum de 10 000 points. Si le nombre de points de données est limité, un avertissement s’affiche.

13 janvier 2022

• Nous avons résolu un problème où le bouton enregistrer dans l’éditeur de SQL était parfois désactivé. Le bouton Enregistrer est maintenant toujours activé et contient un astérisque (*) lorsque des modifications non enregistrées sont détectées.

15 décembre 2021

• Databricks SQL est mis à la disposition générale. Cela marque un jalon majeur dans la fourniture de la première plate-forme Lakehouse qui unifie les charges de travail de données, d’intelligence artificielle et de BI dans un même emplacement. Avec la disponibilité générale, vous pouvez vous attendre à un niveau de stabilité, de prise en charge et de préparation à l’échelle de Databricks pour les charges de travail stratégiques. Lisez le blog de l' annonce GA pour en savoir plus.
• Les alertes sont désormais planifiées indépendamment des requêtes. Lorsque vous créez une nouvelle alerte et créez une requête, vous êtes invité à créer également une planification pour l’alerte. Si vous aviez une alerte existante, nous avons dupliqué la planification à partir de la requête d’origine. Cette modification vous permet également de définir des alertes pour les requêtes exécuter en tant que propriétaire et exécuter en tant que visionneuse . Les requêtes exécuter en tant que propriétaire s’exécutent sur la planification d’alerte désignée avec les informations d’identification du propriétaire de la requête. Les requêtes de visionneuse d’identification s’exécutent sur la planification d’alerte désignée avec les informations d’identification du créateur de l’alerte. Découvrez Quelles sont les alertes DATAbricks SQL ? et Planifier une requête.
• Vous pouvez maintenant réorganiser les paramètres dans l' éditeur de SQL et dans les tableaux de bord.
• La documentation pour la création de visualisations carte thermique a été développée. Consultez Options de carte thermique.

9 décembre 2021

• Lorsque vous créez une visualisation de table, vous pouvez désormais définir la couleur de la police d'une colonne à une valeur statique ou à une plage de valeurs basée sur les valeurs du champ de la colonne. La valeur littérale est comparée au seuil. Par exemple, pour colorer les résultats dont les valeurs dépassent la valeur numérique 500000, créez le seuil > 500000 plutôt que > 500,000. Voir Formatage conditionnel des couleurs de colonne.
• Les icônes de l’explorateur de schémas de SQL avec onglets vous permettent désormais de faire la distinction entre les tables et les vues.

1 décembre 2021

• Vous pouvez maintenant appliquer des paramètres de configuration SQL au niveau de l’espace de travail. Ces paramètres s’appliquent automatiquement à tous les points de terminaison de SQL existants et nouveaux dans l’espace de travail. Voir Configurer des paramètres SQL.

18 novembre 2021

• Lorsque vous affichez l’historique d’une requête, vous pouvez désormais filtrer les requêtes sur le principal du service qui les a exécutées. Voir l'historique des requêtes.

• vous pouvez maintenant ouvrir l’éditeur de SQL à l’aide d’un raccourci de barre latérale. Pour ouvrir l’éditeur de SQL, cliquez sur éditeur de SQL.

• Si vous êtes autorisé à créer des clusters Science des données & Engineering, vous pouvez désormais créer des points de terminaison SQL en cliquant sur Créer dans la barre latérale et en cliquant sur SQL Endpoint.

• Les administrateurs peuvent désormais transférer la propriété d’une requête, d’un tableau de bord ou d’une alerte à un autre utilisateur via l’interface utilisateur. Consultez l'article :

  • Transfert de la propriété d'une requête
  • Transfert de la propriété d’un tableau de bord hérité
  • Transférer la propriété d’une alerte

4 novembre 2021

• Dans une visualisation Carte (Choroplèthe), le nombre maximum d'étapes de dégradé pour les couleurs dans la légende a été augmenté de 11 à 20. La valeur par défaut est 5 étapes de dégradé, y compris la couleur min et la couleur Max.
• L'éditeur de SQL avec onglets prend désormais en charge la gestion des onglets en bloc. Si vous cliquez avec le bouton droit sur un onglet, vous verrez des options pour Fermer les autres, Fermer sur la gauche, Fermer sur la droite et Fermer tout. Notez que si vous cliquez avec le bouton droit de la souris sur le premier ou le dernier onglet, vous ne verrez pas les options Fermer à gauche ou Fermer à droite.

28 octobre 2021

• Lorsque vous affichez une table dans Catalog Explorer, vous avez deux options pour simplifier l’interaction avec la table :
  • Cliquez sur créer > une requête pour créer une requête qui sélectionne toutes les colonnes et retourne les 1000 premières lignes.
  • Cliquez sur Créer> un tableau de bord rapide pour ouvrir une page de configuration où vous pouvez sélectionner les colonnes qui vous intéressent et créer un tableau de bord et des requêtes de soutien qui fournissent des informations de base à l'aide de ces colonnes et présentent les paramètres de niveau tableau de bord et d'autres capacités.

19 octobre 2021

• De nouveaux raccourcis clavier sont désormais disponibles dans l'éditeur à onglets :
  • Ouvrir un nouvel onglet :
    • Windows : Cmd+Alt+T
    • Mac : Cmd+Option+T
  • Fermer le panneau actif
    • Windows : Cmd+Alt+W
    • Mac : Cmd+Option+W
  • Ouvrir le dialogue de requête
    • Windows : Cmd+Alt+O
    • Mac : Cmd+Option+O

23 septembre 2021

• Vous pouvez maintenant créer un tableau de bord en clonant un tableau de bord existant si vous disposez des autorisations CAN RUN (peut exécuter), CAN EDIT (peut modifier) et CAN MANAGE (peut gérer) sur le tableau de bord et toutes les requêtes en amont. Consultez Cloner un tableau de bord hérité.
• Vous pouvez maintenant utiliser GROUP BY dans une visualisation avec plusieurs colonnes d’axe Y. Voir Nuage de points.
• Vous pouvez maintenant utiliser {{ @@yPercent}} pour mettre en forme les noms de données dans un graphique à barres empilées non normalisé. Voir Graphique à barres.
• Si vous utilisez l’authentification SAML et que vos informations d’identification SAML expirent au bout de quelques minutes, vous êtes désormais invité de façon proactive à vous reconnecter avant d’exécuter une requête ou d’actualiser un tableau de bord. Cela permet d’éviter toute interruption due à des informations d’identification qui expirent au cours de l’exécution des requêtes.

20 septembre 2021

• Vous pouvez désormais transférer la propriété des tableaux de bord, des requêtes et des alertes à l’aide de l’API REST Autorisations. Consultez Listes de contrôle d’accès des requêtes.

16 septembre 2021

• Dans les résultats de la requête, les résultats BIGINT sont maintenant sérialisés en tant que chaînes lorsqu’ils dépassent 9007199254740991. Cela permet de résoudre un problème où les résultats BIGINT pouvaient être tronqués dans les résultats de la requête. Les autres résultats de type entier sont toujours sérialisés en tant que nombres. Le format des nombres sur les étiquettes d’axe et les info-bulles ne s’applique pas aux résultats BIGINT qui sont sérialisés en tant que chaînes. Pour plus d’informations sur les types de données dans Databricks SQL, consultez BIGINT, type.

7 septembre 2021

Databricks déploie les modifications qui suivent le cours d’une semaine. Votre espace de travail ne prend peut-être pas en charge ces modifications avant le 7 septembre.

• Databricks SQL est désormais disponible en préversion publique et activé pour tous les utilisateurs dans les nouveaux espaces de travail.

  Notes

  Si votre espace de travail a été activé pour Databricks SQL pendant l'aperçu public, c'est-à-dire avant la semaine commençant le 7 septembre 2021, les utilisateurs conservent les droits attribués avant cette date, sauf si vous les modifiez. En d’autres termes, un utilisateur qui ne pouvait pas accéder à Databricks SQL en préversion publique n’y a toujours pas accès, à moins qu’un administrateur ne le lui accorde.

• Les administrateurs peuvent gérer les utilisateurs qui ont accès à Databricks SQL en affectant le droit Accès à Databricks SQL (databricks-sql-access dans l’API) à des utilisateurs ou à des groupes. Par défaut, les nouveaux utilisateurs disposent de ce droit.

  Les administrateurs peuvent restreindre un utilisateur ou un groupe à accéder uniquement à Databricks SQL et l’empêcher d’accéder à Data Science & Engineering et à Databricks Mosaic AI en supprimant le droit Accès à l’espace de travail (workspace-access dans l’API) de l’utilisateur ou du groupe. Par défaut, les nouveaux utilisateurs disposent de ce droit.

  Important

  Pour ouvrir une session et accéder à Azure Databricks, un utilisateur doit avoir le droit Accès à Databricks SQL ou Accès à l’espace de travail (ou les deux).

• Un petit point de terminaison SQL classique appelé Starter Endpoint (point de terminaison de démarrage) est préconfiguré sur tous les espaces de travail. Vous pouvez donc commencer à créer des tableaux de bord, des visualisations et des requêtes immédiatement. Pour traiter des charges de travail plus complexes, vous pouvez facilement augmenter sa taille (pour réduire la latence) ou le nombre de clusters sous-jacents (pour traiter davantage d’utilisateurs simultanés). Pour gérer les coûts, le point de terminaison de démarrage est configuré pour prendre fin après 120 minutes d’inactivité.

• Pour vous aider à être rapidement opérationnel, une nouvelle expérience d’intégration guidée est disponible pour les administrateurs et les utilisateurs. Le panneau d’intégration est visible par défaut et vous pouvez toujours voir le nombre de tâches d’intégration restantes dans la barre latérale. Cliquez sur les tâches restantes pour rouvrir le panneau d’intégration.

• Vous pouvez commencer à utiliser Databricks SQL rapidement avec deux jeux de données enrichis dans un catalogue en lecture seule appelé SAMPLES, qui est disponible à partir de tous les espaces de travail. Lorsque vous découvrez Databricks SQL, vous pouvez utiliser ces schémas pour créer des requêtes, des visualisations et des tableaux de bord. Aucune configuration n’est requise et tous les utilisateurs ont accès à ces schémas.

  • Le schéma nyctaxi contient les données de trajet en taxi figurant dans le tableau trips.
  • Le schématpch contient les données de recettes de vente au détail et de chaîne logistique figurant dans les tableaux suivants :
    • customer
    • lineitem
    • nation
    • orders
    • part
    • partsupp
    • region
    • supplier

  Cliquez sur Exécutez votre première requête dans le panneau d’intégration pour générer une nouvelle requête du schémanyctaxi.

• Pour en savoir plus sur la visualisation des données dans Databricks SQL sans aucune configuration requise, vous pouvez importer des tableaux de bord à partir de la Galerie d’exemples de tableaux de bord. Ces tableaux de bord sont alimentés par les jeux de données du catalogue SAMPLES.

  Pour afficher la Galerie d’exemples de tableaux de bord, cliquez sur Importer un exemple de tableau de bord dans le panneau d’intégration.

• Vous pouvez désormais créer et supprimer des fonctions SQL natives à l’aide des commandes CREATE FUNCTION et DROP FUNCTION.

2 septembre 2021

• Les utilisateurs disposant de l’autorisation CAN RUN (peut exécuter) sur un tableau de bord peuvent désormais gérer la planification de l’actualisation du tableau de bord et la liste des abonnements. Avant, l’autorisation CAN MANAGE (peut gérer) était requise. Pour plus d’informations; consultez Actualiser un tableau de bord automatiquement.

• Par défaut, les visualisations ne sont plus redimensionnées dynamiquement en fonction du nombre de résultats retournés, mais gardent la même hauteur quel que soit le nombre de résultats. Pour revenir au comportement précédent et configurer une visualisation pour un redimensionnement dynamique, activez Redimensionner dynamiquement la hauteur du panneau dans les paramètres de la visualisation dans le tableau de bord. Pour plus d’informations, consultez Options des tables.

• Si vous avez accès à plusieurs espaces de travail dans le même compte, vous pouvez rapidement passer de l’un à l’autre depuis Databricks SQL. Cliquez sur l' dans le coin inférieur gauche de votre espace de travail Azure Databricks, puis sélectionnez un espace de travail pour y passer.

12 août 2021

• Un administrateur peut maintenant mettre fin à la requête d’un autre utilisateur pendant son exécution. Pour plus d’informations, consultez Mettre fin à une requête en cours d’exécution.

5 août 2021

• Amélioration de la mise en forme des résultats EXPLAIN
  • Meilleure lisibilité des résultats Explain
  • Mise en forme d’un seul tenant sans retour à la ligne

29 juillet 2021

• Il est maintenant plus facile de jongler avec plusieurs requêtes grâce à la prise en charge de plusieurs onglets dans l’éditeur de requête. Pour utiliser l’éditeur à onglets, consultez Modifier plusieurs requêtes.

8 juillet 2021

• Les widgets de visualisation des tableaux de bord comportent désormais des titres et des descriptions qui vous permettent d’adapter le titre et la description des visualisations utilisées dans plusieurs tableaux de bord au tableau de bord lui-même.
• La barre latérale a été mise à jour pour améliorer la visibilité et la navigation :
  • Les entrepôts sont désormais des Points de terminaison SQL et Historique est renommé en Historique des requêtes.
  • Les paramètres de compte (anciennement appelés Utilisateurs) ont été déplacés vers Compte. Quand vous sélectionnez Compte, vous pouvez changer l’espace de travail Azure Databricks et vous déconnecter.
  • Les paramètres utilisateur ont été déplacés vers Paramètres et ont été divisés en Paramètres et console d’administration SQL. Console d’administration SQL n’est visible que par les administrateurs.
  • L’icône d’aide a été changée en Aide.

1er juillet 2021

• Le nouveau Catalog Explorer vous permet d’explorer et de gérer facilement les autorisations sur les bases de données et les tables. Les utilisateurs peuvent consulter les détails des schémas, afficher un aperçu des exemples de données et consulter les détails et les propriétés des tables. Les administrateurs peuvent consulter et changer les propriétaires d’objets de données, et ces derniers peuvent accorder et révoquer des autorisations. Pour plus de détails, consultez Qu’est-ce que l’Explorateur de catalogues ?.
• Dans les graphiques horizontaux, les axes Y ont été mis à jour pour refléter le même ordre que dans les tables. Si vous avez sélectionné l’ordre inverse, vous pouvez utiliser le bouton bascule Inverser l’ordre sur l’onglet Axe Y pour inverser le nouvel ordre.

23 juin 2021

• Configurez facilement des points de terminaison SQL avec des principaux de service. Il existe désormais une commande qui vous permet de configurer un principal de service dans le paramétrage général des points de terminaison SQL. Consultez Configurer un principal du service.
• Les vues temporaires sont désormais prises en charge.

17 juin 2021

• Photon, le nouveau moteur d’exécution vectorisée de Databricks, est désormais activé par défaut pour les points de terminaison SQL nouvellement créés (interface utilisateur et API REST). Photon accélère de manière transparente les éléments suivants :
  • Écritures dans des tables Parquet et Delta.
  • Requêtes SQL nombreuses. Voir Limitations.
• Gérez facilement les utilisateurs et les groupes avec les commandes CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS et SHOW USERS. Pour plus d’informations, consultez Instructions de sécurité et Instructions d’affichage.
• Le navigateur de schémas de l’éditeur de requête est plus réactif et plus rapide sur les schémas contenant plus de 100 tableaux. Sur ces schémas, le navigateur de schémas ne charge pas automatiquement toutes les colonnes. La liste des tableaux s’affiche toujours comme d’habitude, mais les colonnes sont chargées uniquement quand vous cliquez sur un tableau. Ce changement affecte l’autocomplétion des requêtes dans l’éditeur de requête, car elle s’appuie sur ces informations pour afficher les suggestions. Tant que vous n’avez pas développé une table et chargé ses colonnes, ces suggestions ne sont pas disponibles.

3 juin 2021

• Les administrateurs des espaces de travail Azure Databricks récemment activés reçoivent par défaut les droits d’utilisation Databricks SQL et n’ont plus besoin de s’octroyer les droits d’accès Databricks SQL à l’aide de la console d’administration.
• Photon est maintenant en préversion publique et est activé par défaut pour les nouveaux points de terminaison SQL.
• L’équilibrage de charge sur plusieurs clusters est maintenant en préversion publique.
• Vous pouvez désormais activer la collaboration sur des tableaux de bord et des requêtes avec d’autres membres de votre organisation à l’aide de l’autorisation CAN EDIT (peut modifier). Consultez Listes de contrôle d’accès.

26 mai 2021

• SQL Analytics est renommé Databricks SQL. Ce changement a les conséquences suivantes pour les clients :

  • Les références dans l’interface utilisateur web ont été mises à jour.

  • Le droit d’accorder l’accès à Databricks SQL a été renommé :

    • Interface utilisateur : Accès Databricks SQL (précédemment SQL Analytics)
    • API SCIM : databricks-sql-access (précédemment sql-analytics-access)

    Les utilisateurs, les groupes et les principaux de service disposant du droit d’utilisation précédent ont été migrés vers le nouveau droit d’utilisation.

  • Les étiquettes pour les événements des journaux d’audit liés à Databricks SQL ont été modifiées :

    • Le préfixe des événements Databricks SQL est maintenant databrickssql.
    • changeSqlAnalyticsAcl est maintenant changeDatabricksSqlAcl.
• Mises à jour du tableau de bord
  • Le nom de fichier d’exportation du tableau de bord a été mis à jour pour correspondre au nom du tableau de bord + un horodatage, plutôt qu’à un UUID.
  • La limite d’exportation d’enregistrements a été augmentée pour passer de 22 000 à 64 000.

20 mai 2021

• Vous pouvez maintenant utiliser votre propre clé d’Azure Key Vault pour chiffrer les requêtes Databricks SQL et l’historique des requêtes stockés dans Azure Databricks. Si vous avez déjà configuré votre propre clé pour un espace de travail afin de chiffrer des données pour des services managés (notebooks et secrets), aucune action supplémentaire n’est nécessaire. La même clé gérée par le client pour les services managés chiffre désormais également les requêtes Databricks SQL et l’historique des requêtes. Consultez Clés managées par le client pour les services managés. Ce changement affecte uniquement les nouvelles données stockées au repos. Il n’est pas garanti que les requêtes Databricks SQL et l’historique des requêtes qui étaient stockés avant aujourd’hui soient chiffrés avec cette clé.

  Les résultats de requête Databricks SQL sont stockés dans votre instance de stockage Blob Azure racine que Azure Databricks a créée pendant la configuration de l’espace de travail, et ils ne sont pas chiffrés par votre clé de services managés. Toutefois, vous pouvez utiliser votre propre clé pour les chiffrer. Voir Clés gérées par le client pour la racine DBFS.

  Cette fonctionnalité est disponible avec le plan Premium.

• L’onglet Exécutions passées affiche désormais l’heure relative.

13 mai 2021

• Databricks SQL ne tente plus de deviner les types de colonnes. Avant, une colonne avec le format xxxx-yy-dd était automatiquement traitée comme une date, même s’il s’agissait d’un code d’identification. Maintenant, cette colonne n’est plus traitée automatiquement comme une date. Vous devez le spécifier dans la requête si vous le souhaitez. Avec ce changement, certaines visualisations qui s’appuyaient sur le comportement précédent peuvent ne plus fonctionner. Dans cette version, vous pouvez changer l’option >Paramètres>Compatibilité descendante pour revenir au comportement précédent. Dans une version ultérieure, nous supprimerons cette fonctionnalité.

• L’éditeur de requête comporte désormais un indicateur de progression des requêtes. Les changements d’état sont maintenant visibles dans une barre de progression continuellement mise à jour.

  

06 mai 2021

• Vous pouvez maintenant télécharger le contenu du tableau de bord au format PDF. Consultez Télécharger au format PDF.

• Un utilisateur administrateur dispose à présent d’un accès en affichage à l’ensemble des requêtes et des tableaux de bord. Dans cette vue, un administrateur peut afficher et supprimer une requête ou un tableau de bord. Toutefois, l’administrateur ne peut pas modifier la requête ou le tableau de bord s’il n’est pas partagé avec l’administrateur. Consultez Vue d’administration des requêtes et Vue d’administration des tableaux de bord hérités.

• La possibilité d’augmenter l’accès concurrentiel des points de terminaison avec l’équilibrage de charge multicluster est désormais disponible pour tous les comptes. Vous pouvez créer des points de terminaison qui se mettent à l’échelle automatiquement entre les nombres minimal et maximal de clusters spécifiés. Les points de terminaison surchargés effectueront un scale-down, tandis que les points de terminaison sous-chargés effectueront un scale-up.

29 avril 2021

• Les options et les détails de requête sont désormais organisés dans un ensemble d’onglets à gauche de l’éditeur de requête :

  • Sources de données : sélectionnez des sources de données disponibles et un schéma. Consultez Créer une requête.

    

  • Exécutions passées : consultez les exécutions passées effectuées dans l’éditeur SQL. Cette option n’affiche pas les exécutions planifiées. Consultez Écrire des requêtes et explorer des données dans l’éditeur SQL.

    

  • Informations de requête : définissez la description de la requête, consultez les informations de la requête et définissez la planification de l’actualisation. Consultez Écrire des requêtes et explorer des données dans l’éditeur SQL et Planifier une requête.

    

22 avril 2021

• Correction d’un problème où les points de terminaison étaient inaccessibles et semblaient être supprimés en raison d’une erreur interne.

16 avril 2021

Databricks SQL maintient la compatibilité avec la sémantique d’Apache Spark SQL. Cette version met à jour la sémantique pour qu’elle corresponde à celle d’Apache Spark 3.1. Avant, Databricks SQL correspondait à la sémantique d’Apache Spark 3.0.

• Les fonctions d’agrégation statistiques, notamment std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_samp et corr, retournent NULL à la place de Double.NaN quand DivideByZero se produit pendant l’évaluation d’une expression, par exemple lors de l’application de stddev_samp sur un ensemble composé d’un seul élément. Avant cette version, Double.NaN était retourné.
• grouping_id() retourne des valeurs de type long. Avant cette version, cette fonction retournait des valeurs int.
• Les résultats de l’explication du plan de requête sont désormais mis en forme.
• from_unixtime, unix_timestamp, to_unix_timestamp, to_timestamp et to_date échouent si le modèle datetime spécifié n’est pas valide. Avant cette version, NULL était retourné.
• Les sources de données Parquet, ORC, Avro et JSON lèvent l’exception org.apache.spark.sql.AnalysisException : « Colonne(s) dupliquée(s) trouvée(s) dans le schéma de données en lecture si des noms dupliqués sont détectés dans les colonnes de niveau supérieur ainsi que dans les structures imbriquées ».
• Les structs et les mappages sont wrappés par les accolades {} lors de leur cast en chaînes. Par exemple, l’action show() et l’expression CAST utilisent ces accolades. Avant cette version, des crochets étaient utilisés dans le même but.
• Les éléments NULL des structures, tableaux et mappages sont convertis en « null » lors de leur cast en chaînes. Avant cette version, les éléments NULL étaient convertis en chaînes vides.
• La somme des dépassements de colonne de type decimal retourne null. Avant cette version, la somme de la colonne de type decimal pouvait retourner un résultat null ou incorrect, voire échouer au moment de l’exécution (selon l’exécution réelle du plan de requête).
• IllegalArgumentException est retourné pour les littéraux d’intervalle incomplets, par exemple INTERVAL '1' et INTERVAL '1 DAY 2' qui ne sont pas valides. Avant cette version, ces littéraux généraient des valeurs NULL.
• Le chargement et l’enregistrement des horodateurs en provenance et à destination de fichiers Parquet échouent si les horodateurs sont antérieurs à 1900-01-01 00:00:00Z et chargés (enregistrés) en tant que types INT96. Avant cette version, les actions n’échouaient pas, mais elles pouvaient entraîner un décalage des horodateurs d’entrée en raison du changement de l’année de base (de/vers le calendrier julien et de vers le calendrier grégorien proleptique).
• Les fonctions schema_of_json et schema_of_csv retournent le schéma au format SQL dans lequel les noms de champs sont placés entre guillemets. Avant cette version, la fonction retournait une chaîne de catalogue sans guillemets autour des champs et en minuscules.
• Les types CHAR, CHARACTER et VARCHAR sont pris en charge dans le schéma de table. L’analyse et l’insertion de table respectent la sémantique char/varchar. Si char/varchar est utilisé dans des emplacements autres que le schéma de table, une exception est levée (CAST est une exception qui traite simplement char/varchar en tant que chaîne, comme auparavant).
• Les exceptions suivantes sont levées pour les tables du catalogue externe Hive :
  • ALTER TABLE .. ADD PARTITION lève une exception PartitionsAlreadyExistException si une nouvelle partition existe déjà.
  • ALTER TABLE .. DROP PARTITION lève une exception NoSuchPartitionsException pour les partitions qui n’existent pas.

13 avril 2021

• Amélioration du débit des requêtes grâce à la mise en file d’attente au niveau du point de terminaison SQL. Les requêtes envoyées à un point de terminaison SQL déjà saturé avec des requêtes en cours d’exécution sont désormais mises en file d’attente. Le fait de ne pas surcharger le point de terminaison de demandes permet d’améliorer le débit des requêtes. Les performances améliorées sont visibles dans l’écran de supervision des points de terminaison.

1er avril 2021

• Retrouvez rapidement le temps passé à compiler, exécuter et récupérer les résultats d’une requête dans Historique des requêtes. Voir Profil de requête. Avant, ces informations étaient uniquement disponibles en cliquant sur une requête et en ouvrant l’onglet Détails de l’exécution.
• Les points de terminaison SQL ne sont plus mis à l’échelle au-delà du nombre maximal de clusters spécifiés. Tous les clusters alloués à un point de terminaison SQL sont recyclés au bout de 24 heures, ce qui permet de créer une petite fenêtre dans laquelle il y a un cluster supplémentaire.

18 mars 2021

• L’autocomplétion dans l’éditeur de requête prend désormais en charge la syntaxe SQL Databricks et est compatible avec le contexte et l’alias. Consultez Créer une requête.
• Les requêtes JDBC et ODBC n’échouent plus avec des erreurs de session non valides après l’expiration de la session sur le serveur. Les clients BI peuvent désormais effectuer des récupérations en toute transparence en cas d’expiration des délais des sessions.

11 mars 2021

• Les administrateurs et les utilisateurs des espaces de travail récemment activés pour Databricks SQL n’ont plus automatiquement accès à Databricks SQL. Pour activer l’accès à Databricks SQL, l’administrateur doit effectuer les opérations suivantes :
  1. Accédez à la page des paramètres d’administration.
  2. Cliquer sur l’onglet Utilisateurs.
  3. Dans la ligne correspondant à son compte, cliquez sur la case à cocher Accès à Databricks SQL.
  4. Cliquez sur Confirmer.
  5. Répétez les étapes 3 et 4 pour accorder aux utilisateurs l’accès à Databricks SQL ou accorder l’accès aux groupes.
• Créez facilement des requêtes, des tableaux de bord et des alertes en sélectionnant Nouveau > [Requête | Tableau de bord | Alerte] en haut de la barre latérale.
• L’Éditeur de requête enregistre désormais les brouillons, et vous pouvez revenir à une requête enregistrée. Consultez Écrire des requêtes et explorer des données dans l’éditeur SQL.
• Vous ne pouvez plus créer de sources de données externes.
• La fiabilité du graphique de surveillance des points de terminaison SQL a été améliorée. Le graphique n’affiche plus de façon intermittente des messages d’erreur parasites.

04 mars 2021

• La documentation de l’API Requêtes, Tableaux de bord et Alertes est maintenant disponible. Consultez les Informations de référence sur l’API REST Databricks.

• Des actualisations planifiées des tableaux de bord sont maintenant toujours effectuées. Ces actualisations s’effectuent dans l’application web, ce qui vous évite d’avoir à laisser un tableau de bord ouvert dans un navigateur. Consultez Actualiser un tableau de bord automatiquement.

• Les nouveaux points de terminaison SQL créés en utilisant l’API Entrepôt SQL sont maintenant configurés avec l’arrêt automatique activé et un délai d’expiration par défaut de deux heures.

• Les utilisateurs de Tableau Online peuvent maintenant se connecter aux points de terminaison SQL. Consultez le guide de démarrage rapide du nouveau Tableau Online.

26 février 2021

Le nouveau connecteur Power BI pour Azure Databricks, publié en préversion publique en septembre 2020, est maintenant en GA. Il offre :

• Une configuration simple des connexions : le nouveau connecteur Azure Databricks Power BI est intégré à Power BI. Vous pouvez le configurer dans une boîte de dialogue simple en quelques clics.
• Une authentification basée sur les informations d’identification Microsoft Entra ID : inutile pour les administrateurs de configurer des jetons PAT.
• Des importations plus rapides et des appels de métadonnées optimisés, grâce au nouveau pilote ODBC Azure Databricks qui offre des améliorations significatives au niveau des performances.
• L’accès aux données Azure Databricks via Power BI respecte Azure Databricks contrôle d’accès aux tables et les autorisations de compte de stockage Azure associées à votre identité Microsoft Entra ID.

Pour plus d’informations, consultez Connecter Power BI à Azure Databricks.

25 février 2021

• La définition des autorisations sur un point de terminaison SQL est maintenant plus rapide. Il s’agit d’une étape juste après la création d’un nouveau point de terminaison SQL et facilement accessible lorsque vous modifiez un point de terminaison existant. Consultez Se connecter à un entrepôt SQL et Gérer un entrepôt SQL.
• Pour réutiliser les paramètres de visualisation, vous pouvez maintenant dupliquer une visualisation. Voir cloner une visualisation.
• Les résultats des requêtes sont maintenant stockés dans votre compte au lieu du compte Azure Databricks.
• Pour empêcher la fuite d’informations quand vous listez toutes les autorisations définies sur un objet, pour exécuter SHOW GRANTS [<user>] <object>, vous devez être :
  • Un administrateur Databricks SQL ou le propriétaire de <object>.
  • L’utilisateur spécifié dans [<user>].

7 janvier 2021

• Pour réduire les dépenses sur les points de terminaison inactifs, les nouveaux points de terminaison SQL disposent maintenant d’un arrêt automatique activé avec un délai d’expiration par défaut de deux heures. Une fois le délai d’attente atteint, le point de terminaison est arrêté. Vous pouvez modifier le délai d’expiration ou désactiver l’arrêt automatique quand vous voulez.
• À l’exception des paramètres de requête de type TEXT, les guillemets ne sont plus ajoutés aux paramètres de requête. Si vous avez utilisé Dropdown List, Query Based Dropdown List ou n’importe quel paramètre de requête de type Date, vous devez ajouter des guillemets afin que la requête fonctionne. Par exemple, si votre requête est SELECT {{ d }}, maintenant elle doit être SELECT '{{ d }}'.

18 novembre 2020

Databricks est heureux de présenter la préversion publique de Databricks SQL, environnement intuitif qui permet d’exécuter des requêtes ad hoc et de créer des tableaux de bord sur des données stockées dans votre lac de données. Databricks SQL permet à votre organisation d’utiliser une architecture de lakehouse multicloud qui offre les performances de l’entreposage des données avec la rentabilité d’un lac de données. Databricks SQL :

• S’intègre aux outils décisionnels que vous utilisez aujourd’hui, comme Tableau et Microsoft Power BI, pour interroger les données les plus complètes et les plus récentes de votre lac de données.
• Complète les outils décisionnels existants à l’aide d’une interface SQL native qui permet aux analystes de données et aux scientifiques des données d’interroger les données de lac de données directement depuis Azure Databricks.
• Vous permet de partager des insights de requête par le biais de visualisations riches et de faire glisser des tableaux de bord avec des alertes automatiques concernant des modifications de données importantes.
• Utilise Se connecter à un entrepôt SQL pour apporter fiabilité, qualité, mise à l’échelle, sécurité et niveau de performance à votre lac de données ; vous pouvez alors exécuter des charges de travail analytiques traditionnelles en utilisant vos données les plus récentes et les plus complètes.
• Introduit le privilège USAGE pour simplifier l’administration de l’accès aux données. Pour pouvoir utiliser un objet dans un schéma, vous devez disposer du privilège USAGE sur ce schéma en plus de tous les privilèges dont vous avez besoin pour effectuer l’action. Le privilège USAGE peut être octroyé à des schémas ou au catalogue. Pour les espaces de travail qui utilisent déjà le contrôle d’accès aux tables, le privilège USAGE est octroyé automatiquement au groupe d’utilisateurs du CATALOG racine. Pour plus d’informations, consultez Privilèges de metastore Hive et objets sécurisables (hérités).

Pour plus d’informations, consultez Qu’est-ce que l’entrepôt de données sur Azure Databricks ?.

Problèmes résolus

• Éditeur SQL. L’éditeur SQL conservera désormais le texte sélectionné et la position de défilement lors du basculement entre les onglets de requête.
• Éditeur SQL. Si vous cliquez sur « Exécuter » sur une requête dans l’éditeur SQL, accédez à une autre page et revenez pendant l’exécution de la requête, l’éditeur affiche le bon état de requête. Si la requête se termine pendant que vous êtes sur une autre page, les résultats de la requête sont disponibles sur la page de l’éditeur SQL.
• Vous pouvez maintenant utiliser MySQL 8.0 comme metastore externe.
• Les commandes DESCRIBE DETAIL sur les tables Delta n’échouent plus avec java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• La lecture de fichiers Parquet avec des horodatages INT96 n’échoue plus.
• Quand un utilisateur dispose de l’autorisation CAN RUN (peut exécuter) sur une requête et qu’il l’exécute, si la requête a été créée par un autre utilisateur, l’historique des requêtes indique celui qui exécute la requête comme utilisateur.
• Les valeurs Null sont désormais ignorées lors du rendu d’un graphique, ce qui améliore la facilité d’utilisation des graphiques. Par exemple, auparavant, les barres d’un graphique à barres apparaissaient très petites quand des valeurs Null étaient présentes. Désormais, les axes sont basés seulement sur les valeurs non Null.

Problèmes connus

• Les lectures à partir de sources de données autres que Delta Lake dans des points de terminaison SQL à charge équilibrée de plusieurs clusters peuvent être incohérentes.
• Les tables Delta accessibles dans Databricks SQL chargent leurs propriétés de schéma et de table dans le metastore configuré. Si vous utilisez un metastore externe, vous pouvez y voir les informations Delta Lake. Delta Lake tente d’actualiser ces informations aussi souvent que possible pour qu’elles soient le plus à jour possible. Vous pouvez également utiliser la commande DESCRIBE <table> pour vérifier que les informations sont mises à jour dans votre metastore.
• Databricks SQL ne prend pas en charge les décalages de zone comme « GMT+8 » comme fuseaux horaires de session. La solution de contournement consiste à utiliser à la place un fuseau horaire basé sur une région https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), comme « Etc/GMT+8 ». Pour plus d’informations sur la définition des fuseaux horaires, reportez-vous à SET TIME ZONE.

Forum Aux Questions (FAQ)

• Comment les charges de travail Databricks SQL sont-elles facturées ?
• Où s’exécutent les points de terminaison SQL ?
• Puis-je utiliser des points de terminaison SQL à partir de notebooks SQL d’espace de travail Data Science & Engineering ?
• J’ai reçu un accès aux données avec des informations d’identification de fournisseur cloud. Pourquoi ne puis-je pas accéder à ces données dans Databricks SQL ?

Comment les charges de travail Databricks SQL sont-elles facturées ?

Les charges de travail Databricks SQL sont facturées sur la base de la référence SKU de calcul des travaux standard.

Où s’exécutent les points de terminaison SQL ?

Comme les clusters Azure Databricks, les points de terminaison SQL sont créés et gérés dans votre compte Azure. Les points de terminaison SQL gèrent automatiquement les clusters optimisés SQL dans votre compte et s’adaptent à la demande des utilisateurs finaux.

Puis-je utiliser des points de terminaison SQL à partir de notebooks SQL d’espace de travail Data Science & Engineering ?

Non. Vous pouvez utiliser des points de terminaison SQL à partir de requêtes Databricks SQL, d’outils décisionnels et d’autres clients JDBC et ODBC.

J’ai reçu un accès aux données avec des informations d’identification de fournisseur cloud. Pourquoi ne puis-je pas accéder à ces données dans Databricks SQL ?

Dans Databricks SQL, tout accès aux données est soumis au contrôle d’accès aux données. Un administrateur ou un propriétaire de données doit d’abord vous accorder les privilègesappropriés.