Septembre 2023

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en septembre 2023.

Remarque

Les publications se font par étapes. Il se peut que votre espace de travail Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.

Fédération Lakehouse disponible sur des clusters mono-utilisateurs

29 septembre 2023

Lakehouse Federation est désormais disponible sur des clusters mono-utilisateurs à l’aide de Databricks Runtime 13.1 et versions ultérieures. Seul le propriétaire de la connexion peut exécuter des requêtes sur des catalogues fédérés. Consultez Qu’est-ce que Lakehouse Federation ?.

Déléguer la possibilité de créer des informations d’identification de stockage dans le catalogue Unity

29 septembre 2023

Vous pouvez désormais accorder aux utilisateurs des autorisations pour créer des informations d’identification de stockage dans un metastore du catalogue Unity à l’aide du nouveau privilège CREATE STORAGE CREDENTIAL . Consultez CREATE STORAGE CREDENTIAL.

Databricks Runtime 14.1 (bêta)

28 septembre 2023

Databricks Runtime 14.1 et Databricks Runtime 14.1 ML sont désormais disponibles en versions bêta.

Consultez Databricks Runtime 14.1 (EoS) et Databricks Runtime 14.1 pour Machine Learning (EoS).

Mise en service de modèles sur GPU optimisée pour les LLM en préversion publique

28 septembre 2023

La diffusion de modèles sur Azure Databricks prend en charge le déploiement de modèles PyTorch et TensorFlow à l'aide de ressources de calcul GPU. Cette fonctionnalité se trouve dans en préversion publique dans certaines régions et s’applique également au déploiement GPU de modèles enregistrés avec les versions mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflowet mlflow.transformers. Consultez types de charge de travail GPU.

Cette préversion inclut également la prise en charge du déploiement GPU optimisé pour servir des modèles de langage volumineux. Voir Service optimisé de modèle de langage étendu (LLM)

Empêcher les exécutions d’un travail d’être ignorées lorsque vous atteignez des limites de concurrence

27 septembre 2023 - 2 octobre 2023

Pour empêcher les exécutions d’un travail Azure Databricks d’être ignorée en raison de limites d’accès concurrentiel, vous pouvez désormais activer la mise en file d’attente sur le travail. Lorsque la mise en file d’attente est activée, si une limite d’accès concurrentiel est atteinte, le travail est placé dans une file d’attente jusqu’à ce que la capacité soit disponible pour exécuter le travail. Voir Activer la mise en file d'attente des exécutions de tâches.

Fournisseur Databricks Terraform mis à jour vers la version 1.27.0

27 septembre 2023

Fournisseur Databricks Terraform version 1.27.0 ajoute owner et force_destroy à databricks_metastore_data_access, inclut plusieurs améliorations supplémentaires et correctifs de bogues, etc. Pour plus d’informations, consultez le journal des modifications de la version 1.27.0.

Interface CLI Databricks mise à jour vers la version 0.206.0 (préversion publique)

27 septembre 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.206.0. Cette version permet des remplacements cibles pour les clusters de pipelines dans les bundles de ressources Databricks, améliore l’expérience d’initialisation du modèle de bundle, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.206.0.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.21.0 (bêta)

27 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Go version 0.21.0 introduit plus d’une douzaine de changements d’API cassants, ajoute plus d’une douzaine d’API et ajoute une douzaine de champs. Pour plus d’informations, consultez le journal des modifications de la version 0.21.0.

Tables d’inférence pour les points de terminaison de mise en service de modèle est une préversion publique

26 septembre 2023

Activer les tables d’inférence sur vos points de terminaison de service de modèle pour capturer les requêtes entrantes et les réponses sortantes à ces points de terminaison et les journaliser en tant que table Delta du catalogue Unity. À son tour, vous pouvez utiliser les données de cette table pour surveiller, déboguer et améliorer les modèles ML. Consultez Tables d’inférence pour surveiller et déboguer des modèles.

Pour vous inscrire à la préversion publique, contactez l’équipe de votre compte Azure Databricks.

Pilote ODBC Databricks 2.7.5

23 septembre 2023

Nous avons publié la version 2.7.5 du pilote ODBC Databricks (téléchargement). Cette version ajoute les nouvelles fonctionnalités et améliorations suivantes :

• Amélioration de l’authentification du client OAuth 2.0 et prise en charge de la découverte des points de terminaison OIDC.
• Chiffrement côté serveur avec les clés fournies par le client.
• Fonction Timedate.
• Amélioration de la messagerie des erreurs pour Cloud Fetch.
• Mises à jour de sécurité.

Cette version résout également la régression suivante dans la version 2.7.3 :

• La fonction SQLForeignKeys retourne un résultat vide si l’appelant transmet une valeur NULL pour le catalogue de la table primaire ou de la table étrangère.

La version 2.7.5 retourne désormais toutes les clés primaires ou clés étrangères associées à la table associée si le catalogue de l’autre table est défini NULL.

Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.3

21 septembre 2023

L’extension Databricks pour Visual Studio Code version 1.1.3 ajoute quelques correctifs mineurs. Pour plus d’informations, consultez le journal des modifications de la version 1.1.3.

L’exécution de travaux en tant que principal de service est en disponibilité générale

21 septembre 2023

Les rôles sur les entités principales de service et les paramètres des tâches pour exécuter des tâches à l’aide de l'identité de l'entité principale de service sont désormais en disponibilité générale.

Consultez Rôles pour la gestion des principaux de service et Configurer l’identité pour les exécutions de travaux.

Interface CLI Databricks mise à jour vers la version 0.205.2 (préversion publique)

21 septembre 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.205.2. Cette version contient quelques mises à jour mineures. Pour plus d’informations, consultez le journal des modifications de la version 0.205.2.

Interface CLI Databricks mise à jour vers la version 0.205.1 (préversion publique)

20 septembre 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.205.1. Cette version active les remplacements cibles pour les tâches de travail dans les bundles de ressources Databricks, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.205.1.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.20.0 (bêta)

20 septembre 2023

SDK Databricks pour Go version 0.20.0 ajoute plus d’une douzaine d’API, ajoute une demi-douzaine de champs, modifie quelques champs et méthodes, et supprime quelques API. Pour plus d’informations, consultez le journal des modifications de la version 0.20.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.9.0 (bêta)

20 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Python version 0.9.0 modifie quelques méthodes et champs, ajoute environ 10 champs, ajoute environ 20 classes de données et introduit des modifications et suppressions supplémentaires. Pour plus d’informations, consultez le journal des modifications de la version 0.9.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.7.1 (bêta)

20 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Python version 0.7.1 inclut un correctif mineur pour améliorer les performances de téléchargement de fichiers. Pour plus d’informations, consultez le journal des modifications de la version 0.7.1.

Fournisseur Databricks Terraform mis à jour vers la version 1.26.0

20 septembre 2023

Fournisseur Databricks Terraform version 1.26.0 ajoute la prise en charge des scripts init à partir de volumes de catalogue Unity, inclut plusieurs améliorations supplémentaires et correctifs de bogues, etc. Pour plus d’informations, consultez le journal des modifications de la version 1.26.0.

Databricks Connect pour Databricks Runtime 14.0

20 septembre 2023

Databricks Connect pour Databricks Runtime 14.0 prend totalement en charge Structured Streaming (y compris foreachBatch) et les requêtes longues qui se rattachent à la requête après interruption.

Tableaux de bord Lakeview en préversion publique

20 septembre 2023

Les tableaux de bord Lakeview vous permettent de partager des visualisations et des jeux de données à l’aide d’un modèle de gouvernance des données simplifié et unifié. Consultez Tableaux de bord.

Databricks Connect V2 est en préversion publique pour Scala

19 septembre 2023

Databricks Connect pour Databricks Runtime 13.3 LTS prend désormais en charge Scala dans la préversion publique, notamment les DataFrames, Delta, Structured Streaming, etc.

Pour Python, l’annulation des requêtes est désormais prise en charge et la classe DatabricksSession peut désormais être utilisée dans les notebooks et travaux Azure Databricks.

Mise en service du modèle GPU en préversion publique

19 septembre 2023

La diffusion de modèles sur Azure Databricks prend en charge le déploiement de modèles PyTorch et TensorFlow à l'aide de ressources de calcul GPU. Cette fonctionnalité se trouve dans [Préversion publique] dans certaines régions et s’applique également au déploiement GPU de modèles enregistrés avec mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflowet mlflow.transformers versions. Consultez types de charge de travail GPU.

Le calcul des fonctionnalités à la demande désormais disponible dans Unity Catalog (préversion publique)

14 septembre 2023

Les fonctionnalités de Machine Learning peuvent désormais être calculées à la demande au moment de l’inférence. La logique de calcul des fonctionnalités, les modèles et les données sont toutes régies par le catalogue Unity. Cela permet aux modèles de calculer des fonctionnalités à l’aide d’entrées disponibles uniquement au moment de l’inférence, comme l’emplacement actuel d’un utilisateur. Pour plus d’informations, voir Calculer des caractéristiques à la demande avec des fonctions Python définies par l’utilisateur.

Databricks Runtime 14.0 est en disponibilité générale

14 septembre 2023

Databricks Runtime 14.0 et Databricks Runtime 14.0 ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 14.0 (EoS) et Databricks Runtime 14.0 pour Machine Learning (EoS).

Mise à jour des notifications par e-mail de compte

14 septembre 2023

Databricks n’envoie plus de notifications par e-mail lorsque les utilisateurs sont ajoutés à un compte Azure Databricks. Les utilisateurs continueront à recevoir des notifications par e-mail lorsqu’ils ont accès à un espace de travail.

Fournisseur Databricks Terraform mis à jour vers la version 1.25.1

13 septembre 2023

Fournisseur Databricks Terraform version 1.25.1 a été publiée avec des améliorations mineures et des correctifs de bogues. Pour plus d’informations, consultez le journal des modifications de la version 1.25.1.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.19.2 (bêta)

13 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Go version 0.19.2 contient un correctif mineur. Pour plus d’informations, consultez le journal des modifications de la version 0.19.2.

Interface CLI Databricks mise à jour vers la version 0.205.0 (préversion publique)

13 septembre 2023

L’interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.205.0. Il s’agit de la première version de l’interface Databricks CLI pour prendre en charge les packs de ressources Databricks en préversion publique. Pour plus d’informations, consultez le journal des modifications de la version 0.205.0.

Emplacement réservé pour /Workspace

13 septembre 2023

L’emplacement /Workspace est maintenant réservé. Vous ne pouvez plus définir un répertoire nommé /Workspace par rapport au chemin racine dans Azure Databricks.

Packs de ressources Databricks (préversion publique)

12 septembre 2023

Les packs de ressources Databricks, désormais en préversion publique, permettent d’exprimer des projets de données, d’analytique et Machine Learning de bout en bout sous la forme d’une collection de fichiers sources. Cela facilite l’application des meilleures pratiques d’engineering données telles que les contrôles de code source, les révisions du code, les tests et les intégrations continues et livraisons continues (CI/CD).

Fournisseur Databricks Terraform mis à jour vers la version 1.25.0

12 septembre 2023

Fournisseur Databricks Terraform version 1.25.0 inclut l’ajout de l’autorisation IS_OWNER pour les entrepôts Databricks SQL, les correctifs mineurs, les mises à jour de documentation, etc. Pour plus d’informations, consultez le journal des modifications de la version 1.25.0.

Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.2

12 septembre 2023

L’extension Databricks pour Visual Studio Code version 1.1.2 ajoute une prise en charge expérimentale pour %run et # MAGIC dans les notebooks Azure Databricks, résout les problèmes de chemin d’accès avec plusieurs installations de l’interface Databricks CLI locales, etc. Pour plus d’informations, consultez le journal des modifications de la version 1.1.2.

Partner Connect prend en charge Snowplow

12 septembre 2023

Vous pouvez désormais utiliser Partner Connect pour connecter votre espace de travail Azure Databricks à Snowplow. Pour en savoir plus, référez-vous à la section Se connecter à Snowplow.

Interface CLI Databricks mise à jour vers la version 0.204.1 (préversion publique)

11 septembre 2023

L’interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.204.1. Pour plus d’informations, consultez le journal des modifications de la version 0.204.1.

Filtrer les données sensibles avec des filtres de lignes et des masques de colonne (préversion publique)

11 septembre 2023

Vous pouvez désormais appliquer des filtres de ligne et des masques de colonne aux tableaux afin d’empêcher certains utilisateurs d’accéder à des données sensibles. Ces filtres et masques sont implémentés en tant que fonctions définies par l’utilisateur SQL. Consultez Filtrer les données de table sensibles à l’aide de filtres de lignes et de masques de colonne.

Les tables système incluent désormais le schéma de Place de marché (préversion publique)

8 septembre 2023

Les tables système incluent désormais un schéma marketplace qui stocke les données du fournisseur de la Place de marché. Vous pouvez interroger la table marketplace.listing_access_events pour récupérer les informations du consommateur pour les actions effectuées sur vos listings. Pour plus d’informations, consultez Référence des tables système de la Place de marché.

La table système de tarification est désormais disponible (préversion publique)

8 septembre 2023

Les tables système incluent désormais une table de tarification (system.billing.list_prices) dans laquelle vous pouvez analyser le coût d’une référence SKU au fil du temps. Ces journaux peuvent vous aider à effectuer une analyse des coûts et à surveiller les changements de prix. Veuillez consulter Informations de référence sur la table système de tarification.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.19.1 (bêta)

7 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Go version 0.19.1 continue quelques mises à jour et correctifs mineurs. Pour plus d’informations, consultez le journal des modifications de la version 0.19.1.

Pilote ODBC Databricks 2.7.3

7 septembre 2023

Nous avons publié la version 2.7.3 du pilote ODBC Databricks (téléchargement). Cette version inclut les fonctionnalités et les correctifs suivants :

• Correctifs de vulnérabilité en mettant à niveau les dépendances tierces.
• Prise en charge de SQL_ATTR_MAX_ROWS qui permet à un client de limiter le nombre de lignes à extraire dans une requête pour accélérer le chargement rapide (par exemple, la préversion).
• Mise à jour de la prise en charge de MacOS. Le pilote prend désormais en charge Apple Silicon/M1.
• Prise en charge de l’authentification basée sur un navigateur OAuth2 pour faciliter l’authentification unique (SSO).

Important

Si vous utilisez des API de clé primaire et de clé étrangère, la fonction SQLForeignKeys retourne un résultat vide si l’appelant transmet une valeur NULL pour le catalogue de la table primaire ou de la table étrangère. Ce problème est connu des développeurs.

Interface CLI Databricks mise à jour vers la version 0.204.0 (préversion publique)

6 septembre 2023

L’interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.204.0. Cette version inclut le regroupement des commandes associées aux autorisations, ajoute et modifie plusieurs commandes, etc. Pour plus d’informations, consultez le journal des modifications de la version 0.204.0.

Data Explorer est désormais Catalog Explorer

6 septembre 2023

Data Explorer est renommé Catalog Explorer pour reconnaître le fait que vous pouvez l’utiliser pour utiliser tous les objets sécurisables dans Unity Catalog, pas seulement les objets de données. Consultez Qu’est-ce que l’Explorateur de catalogues ?.

Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.19.0 (bêta)

4 septembre 2023

Kit de développement logiciel (SDK) Databricks pour Go version 0.19.0 renomme les API d’autorisations, ajoute 8 API, ajoute 5 champs, modifie et supprime quelques champs et modifie quelques méthodes. Pour plus d’informations, consultez le journal des modifications de la version 0.19.0.

Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.8.0 (bêta)

4 septembre 2023

SDK Databricks pour Python version 0.8.0 renomme les API d’autorisations, ajoute une demi-douzaine de champs, ajoute une demi-douzaine de classes de données et introduit plusieurs modifications et suppressions. Pour plus d’informations, consultez le journal des modifications de la version 0.8.0.

Déléguer les privilèges de la liste d’autorisation dans Unity Catalog

1 septembre 2023

Vous pouvez désormais déléguer des privilèges pour la gestion des éléments dans la liste d’autorisation pour Unity Catalog. Consultez Bibliothèques de listes d’autorisation et scripts init sur le calcul en mode d’accès standard (anciennement mode d’accès partagé).

L’intégration des applications GitHub dans Repos est en disponibilité générale

1 septembre 2023

L’intégration des applications GitHub dans Repos est en disponibilité générale. La fonctionnalité permet une gestion plus simple des informations d’identification Git lorsque vous les intégrez à GitHub dans Repos.

Important

Les applications GitHub ne sont pas prises en charge sur le serveur GitHub Enterprise.