Août 2023
Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en août 2023.
Remarque
Les publications se font par étapes. Il se peut que votre espace de travail Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.
Les tables s’affichent désormais dans la recherche de navigation
31 août 2023
Les tables inscrites dans Unity Catalog apparaissent désormais dans la recherche de navigation dans la barre supérieure. Consultez Recherche des objets de l’espace de travail.
Interface CLI Databricks mise à jour vers la version 0.203.3 (préversion publique)
30 août 2023
L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.3. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.3.
Pilote JDBC Databricks 2.6.34
30 août 2023
Nous avons publié la version 2.6.34 du pilote JDBC Databricks (télécharger). Cette version résout un certain nombre de problèmes de vulnérabilité en mettant à niveau des bibliothèques tierces. De plus, cette version résout les problèmes suivants :
- Fuite de thread lorsqu'une requête ne parvient pas à se connecter au serveur.
- Commentaires manquants dans la colonne
REMARKSdes métadonnées de la table. - Lorsqu'une opération de fermeture du jeu de résultats retourne une erreur, le connecteur ne nettoie pas les entrées du descripteur de l'opération du thread de pulsation.
La version améliore également la gestion des messages d'erreur en respectant SQLState et les codes d'erreur du serveur et en vérifiant correctement la version du protocole du serveur.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.18.0 (bêta)
29 août 2023
Le SDK Databricks pour Go version 0.18.0 introduit 17 changements d’API cassants et ajoute 30 API et une douzaine de champs. Pour plus d’informations, consultez le journal des modifications de la version 0.18.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.7.0 (bêta)
29 août 2023
Le SDK Databricks pour Python version 0.7.0 introduit un changement cassant pour l’API de fichiers, ainsi que 17 changements cassants supplémentaires. Cette version ajoute également 14 champs et 27 classes de données. Pour plus d’informations, consultez le journal des modifications de la version 0.7.0.
Fournisseur Databricks Terraform mis à jour vers la version 1.24.1
29 août 2023
Le fournisseur Databricks Terraform version 1.24.1 inclut un correctif pour la vérification de l’accessibilité de l’espace de travail. Pour plus d’informations, consultez le journal des modifications de la version 1.24.1.
Scripts d'initialisation sur la fin de vie de DBFS étendue au 1er décembre 2023
29 août 2023
Databricks a précédemment annoncé que les scripts d'initialisation sur DBFS arriveraient en fin de vie le 1er septembre 2023. La date de fin de vie a été prorogée jusqu'au 1er décembre 2023.
Databricks Runtime 14.0 (bêta)
29 août 2023
Databricks Runtime 14.0 et Databricks Runtime 14.0 ML sont désormais disponibles en versions bêta.
Consultez Databricks Runtime 14.0 et Databricks Runtime 14.0 pour le Machine Learning.
L'expérience de navigation unifiée est en disponibilité générale
28 août 2023
L'expérience de navigation unifiée d'Azure Databricks est désormais en disponibilité générale. Les utilisateurs ne peuvent plus revenir à l'expérience de navigation classique. Pour en savoir plus, référez-vous à la section Naviguer dans l'espace de travail.
Fournisseur Databricks Terraform mis à jour vers la version 1.24.0
25 août 2023
Le fournisseur Databricks Terraform version 1.24.0 ajoute la prise en charge de l’API au niveau du compte pour les objets Unity Catalog, ajoute acl_principal_id à plusieurs sources de données, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.24.0.
Paramètre Databricks Runtime pour Genomics supprimé de la page des paramètres d'administration de l'espace de travail
25 août 2023
Les administrateurs de l'espace de travail ne peuvent plus activer ou désactiver Databricks Runtime for Genomics à partir de la page des paramètres d'administration de l'espace de travail ou de l'API de configuration de l'espace de travail. Le runtime Databricks Genomics est déconseillé et la prise en charge de Databricks Runtime pour Genomics a été supprimée le 24 septembre 2022.
Le runtime Genomics Databricks a été abandonné. Pour des équivalents open source, consultez les référentiels pour les pipelines génomiques et Glow. Les bibliothèques bioinformatiques qui faisaient partie du runtime ont été publiées sous forme d’un conteneur Docker, qui peut être tiré de la page Dockerhub de ProjectGlow.
Pour plus d’informations sur la stratégie et la planification de dépréciation de Databricks Runtime, consultez Versions LTS de Databricks Runtime prises en charge.
Paramètre des services de conteneur supprimé de la page des paramètres d'administration de l'espace de travail
25 août 2023
Les administrateurs d'espace de travail ne peuvent plus activer ou désactiver les services de conteneur à partir de la page des paramètres d'administration de l'espace de travail. Container Services vous permet d'utiliser des conteneurs clients sur vos clusters. Il est activé par défaut sur tous les nouveaux espaces de travail. Container Services peut toujours être activé ou désactivé à l'aide de l'API de configuration de l'espace de travail. Pour en savoir plus, référez-vous à la section Activer Container Services.
Interface CLI Databricks mise à jour vers la version 0.203.2 (préversion publique)
24 août 2023
L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.2. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.2.
Accéder à la définition des fonctions et des variables dans les notebooks Python
24 août 2023
Dans Databricks Runtime 12.2 LTS et ultérieur, lorsqu’un notebook Python est attaché à un cluster, vous pouvez accéder automatiquement à la définition d’une variable ou d’une fonction qui se trouve dans ce notebook. Référez-vous à Accéder à la définition pour en savoir plus.
Le navigateur de schémas unifié est en disponibilité générale
24 août 2023
Le navigateur de schémas unifié est désormais en disponibilité générale dans Catalog Explorer, l’éditeur SQL et les notebooks. Consultez Qu’est-ce que l’Explorateur de catalogues ?.
Databricks Runtime 13.3 LTS est en disponibilité générale
22 août 2023
Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS ML sont désormais en disponibilité générale.
Référez-vous à la section Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS pour Machine Learning.
Présentation des étiquettes avec Unity Catalog
22 août 2023
Vous pouvez désormais appliquer des balises à vos objets sécurisables dans Unity Catalog. Les étiquettes vous permettent d'organiser les objets sécurisables. Elles simplifient la recherche et la détection de vos ressources de données. Référez-vous à la section Appliquer des étiquettes.
La liste d'autorisation pour les scripts d'initialisation, les fichiers JAR et les coordonnées Maven sur les clusters partagés Unity Catalog est en préversion publique
23 août 2023
Vous pouvez désormais utiliser allowlist d'Unity Catalog pour contrôler l'installation des scripts d'initialisation, des fichiers JAR et des coordonnées Maven sur le calcul avec un mode d'accès partagé exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez Bibliothèques de listes d’autorisation et scripts d’initialisation sur le calcul partagé.
La prise en charge des volumes pour les scripts d'initialisation et les fichiers JAR est en préversion publique
23 août 2023
Vous pouvez désormais utiliser les volumes Unity Catalog pour stocker les scripts d'initialisation et les fichiers JAR sur le calcul avec des modes d'accès attribués ou partagés exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez Bibliothèques étendues au cluster et Installer des bibliothèques à partir d’un volume.
Validations aisée de sortie de fichier .ipynb Databricks Repos
21 août 2023
Databricks Repos a ajouté des fonctionnalités pour faciliter le contrôle et la lecture des validations de sortie de fichier .ipynb :
- Repos peut créer un fichier de configuration commit_output pour vous.
- Les notifications dans l'interface utilisateur vous permettent de connaître le statut des validations de sortie.
- Dans le menu Fichier, vous pouvez vérifier si les sorties de notebook sont validées.
Référez-vous à la section Contrôler les validations de sortie de notebook .ipynb.
La prise en charge des notebooks IPYNB dans Databricks Repos est en disponibilité générale
21 août 2023
La prise en charge des fichiers de notebooks IPYNB dans Databricks Repos est en disponibilité générale. Pour en savoir plus sur Repos, référez-vous à la section :
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.17.0 (bêta)
18 août 2023
Le SDK Databricks pour Go version 0.17.0 ajoute plus de 30 API et en renomme environ 10. Pour plus d’informations, consultez le journal des modifications de la version 0.17.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.6.0 (bêta)
18 août 2023
Le SDK Databricks pour Python version 0.6.0 ajoute environ 20 classes de données et 10 API et inclut environ 20 renommages. Pour plus d’informations, consultez le journal des modifications de la version 0.6.0.
Interface CLI Databricks mise à jour vers la version 0.203.1 (préversion publique)
16 août 2023
L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.203.1. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.1.
Le navigateur de schémas unifié est désormais en disponibilité générale
16 août 2023
Un moyen unifié de naviguer dans vos données est désormais disponible pour les notebooks, l’éditeur SQL et Catalog Explorer, y compris les nouvelles fonctionnalités suivantes :
- Version condensée de l'arborescence.
- Affichage du nombre d'objets Unity Catalog au niveau du schéma lors du filtrage.
- Faites un clic droit sur le menu pour afficher les actions.
Les modifications de sous-réseau serverless peuvent vous affecter si vous encodez des ID dans un script ou un modèle.
15 août 2023
Si vous utilisez un pare-feu stockage Azure, certains ID de sous-réseau changent jusqu'à la fin du mois d'août. La plupart des clients ne s'en trouvent pas affectés, car Azure migre automatiquement les ID de sous-réseau dans les règles de pare-feu de stockage existantes. Cette migration n'affecte pas les charges de travail existantes.
Si vous encodez la liste des sous-réseaux serverless dans un modèle ou un script qui met à jour vos règles de pare-feu de stockage Azure, vous devez obtenir la dernière liste des ID de sous-réseau avant de tenter de mettre à jour les règles. Pour connaître les ID les plus récents de chaque région, consultez Sécurité réseau des entrepôts SQL Serverless.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.16.0 (bêta)
14 août 2023
Le SDK Databricks pour Go version 0.16.0 ajoute une douzaine de champs, en supprime une demi-douzaine et modifie les signatures d’une demi-douzaine d’API. Pour plus d’informations, consultez le journal des modifications de la version 0.16.0.
Partner Connect prend en charge Census
14 août 2023
Vous pouvez désormais utiliser Partner Connect pour connecter votre espace de travail Azure Databricks à Census. Pour en savoir plus, référez-vous à la section Se connecter à Census.
Clés HSM managées Azure Key Vault désormais prises en charge pour les clés gérées par le client
14 août 2023
Certains services et données Azure Databricks prennent en charge l'ajout d'une clé gérée par le client pour aider à protéger et à contrôler l'accès aux données chiffrées. Azure Databricks dispose de trois fonctionnalités de clés gérées par le client qui impliquent différents types de données et d'emplacements. Ces trois fonctionnalités prennent désormais en charge les clés gérées par le client à partir des HSM (modules de sécurité matérielle) managés d'Azure Key Vault aux côtés des coffres Azure Key Vault. Référez-vous à la section Clés gérées par le client pour le chiffrement.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.5.0 (bêta)
11 août 2023
Le SDK Databricks pour Python version 0.5.0 modifie les signatures d’une demi-douzaine d’API, ajoute une douzaine de champs, supprime une demi-douzaine de champs et ajoute quelques classes de données. Pour plus d’informations, consultez le journal des modifications de la version 0.5.0.
Prise en charge de l'écriture par programmation pour les fichiers d'espace de travail
11 août 2023
Les clusters utilisant Databricks Runtime 11.2 et les versions ultérieures prennent en charge l'écriture dans des fichiers d'espace de travail. Vous pouvez créer, mettre à jour et supprimer des fichiers et des répertoires par programmation au sein de votre espace de travail.
Interface CLI Databricks mise à jour vers la version 0.203.0 (préversion publique)
10 août 2023
L’interface de ligne de commande Databricks (Interface CLI Databricks) version 0.203.0 améliore la commande auth login, et bien plus encore. Pour en savoir plus, référez-vous au journal des modifications de la version 0.203.0.
Fournisseur Databricks Terraform mis à jour vers la version 1.23.0
9 août 2023
La version 1.23.0 du fournisseur Databricks Terraform étend RunJobTask avec des champs supplémentaires pris en charge dans databricks_job, ajoute la prise en charge de l’exportateur pour databricks_model_serving, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.23.0.
Les groupes peuvent à présent être renommés
8 août 2023
Vous pouvez désormais renommer des groupes de comptes et des groupes locaux d'espace de travail existants. Référez-vous à la section Modifier le nom d'un groupe.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.15.0 (bêta)
7 août 2023
Le kit de développement logiciel (SDK) Databricks pour Go version 0.15.0 refactorise les API liées aux autorisations pour les rendre plus compréhensibles et plus faciles à utiliser. Pour en savoir plus, référez-vous au journal des modifications de la version 0.15.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.4.0 (bêta)
7 août 2023
Le kit de développement logiciel (SDK) Databricks pour Python version 0.4.0 refactorise les API liées aux autorisations pour les rendre plus compréhensibles et plus faciles à utiliser. Pour en savoir plus, référez-vous au journal des modifications de la version 0.4.0.
Le paramètre de configuration de la prévention de l'iFraming tiers a été supprimé
7 août 2023
Azure Databricks réduit le risque de domaines tiers liés à l'iFraming d'Azure Databricks en ajoutant des en-têtes HTTP appropriés. La prévention de l'iFraming tiers est toujours activée par défaut, mais Azure Databricks a supprimé le paramètre administrateur de l'espace de travail pour le désactiver. Si vous avez précédemment désactivé l'iFraming tiers pour un espace de travail, la fonctionnalité continue d'être désactivée pour cet espace de travail. Pour réactiver iFraming tiers, contactez votre équipe de compte Azure Databricks.
Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.1
4 août 2023
L'extension Databricks pour Visual Studio Code version 1.1.1 fournit plusieurs correctifs mineurs, comme la gestion correcte de la variable d'environnement HOME sur Windows, etc. Pour en savoir plus, référez-vous au journal des modifications de la version 1.1.1.
LangChain disponible dans les versions 13.1 et ultérieures
4 août 2023
LangChain est disponible en tant que version expérimentale de MLflow qui permet aux clients de LangChain de tirer parti des outils robustes et des capacités de suivi des expériences de MLflow directement à partir de l'environnement Azure Databricks.
LangChain est un cadre logiciel conçu pour aider à créer des applications qui utilisent de grands modèles de langage (LLM) et les combiner avec des données externes pour apporter plus de contexte de formation pour vos LLM.
Databricks Runtime for Machine Learning inclut langchain dans Databricks Runtime 13.1 ML et versions ultérieures.
L'ingénierie de caractéristiques dans Unity Catalog est en préversion publique.
3 août 2023
Avec l'ingénierie de caractéristiques dans Unity Catalog, Unity Catalog devient votre magasin de fonctionnalités. Vous pouvez utiliser n'importe quelle table Delta avec une clé primaire comme table de caractéristiques pour la formation ou l'inférence du modèle. Unity Catalog offre la découverte et la gouvernance des fonctionnalités.
Amélioration de la gestion des erreurs en cas de défaillances répétées d'une tâche en continu
3 août 2023
Les travaux continus dépassant un seuil pour les défaillances consécutives utilisent désormais un schéma de backoff exponentiel pour réessayer efficacement les exécutions de travaux et permettre aux travaux de récupérer suite à des problèmes temporaires. Auparavant, les travaux continus dépassant le seuil d'échec étaient suspendus et non retentés.
Entrepôts SQL serverless désormais disponibles dans d'autres régions
3 août 2023
Entrepôts SQL serverless disponibles dans d'autres régions : Australie Est, Canada Centre, USA Ouest 2, USA Centre Sud et Asie Sud-Est. Voir les régions Azure Databricks.
Si vous envisagez d'utiliser un pare-feu stockage Azure, configurez le pare-feu pour autoriser l'accès à partir de sous-réseaux d'entrepôt SQL serverless. Consultez Sécurité réseau des entrepôts SQL Serverless.
Partager des schémas à l'aide de Delta Sharing (préversion publique)
2 août 2023
Delta Sharing vous permet désormais de partager un schéma entier, en donnant au destinataire l'accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu'à toutes les tables et vues ajoutées au schéma à l'avenir. L'ajout de schémas à un partage à l'aide de commandes SQL nécessite un entrepôt SQL sur le calcul SQL version 2023.35 ou ultérieure, ou un cluster exécutant Databricks Runtime 13.2 ou une version ultérieure. Faire la même chose avec Catalog Explorer n’implique aucune exigence de calcul. Référez-vous à la sectionAjouter des schémas à un partage.
Exécuter des tâches de manière conditionnelle dans vos travaux Azure Databricks
2 août 2023
Vous pouvez utiliser la nouvelle condition Run if pour exécuter une tâche de travail en fonction de l'état de dépendance de la tâche, ce qui offre plus de flexibilité lorsque vous implémentez un workflow avec un travail Azure Databricks. Par exemple, vous pouvez utiliser la condition Run if pour exécuter une tâche lorsque certaines ou toutes les dépendances de la tâche ont échoué. Référez-vous à la section Exécuter des tâches de manière conditionnelle dans un travail Azure Databricks.
Fournisseur Databricks Terraform mis à jour vers la version 1.22.0
1er août 2023
Le fournisseur Databricks Terraform version 1.22.0 ajoute une ressource databricks_access_control_rule_set, ajoute des sources de données databricks_metastore et databricks_metastore, etc. Pour en savoir plus, référez-vous au journal des modifications de la version 1.22.0.
Fonctionnalités de sécurité et de conformité améliorées
1er août 2023
Vous pouvez activer le profil de sécurité de conformité, qui fournit une surveillance supplémentaire, une image de calcul renforcée et d'autres fonctionnalités sur vos espaces de travail. Le profil de sécurité de conformité est requis pour utiliser Azure Databricks pour traiter des données réglementées par PCI-DSS, mais vous pouvez choisir d'activer le profil si vous ne traitez pas ces données. Vous êtes seul responsable de votre propre conformité à la réglementation applicable.
Vous pouvez également activer séparément la surveillance de la sécurité renforcée, qui fournit une surveillance supplémentaire et une image de calcul renforcée.
Les deux fonctionnalités sont disponibles dans le cadre du nouveau module complémentaire Sécurité et conformité renforcées. Si vous activez l'une de ces fonctionnalités sur un espace de travail, vous serez facturé pour le nouveau module complémentaire, comme indiqué sur la page de tarification. Les deux fonctionnalités nécessitent le niveau tarifaire Premium.
Lakehouse Monitoring est une préversion publique
1er août 2023
Databricks Lakehouse Monitoring intègre la supervision de la qualité des données et des modèles dans la plateforme Databricks. Il fournit des métriques de qualité prêtes à l'emploi, telles que des statistiques récapitulatives, des changements dans la distribution au fil du temps et des performances du modèle, y compris l'impartialité et le biais. Lakehouse Monitoring génère automatiquement un tableau de bord récapitulatif pour vous permettre de visualiser la qualité des données au fil du temps. Vous pouvez également configurer des alertes en fonction des données.
Databricks Runtime 13.3 LTS (bêta)
1er août 2023
Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS ML sont désormais disponibles en version bêta.
Référez-vous à la section Databricks Runtime 13.3 LTS et Databricks Runtime 13.3 LTS pour Machine Learning.
Les nouvelles opérations Git sont en disponibilité générale : fusionner des branches, rebaser et extraire avec la résolution des conflits
1er août 2023
Les opérations Git suivantes sont désormais en disponibilité générale dans Databricks Repos :
- Fusionner et rebaser : vous pouvez désormais fusionner ou rebaser deux branches Git directement dans Azure Databricks. Le processus de combinaison de branches est ainsi simplifié et les conflits qui surviennent pendant l'opération peuvent être résolus.
- Extraire avec la résolution des conflits : vous pouvez désormais utiliser Databricks Repos pour gérer et résoudre les conflits qui se produisent lorsque vous extrayez à partir d'un référentiel Git distant à l'aide d'Azure Databricks.
Ces nouveaux outils de résolution des conflits puissants permettent une collaboration sur le code plus simple et plus efficace à l'aide de Databricks Repos.