Partager via

Janvier 2024

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en janvier 2024.

Remarque

Les publications se font par étapes. Il se peut que votre compte Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.

Prise en charge du format de fichier XML natif (préversion publique)

31 janvier 2024

La prise en charge du format de fichier XML natif est désormais en avant-première publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml, et peut générer des documents XML. Il ne nécessite pas de jars externes et fonctionne de manière transparente avec Auto Loader, read_files, COPY INTO, et Delta Live Tables. Pour plus d’informations, voir Lire et écrire des fichiers XML.

Partager des modèles IA en utilisant la Place de marché Databricks (préversion publique)

31 janvier 2024

Vous pouvez désormais utiliser la Place de marché pour partager des modèles inscrits dans Unity Catalog. Les espaces de travail du fournisseur et du consommateur doivent être activés pour que Unity Catalog puisse participer au partage de modèles.

Consultez Qu’est-ce que la Place de marché Databricks ? et Ajouter des modèles à un partage.

Mises à jour des règles de groupe de sécurité réseau

31 janvier 2023

Pour améliorer la scalabilité de la plateforme, le plan de contrôle Azure Databricks nécessite désormais de nouveaux points de terminaison auxquels le plan de données classique doit se connecter. Pour les espaces de travail déployés dans votre propre réseau virtuel Azure, les ports réseau 3306 et 8443-8451 sont désormais ajoutés à la règle de sécurité existante vers la destination AzureDatabricks imposant le trafic sortant sur le port 443.

Pour plus d’informations, consultez Règles de groupe de sécurité réseau.

Mise à jour du chemin d’accès de l’espace de travail

Historiquement, les utilisateurs devaient inclure le préfixe de chemin d’accès /Workspace pour certaines API Databricks (%sh), mais pas pour d’autres (%run, les entrées de l’API REST). Désormais, les utilisateurs peuvent fournir des chemins d’accès à l’espace de travail avec le préfixe /Workspace partout dans Databricks. Les anciennes références aux chemins d’accès sans le préfixe /Workspace sont redirigées et continueront de fonctionner. Databricks recommande que tous les chemins d’accès d’espace de travail utilisent le préfixe /Workspace pour les différencier des chemins d’accès de volume et DBFS.

La prise en charge du pare-feu du Stockage Azure à partir des calculs serverless est en disponibilité générale

30 janvier 2024

La prise en charge du pare-feu Stockage Azure à partir du calcul serverless Azure Databricks est en disponibilité générale. Vous pouvez faire en sorte que les entrepôts SQL serverless utilisent des ID de sous-réseau stables pour se connecter au Stockage Azure et autoriser la liste de ces identifiants sur votre pare-feu de ressources Azure. Consultez Configurer un pare-feu pour l’accès au calcul serverless.

Création simplifiée de travaux Azure Databricks

29 janvier 2024

Un travail vide est désormais créé immédiatement après avoir cliqué sur le bouton de création d’un travail, ce qui vous permet de modifier les paramètres du travail, tels que les balises, la planification ou les paramètres de notification, avant d’ajouter la première tâche. Auparavant, vous deviez créer la première tâche avant d’accéder aux paramètres de niveau professionnel. Consultez Créer et exécuter des travaux Azure Databricks.

Analyser les charges de travail des modèles GPU à l’aide de tables d’inférence

29 janvier 2024

Vous pouvez désormais superviser les charges de travail de vos modèles GPU à l’aide de tables d’inférence. Consultez Tables d’inférence pour surveiller et déboguer des modèles.

Accès basé sur le chemin d’accès d’URI aux volumes externes du catalogue Unity

25 janvier 2024

Vous pouvez désormais utiliser les URI de stockage cloud pour un accès basé sur le chemin aux données régies par Unity Catalog et stockées dans des volumes externes. Consultez Quel chemin d’accès est utilisé pour accéder aux fichiers d’un volume ?.

Les listes de contrôles d’accès peuvent être activées sur les espaces de travail mis à niveau

24 janvier 2024

Les paramètres du contrôle d’accès ont été activés sur tous les espaces de travail du plan Premium en novembre 2023.

Pour les espaces de travail mis à niveau du plan Standard vers le plan Premium, les paramètres du contrôle d’accès sont désactivés par défaut. Les administrateurs de l’espace de travail peuvent désormais activer les paramètres du contrôle d’accès suivants sur les espaces de travail mis à niveau :

  • Contrôle d’accès d’espace de travail : permet aux utilisateurs de configurer des autorisations sur des objets d’espace de travail.
  • Contrôle d’accès de cluster, de pool, de travaux : permet aux utilisateurs de configurer des autorisations sur des clusters, des pools et des travaux.
  • Contrôle de visibilité de cluster : empêche des clusters d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.
  • Contrôle de visibilité de travaux : empêche des travaux d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.
  • Paramètre de contrôle de visibilité d’espace de travail : empêche les notebooks et les dossiers d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.

Une fois qu’un paramètre de contrôle d’accès est activé, il ne peut plus être désactivé. Pour plus d’informations, consultez la section Listes de contrôle d’accès.

La table système des événements de l’annonce sur la Place de marché est désormais disponible (préversion publique)

24 janvier 2024>

Le schéma système de la Place de marché comprend désormais une table d’événements de synthèse de l’annonce (system.marketplace.listing_funnel_events) dans laquelle vous pouvez surveiller les actions des consommateurs sur vos annonces. Consultez Répertorier la table d’événement d’entonnoir.

Interface utilisateur mise à jour pour les cellules du notebook (préversion publique)

24 janvier 2024

Une conception mise à jour de la cellule du notebook est disponible. Pour activer la nouvelle conception de la cellule, ouvrez la page des paramètres de l’éditeur dans l’espace de travail. Dans la barre latérale, cliquez sur Développeur. Sous Fonctionnalités expérimentales, basculez vers IU de nouvelle cellule. Pour plus de détails sur l’utilisation des cellules des carnets de notes dans l’interface originale et dans la nouvelle interface, voir Databricks notebooks : l’orientation vers la nouvelle cellule UI.

Le correctif rapide fournit de l’aide sur les erreurs de syntaxe dans le notebook

24 janvier 2024

Vous pouvez obtenir de l’aide de l’Assistant Databricks pour les erreurs de syntaxe à l’aide d’un correctif rapide. Pour plus d’informations, consultez Actions possibles sur les erreurs de syntaxe et les avertissements.

Databricks Runtime 14.3 LTS (Bêta)

22 janvier 2024

Databricks Runtime 14.3 LTS et Databricks Runtime 14.3 LTS ML sont désormais disponibles en version Bêta.

Référez-vous à la section Databricks Runtime 14.3 LTS et Databricks Runtime 14.3 LTS pour Machine Learning.

Partager des modèles IA en utilisant Delta Sharing (préversion publique)

19 janvier 2024

Vous pouvez désormais utiliser Delta Sharing pour partager des modèles enregistrés dans Unity Catalog. Les espaces de travail du fournisseur et du destinataire doivent être activés pour que Unity Catalog puisse partager des modèles.

Consultez Ajouter des modèles à un partage.

Place de marché Databricks prend en charge le partage de volumes

18 janvier 2023

Databricks Marketplace vous permet désormais d’accéder aux volumes (données non tabulaires) à condition que vous disposiez d’un espace de travail Databricks compatible avec Unity Catalog. Les volumes sont des objets Unity Catalog qui représentent un volume logique de stockage dans un emplacement de stockage d’objets cloud et ils fournissent le moyen de gérer la gouvernance et le partage de ressources de données non tabulaires.

Voir Accès aux produits de données dans Databricks Marketplace (espaces de travail compatibles avec Unity Catalog).

Créer des widgets à partir de l’interface utilisateur Databricks

18 janvier 2024

Vous pouvez désormais créer des widgets Databricks en utilisant l’interface utilisateur Databricks. Pour obtenir plus d’informations, consultez Créer des widgets à l’aide de l’interface utilisateur.

La table système des événements d’entrepôt est désormais disponible (préversion publique)

18 janvier 2024

La table system.compute.warehouse_events enregistre le démarrage, l’arrêt, le scale-up et le scale-down des entrepôts SQL. Vous pouvez utiliser la table pour monitorer et gérer les entrepôts SQL dans vos espaces de travail. Consultez les informations de référence sur la table système des événements d’entrepôt.

La taille de fichier d’un espace de travail est désormais limitée à 500 Mo

15 janvier 2023

Les fichiers d’un espace de travail individuel ne peuvent plus dépasser 500 Mo. La précédente limite était de 200 Mo. Pour en savoir plus, consultez les Limitations.

Notification de suppression des fonctionnalités pour une intégration Git héritée dans Databricks

12 janvier 2024

À compter du 31 janvier 2024, Databricks supprime les intégrations Git héritées de notebook. Cette fonctionnalité est dans un état hérité depuis plus de deux ans et une note relative à la suppression de fonctionnalités s’affiche dans l’interface utilisateur du produit depuis novembre 2023.

Pour plus d’informations sur la migration vers les dossiers Git Databricks (Repos), lisez Basculer vers Databricks Repos à partir de l’intégration Git héritée. Si cette suppression vous affecte et que vous avez besoin d’une extension, contactez le responsable de votre compte Databricks.

Pilote ODBC Databricks 2.7.7

9 janvier 2024

Nous avons publié la version 2.7.7 du pilote ODBC Databricks (téléchargement). Cette version ajoute les nouvelles fonctionnalités et améliorations suivantes :

  • Authentification par l’identité managée Azure.
  • Prise en charge des opérations de métadonnées asynchrones. Le serveur doit prendre en charge SPARK_CLI_SERVICE_PROTOCOL_V9 et les versions ultérieures.
  • Prise en charge de la requête paramétrable en mode de requête natif. Le serveur doit prendre en charge SPARK_CLI_SERVICE_PROTOCOL_V8 et les versions ultérieures.
  • Amélioration d’OAuth : le connecteur peut désormais désactiver le cache de jetons pour le flux d’authentification basé sur le navigateur.

La version 2.7.7 résout également les problèmes suivants :

  • Le connecteur ignore l’autorité de certification racine privée lors de l’utilisation du magasin de confiance Windows.
  • Lorsqu’une opération échoue, le connecteur ne ferme pas les threads de pulsation.
  • Le connecteur ne prend pas en charge le jeton d’actualisation facultatif.
  • Lors de l’interrogation de tables avec des noms étrangers, le connecteur ne parvient pas à les lire.
  • Lorsque vous utilisez l’authentification OAuth, si la longueur de chaîne de l’HÔTE est inférieure à 20, le connecteur se termine de façon inattendue.

Fin du support de la série Databricks Runtime 13.2

6 janvier 2024

La prise en charge de Databricks Runtime 13.2 et Databricks Runtime 13.2 pour Machine Learning a pris fin le 6 janvier. Consultez Cycles de vie du support de Databricks Runtime.

Les fonctionnalités d’assistance IA sont activées par défaut

2-8 janvier 2024

Les fonctionnalités d’assistance IA sont désormais activées par défaut pour les espaces de travail dont le profil de sécurité de conformité n’est pas activé. Il s’agit notamment des paramètres suivants :

Les administrateurs peuvent refuser les fonctionnalités d’assistance IA pour tous les espaces de travail de leur compte ou pour un sous-ensemble d’espaces de travail. Voir Activer ou désactiver l’Assistant Databricks.