Étapes suivantes ?

Découvrez les fonctionnalités et les changements comportementaux dans les prochaines versions d’Azure Databricks.

Gestion des statistiques activée par défaut avec optimisation prédictive

À partir du 21 janvier, Databricks commencera à activer la gestion des statistiques pour tous les comptes dont l’optimisation prédictive est activée. La gestion des statistiques étend les fonctionnalités d’optimisation prédictive existantes en ajoutant une collection de statistiques en écriture et en exécutant automatiquement des commandes ANALYZE pour les tables gérées de Unity Catalog. Pour plus d’informations sur l’optimisation prédictive, consultez Optimisation prédictive pour les tables managées du catalogue Unity.

Modification du comportement lorsque les définitions de jeu de données sont supprimées d’un pipeline Delta Live Tables

Une prochaine version de Delta Live Tables modifie le comportement lorsqu’une vue matérialisée ou une table de diffusion en continu est supprimée d’un pipeline. Avec cette modification, la vue matérialisée supprimée ou la table de diffusion en continu ne sera pas supprimée automatiquement lors de l’exécution de la prochaine mise à jour du pipeline. Au lieu de cela, vous pourrez utiliser la commande DROP MATERIALIZED VIEW pour supprimer une vue matérialisée ou la commande DROP TABLE pour supprimer une table de diffusion en continu. Après avoir supprimé un objet, l’exécution d’une mise à jour de pipeline ne récupère pas automatiquement l’objet. Un nouvel objet est créé si une vue matérialisée ou une table de diffusion en continu avec la même définition est re-ajoutée au pipeline. Toutefois, vous pouvez récupérer un objet à l’aide de la commande UNDROP.

Les notebooks IPYNB deviendront le format de notebook par défaut pour Azure Databricks

Actuellement, Databricks crée tous les nouveaux notebooks au format « Databricks source » par défaut, qui capture uniquement du code. En janvier 2025, le nouveau format de notebook par défaut sera IPYNB (.ipynb), qui capture également l’environnement de notebook, les définitions de visualisation et les widgets de notebook. Cette nouvelle valeur par défaut peut être modifiée dans le volet utilisateur Paramètres de l’espace de travail. Pour plus d’informations sur les formats de carnets, consultez formats de carnets.

Les fichiers d’espace de travail seront activés pour tous les espaces de travail Azure Databricks le 1er février 2025

Databricks activera les fichiers d’espace de travail pour tous les espaces de travail Azure Databricks le 1er février 2025. Cette modification débloque l'utilisation, par les utilisateurs de l'espace de travail, des nouvelles fonctionnalités de fichiers dans l'espace de travail. Après le 1er février 2025, vous ne pourrez pas désactiver les fichiers d’espace de travail à l’aide de la propriété enableWorkspaceFilesystem avec l’API REST Azure Databricks pour l’activation et la désactivation des fonctionnalités d’espace de travail. Pour plus d’informations sur les fichiers d’espace de travail, consultez Qu’est-ce que les fichiers d’espace de travail ?.

Les tables sont partagées avec l’historique par défaut dans le partage Delta

Databricks prévoit de modifier le paramètre par défaut pour les tables partagées à l’aide du partage Delta pour inclure l’historique par défaut. Auparavant, le partage d’historique était désactivé par défaut. Le partage de l’historique des tables améliore les performances de lecture et fournit une prise en charge automatique des optimisations Delta avancées.

Réduction des coûts et plus de contrôle des performances par rapport au coût de votre calcul serverless pour les charges de travail de flux de travail

En plus des optimisations automatiques des performances actuellement prises en charge, les améliorations apportées au calcul serverless pour les fonctionnalités d’optimisation des flux de travail vous permettent de mieux contrôler si les charges de travail sont optimisées pour les performances ou les coûts. Pour plus d’informations, consultez Économies sur le calcul serverless pour les notebooks, les travaux et les pipelines.

Modifications apportées à la prise en charge des versions de tableau de bord héritées

Databricks recommande d’utiliser des tableaux de bord IA/BI (anciennement tableaux de bord Lakeview). Les versions antérieures des tableaux de bord, précédemment appelées tableaux de bord Databricks SQL, sont désormais appelées tableaux de bord hérités. Databricks déconseille de créer des tableaux de bord hérités. Les tableaux de bord IA/BI offrent des fonctionnalités améliorées par rapport à la version héritée, notamment la création assistée par l’IA, les modes brouillons et publiés et le filtrage croisé.

Chronologie de fin de prise en charge des anciens tableaux de bord

• le 7 avril 2025: La prise en charge officielle de la version ancienne des tableaux de bord se terminera. Seuls les problèmes de sécurité critiques et les pannes de service sont résolus.
• 3 novembre 2025 : Databricks commencera à archiver les tableaux de bord hérités qui n’ont pas été accessibles au cours des six derniers mois. Les tableaux de bord archivés ne seront plus accessibles et le processus d’archivage se produira de manière propagée. L’accès aux tableaux de bord activement utilisés reste inchangé.

Databricks collaborera avec les clients pour développer des plans de migration pour les tableaux de bord hérités actifs après le 3 novembre 2025.

Pour faciliter la transition vers des tableaux de bord AI/BI, les outils de mise à niveau sont disponibles à la fois dans l’interface utilisateur et l’API. Pour obtenir des instructions sur l’utilisation de l’outil intégré de migration de l’interface utilisateur, consultez Cloner un ancien tableau de bord sur un tableau de bord alimenté par IA/BI. Pour obtenir des didacticiels sur la création et la gestion de tableaux de bord à l’aide de l’API REST, utilisez les API Azure Databricks pour gérer les tableaux de bord.

Modifications apportées à l’attribution de charge de travail de calcul serverless

Actuellement, votre table système d’utilisation facturable peut peut-être inclure des enregistrements de facturation de référence SKU serverless avec des valeurs nulles pour run_as, job_id, job_run_id et notebook_id. Ces enregistrements représentent les coûts associés à des ressources partagées qui ne sont pas directement attribuables à une charge de travail particulière.

Pour simplifier la création de rapports sur les coûts, Databricks attribuera prochainement ces coûts partagés aux charges de travail spécifiques les ayant subis. Vous ne verrez plus aucun enregistrement de facturation avec des valeurs nulles dans des champs d’identificateur de charge de travail. À mesure que vous augmenterez votre utilisation du calcul serverless et ajouterez davantage de charges de travail, la proportion de ces coûts partagés sur votre facture diminuera car ils seront partagés entre davantage de charges de travail.

Pour découvrir plus d’informations sur le monitoring des coûts de calcul serverless, consultez Surveiller le coût du calcul serverless.

Le champ sourceIpAddress dans les journaux d’audit n’inclut plus de numéro de port

En raison d’un bogue, certains journaux d’audit d’autorisation et d’authentification incluent un numéro de port en plus de l’adresse IP dans le champ sourceIPAddress (par exemple, "sourceIPAddress":"10.2.91.100:0"). Le numéro de port, qui est enregistré en tant que 0, ne fournit aucune valeur réelle et n’est pas cohérent avec le reste des journaux d’audit Databricks. Pour améliorer la cohérence des journaux d’audit, Databricks prévoit de modifier le format de l’adresse IP pour ces événements de journal d’audit. Cette modification sera progressivement déployée à partir de début août 2024.

Si le journal d’audit contient un sourceIpAddress de 0.0.0.0, Databricks peut arrêter sa journalisation .

JDK8 et JDK11 ne seront pas pris en charge

Azure Databricks prévoit de supprimer la prise en charge de JDK 8 avec la prochaine version majeure de Databricks Runtime, à l’occasion de la publication de Spark 4.0. Azure Databricks prévoit de supprimer la prise en charge de JDK 11 avec la prochaine version LTS de Databricks Runtime 14.x.

Activation automatique de Unity Catalog pour les nouveaux espaces de travail

Databricks commencera bientôt à activer automatiquement Unity Catalog pour les nouveaux espaces de travail. Cela évite aux administrateurs de compte d’avoir à configurer Unity Catalog après la création d’un espace de travail. Le lancement se fera progressivement sur les comptes.

Mise à niveau de sqlite-jdbc

Databricks Runtime prévoit de mettre à niveau la version sqlite-jdbc de 3.8.11.2 vers 3.42.0.0 dans toutes les versions de maintenance de Databricks Runtime. Les API de la version 3.42.0.0 ne sont pas entièrement compatibles avec la version 3.8.11.2. Vérifiez que vos méthodes et le type de retour utilisent la version 3.42.0.0.

Si vous utilisez sqlite-jdbc dans votre code, case activée le rapport de compatibilité sqlite-jdbc.