Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Les tâches et pipelines sans serveur fonctionnent selon l’un des modes de performance suivants :
- Mode optimisé pour les performances (par défaut) : Azure Databricks garde un pool de calcul chaud prêt, donc les charges de travail commencent généralement en moins d’une minute et reçoivent plus de calcul rapidement quand elles en ont besoin. Utilisez ce mode pour un retour rapide lors du développement et des tests, ou lorsque le mode standard ne peut pas satisfaire aux exigences d’achèvement ou de fraîcheur des données.
- Mode standard: Les charges de travail démarrent généralement en 4 à 6 minutes et consomment moins d’unités Databricks (DBU). Évaluez ce mode pour les travaux programmés et batch lorsque les exécutions représentatives répondent aux exigences d’achèvement et de fraîcheur des données.
Vous choisissez le mode pour chaque tâche et chaque planning de pipeline. Pour trouver les charges de travail où le mode standard économiserait le plus, voir Trouver les tâches et pipelines pour passer au mode standard.
Cette page compare les modes, explique comment choisir et définir un mode, et montre comment vérifier quel mode une exécution a utilisé et combien il a coûté.
Note
Le mode standard est un réglage de performance pour le calcul sans serveur. Cela n’a aucun rapport avec le mode d’accès standard pour le calcul classique.
Comparez les modes de performance
Le tableau suivant compare les deux modes de performance :
| Mode optimisé pour les performances (par défaut) | Mode standard | |
|---|---|---|
| Temps de démarrage | En général moins d’une minute. Azure Databricks maintient des ressources de calcul préchauffées prêtes pour la charge de travail. | Typiquement 4 à 6 minutes, selon la disponibilité des ressources de calcul. |
| Durée d’exécution | Plus court pour les charges de travail qui montent en charge, car la capacité de calcul est ajoutée à partir de la capacité préchauffée. | Peut être plus long pour les charges de travail qui s’étendent, car la capacité de calcul est ajoutée plus lentement. |
| Coût | Consomme plus de DBU pour la même charge de travail, en échange de démarrages rapides et prévisibles. | Consomme moins de DBU pour la même charge de travail, au même prix par DBU et sur le même SKU. |
| Idéal pour | Travail interactif et développement nécessitant un retour rapide, et charges de production dont les exigences d’achèvement ou de fraîcheur des données ne peuvent pas être satisfaites par le mode standard. | Travail planifié et par lots répondant à ses exigences d’achèvement et de fraîcheur des données avec un démarrage et une montée en échelle plus lents, tels que des tâches batch nocturnes, des remplaçaments et des chargements ponctuels. |
Le mode optimisé pour les performances est le mode par défaut pour les tâches et pipelines sans serveur, que vous les créiez dans l’interface utilisateur, avec l’API, avec les bundles d’automatisation déclarative, avec Terraform ou avec les SDK. Les actualisations des vues matérialisées et des tables en flux qui s’exécutent selon un calendrier depuis la définition de table ont leur propre réglage, qui est par défaut en mode standard. Consultez Sélectionner un mode de performances pour les actualisations planifiées.
Les deux modes exécutent votre charge de travail sur le même runtime sans serveur et produisent les mêmes résultats. Pour les tarifs, consultez la page tarifaire de Lakeflow Jobs.
Choisissez un mode pour votre charge de travail
Le mode optimisé pour les performances est par défaut. Pour le travail en lot planifié, Databricks recommande d’évaluer le mode standard pour un coût réduit. Choisissez le mode standard lorsque les exécutions représentatives, incluant le démarrage et le temps de montée en charge, répondent aux exigences d’achèvement de la charge de travail et de fraîcheur des données. Par exemple, une tâche nocturne peut utiliser le mode standard si elle se termine avant que les tableaux de bord en aval n’aient besoin de ses résultats.
Utilisez le mode optimisé pour les performances pour les charges de travail suivantes :
- Travail interactif, où quelqu’un attend le résultat, comme un exécution ad hoc avec Run now et des exécutions qu’un utilisateur démarre depuis une application ou via un appel API.
- Développement, test et validation des tâches et des pipelines, où un retour rapide compte.
- Les charges de travail dont l’accord de niveau de service, la cible de fraîcheur des données ou les consommateurs en aval exigent des résultats plus tôt que ce que le mode standard fournit.
- Les tâches qu’un déclencheur d’arrivée de fichier ou un déclencheur de mise à jour de table lance, dont l’objectif est de traiter rapidement de nouvelles données.
- Des tâches qui s’exécutent toutes les quelques minutes, où des démarrages plus lents peuvent retarder ou mettre en file d’attente la prochaine exécution.
- Les petits travaux où le temps de démarrage représente une grande part du temps total d’exécution et la rapidité de l’achèvement comptent.
- Charges de travail nécessitant une mise en puissance plus rapide pour répondre à leurs exigences d’achèvement.
Le mode standard convient bien aux charges de travail suivantes :
- Tâches nocturnes, horaires et autres tâches par lots planifiées qui répondent à leurs exigences d’achèvement et de fraîcheur des données en mode standard.
- Pipelines qui actualisent les tables selon un calendrier, lorsque les mises à jour se terminent avant que les consommateurs aient besoin des résultats.
- Retraitements historiques et chargements de données ponctuels.
- Tâches qu’un orchestrateur externe déclenche selon un calendrier, lorsque le mode standard répond aux exigences d’achèvement en aval.
Le réglage du mode performance ne s’applique pas aux notebooks interactifs sans serveur.
Le mode performance est un réglage au niveau du job. Si un job mélange des tâches sensibles au temps avec des tâches pouvant attendre, divisez les tâches en jobs distincts. Pour orchestrer les jobs entre eux, utilisez une tâche Exécuter un job. Le job qu’une tâche Exécuter le job exécute utilise son propre mode de performance.
Essayez le mode standard sur un job existant
Pour mesurer l’effet du mode standard sur un job avant de vous y engager, procédez comme suit :
- Passez le travail en mode standard. Voir Faire passer une tâche en mode standard.
- Laissez le job fonctionner selon son planning normal pendant plusieurs exécutions représentatives.
- Comparez les DBU par exécution et le temps d’achèvement, y compris le démarrage, avec les exécutions antérieures à la transition. Vérifiez si le job répond toujours à ses exigences d’achèvement et de fraîcheur des données. Voir la section Mesurer le coût de chaque mode.
- Si la tâche ne répond plus à ses exigences de latence, repassez-la en mode optimisé pour les performances. Le changement s’applique à la prochaine exécution.
Utilisez les exécutions programmées du job pour la comparaison. Les exécutions manuelles supplémentaires d’un job de production peuvent écrire des données en double.
Support du mode performance selon le type de charge de travail
Vous pouvez configurer directement le mode performance pour les types suivants de charges de calcul sans serveur :
- notebook sans serveur, script Python, wheel Python, tâches JAR et dbt, y compris les notebooks qu’une tâche exécute avec
dbutils.notebook.run(). - Les pipelines sans serveur s’exécutent à partir d’une tâche de pipeline.
- Mises à jour des vues matérialisées et des tables en flux qu’une tâche SQL démarre, ou qu’une tâche de bloc-notes ou de DBT sur un entrepôt SQL démarre. Le mode ne change pas l’entrepôt SQL.
Les charges de travail suivantes s’exécutent en mode optimisé pour les performances :
- Mises à jour de pipeline que vous déclenchez manuellement. L’exception est un rafraîchissement complet sélectif, qui peut s’exécuter en mode standard. Voir Passer un pipeline en mode standard.
- Pipelines continus utilisant le mode continu intégré au pipeline. Pour choisir le mode, exécutez le pipeline avec un job continu. Voir Passer un pipeline en mode standard.
Pour les charges de travail suivantes, vous définissez le mode performance ailleurs que dans les paramètres de la tâche :
- Exécutions ponctuelles que vous créez avec l’opération Jobs API
runs/submit. Pour définir le mode performance, réglezperformance_targetdans le corps de la requête. Si vous omettez le paramètre, l’exécution utilise un mode optimisé pour les performances. - Vues matérialisées et tables de streaming pouvant être actualisées selon un calendrier défini dans la définition de la table. Pour définir le mode performance, mettez à jour le planning de rafraîchissement dans l’Explorateur de catalogue. Ces actualisations utilisent par défaut le mode standard. Le réglage du mode pour ces rafraîchissements est en bêta. Pour l’utiliser, un administrateur d’espace de travail doit activer l’aperçu System-Managed Job for Materialized Views & Streaming Tables sur la page Aperçus . Voir Gérer les prévisualisations d’Azure Databricks et Sélectionner un mode de performance pour les mises à jour programmées.
Le mode performance ne s’applique pas aux notebooks interactifs sans server, aux tâches exécutées sur le calcul classique, aux entrepôts SQL ou aux tâches exécutées sur AI Runtime.
Passer un job en mode standard
Note
- Pour modifier le mode de performance d’un job, vous avez besoin de l’autorisation CAN MANAGE sur le job.
- Pour définir le mode dans les Bundles d’automatisation déclarative, vous devez disposer de la version 0.241.0 ou ultérieure de la CLI Databricks.
Vous définissez le mode performance pour chaque job. Le mode s’applique à toutes les tâches serverless de la tâche, et un changement s’applique aux exécutions qui démarrent après l’enregistrement de la tâche.
Interface utilisateur
Pour passer une tâche en mode standard dans l’interface des tâches, procédez comme suit :
- Dans votre espace de travail, cliquez sur
Travaux & Pipelines dans la barre latérale.
- Cliquez sur le nom du job.
- Dans le volet Détails de la tâche, désactivez Optimisation des performances.
Performance optimisée est affichée comme désactivée dans le volet Détails du travail , et les exécutions qui démarrent après le changement utilisent le mode standard.
Pour revenir au mode optimisé pour les performances, activez Performance optimisée. Vous pouvez modifier le paramètre uniquement lorsque le travail comporte au moins une tâche à laquelle le mode s’applique. Voir Support du mode performance selon le type de charge de travail.
Vous pouvez également choisir le mode pour une seule exécution :
- Exécuter maintenant avec des paramètres différents : exécute la tâche une seule fois dans le mode que vous choisissez, sans changer la tâche. Consultez Exécuter un travail avec différents paramètres.
- Exécution de réparation : Par défaut, une réparation utilise le même mode que l’exécution qu’elle répare. Vous pouvez choisir un mode différent pour la réparation. Consultez Réexécuter les tâches qui ont échoué et qui ont été ignorées.
Lorsque vous planifiez un notebook depuis le notebook, choisissez le mode dans la boîte de dialogue de planification. Consultez Créer et gérer des tâches de notebooks planifiées.
Paquets d'Automatisation déclarative
Pour utiliser le mode standard pour une tâche dans un bundle, réglez performance_target sur la ressource de tâche. L’exemple suivant utilise le mode standard et utilise le mode optimisé pour les performances dans la cible dev pour un retour d’information plus rapide pendant le développement :
resources:
jobs:
nightly_etl:
name: nightly_etl
performance_target: STANDARD
tasks:
- task_key: transform
notebook_task:
notebook_path: ../src/transform.ipynb
targets:
dev:
resources:
jobs:
nightly_etl:
performance_target: PERFORMANCE_OPTIMIZED
Si vous omettez performance_target, la tâche utilise le mode optimisé pour les performances. Pour en savoir plus sur les ressources de travail et les overrides de cibles, voir job et Override avec les paramètres cibles.
REST API
Pour passer une tâche existante en mode standard, appelez Update job settings avec performance_target dans new_settings. L’exemple suivant suppose que les variables d’environnement et DATABRICKS_TOKEN sont définies, comme décrit dans DATABRICKS_HOST :
curl -X POST "$DATABRICKS_HOST/api/2.2/jobs/update" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"job_id": 123456789,
"new_settings": {
"performance_target": "STANDARD"
}
}'
La liste suivante décrit comment performance_target fonctionne dans d’autres requêtes :
-
Créer un job : Définit le mode pour le nouveau job. Si vous omettez le champ, la tâche utilise
PERFORMANCE_OPTIMIZED. -
Réinitialiser une tâche : remplace tous les paramètres de la tâche. Pour conserver le mode standard, incluez
performance_targetdans les nouveaux paramètres. - Exécuter maintenant et Réparer une exécution : Définit le mode pour cette exécution uniquement.
-
Soumettre une exécution unique : Définit le mode de l’exécution. Si vous omettez le champ, l’exécution utilise
PERFORMANCE_OPTIMIZED.
Interface CLI de Databricks
Pour passer une tâche existante en mode standard, exécutez databricks jobs update avec l’ID de tâche dans le corps de la requête JSON :
databricks jobs update --json '{"job_id": 123456789, "new_settings": {"performance_target": "STANDARD"}}'
Pour exécuter une tâche une seule fois en mode standard sans modifier la tâche, exécutez la commande suivante :
databricks jobs run-now 123456789 --performance-target STANDARD --no-wait
Kit de développement logiciel (SDK) Python
Pour passer une ou plusieurs tâches existantes en mode standard avec le SDK Databricks pour Python, exécutez ce qui suit :
from databricks.sdk import WorkspaceClient
from databricks.sdk.service import jobs
w = WorkspaceClient()
# Replace with the IDs of the jobs to switch to standard mode.
job_ids = [123456789, 234567890]
for job_id in job_ids:
w.jobs.update(
job_id=job_id,
new_settings=jobs.JobSettings(performance_target=jobs.PerformanceTarget.STANDARD),
)
Terraform
Pour utiliser le mode standard pour une tâche que vous gérez avec le fournisseur Databricks Terraform, définissez performance_target la ressource databricks_job :
resource "databricks_job" "nightly_etl" {
name = "nightly_etl"
performance_target = "STANDARD"
task {
task_key = "transform"
notebook_task {
notebook_path = "/Workspace/Users/someone@example.com/transform"
}
}
}
Si un bundle ou Terraform déploie un job, changez le mode dans la configuration. Le prochain déploiement remplace les modifications que vous effectuez dans l’interface utilisateur ou avec l’API. Les Jobs déployés par un bundle sont en lecture seule dans l’interface Jobs.
Passer un pipeline au mode standard
Un pipeline sans serveur utilise le mode performance du job qui l’exécute. Lorsque vous planifiez un pipeline depuis la page du pipeline, la planification crée une tâche, vous choisissez donc le mode dans la planification.
Pour créer un planning de pipeline utilisant le mode standard, procédez comme suit :
- Dans votre espace de travail, cliquez sur
Travaux & Pipelines dans la barre latérale.
- Cliquez sur le nom du pipeline.
- Cliquez sur Planifier. Si le pipeline dispose déjà d’un planning, cliquez sur Ajouter un planning.
- Configurez le déclencheur et le nom de la tâche. Voir Planifier un pipeline avec l’interface utilisateur du pipeline.
- Décochez la case Performance optimisée .
- Cliquez sur Créer.
Le planning crée une tâche qui exécute le pipeline en mode standard. Pour confirmer, ouvrez cette tâche et vérifiez que la fonction Performance optimisée est désactivée dans le volet Détails de la tâche .
Pour changer le mode d’un planning existant, ou de toute autre tâche qui exécute le pipeline, basculez cette tâche en mode standard. Voir Basculer une tâche en mode standard.
Les mises à jour du pipeline déclenchées que vous démarrez manuellement, par exemple avec Start sur la page du pipeline, s’exécutent en mode optimisé pour les performances. Un rafraîchissement complet sélectif peut s’exécuter en mode standard. Après avoir sélectionné les tables à actualiser, cliquez sur Exécuter maintenant avec différents paramètres, activez Exécuter le pipeline avec rafraîchissement complet de table, et désactivez l’optimisation des performances.
Un pipeline continu utilisant le mode continu intégré du pipeline fonctionne en mode optimisé pour les performances, et vous ne pouvez pas en modifier le mode. Pour exécuter un pipeline continu en mode standard, exécutez-le avec une tâche continue et désactivez la fonction Performance optimisée pour cette tâche. Une tâche continue détecte un nouveau mode lorsque son exécution redémarre. Pour appliquer une modification immédiatement, cliquez sur Redémarrer l’exécution. Voir Exécuter un pipeline continu avec un travail continu et Exécuter des tâches en continu.
Pour les vues matérialisées et les tables en flux qui se rafraîchissent selon un calendrier à partir de la définition de la table, définissez le mode dans le calendrier de mise à jour dans Catalog Explorer. Consultez Sélectionner un mode de performances pour les actualisations planifiées.
Vérifiez le mode utilisé par une exécution
Le mode utilisé par une exécution peut différer du réglage du travail. Par exemple, vous pouvez choisir un mode différent pour une seule exécution, et ce mode ne s’applique pas à certains types de tâches. Pour vérifier le mode utilisé par une exécution, utilisez l’une des méthodes suivantes :
- UI Jobs : Ouvrez la course. Sur la page des détails de l’exécution du travail, le volet des détails affiche Performance optimisée avec la valeur Activé pour le mode optimisé pour les performances ou Désactivé pour le mode standard. La page Détails de l’exécution de la tâche affiche le même champ pour chaque tâche.
-
Jobs API : Le
effective_performance_targetchamp dans la réponse Obtenir une exécution de job indique le mode utilisé par l’exécution. -
Tables système : La
product_features.performance_targetcolonne de la table système d’utilisation facturable enregistre le mode pour les tâches et pipelines sans serveur. Pour les mises à jour du pipeline déclenchées par un job, la colonnetrigger_details.job_task.performance_targetde la table de chronologie des mises à jour du pipeline enregistre également le mode.
Mesurez le coût de chaque mode
Utilisez le tableau du système d’utilisation facturable pour trouver les charges de travail à commuter et mesurer ce que le mode standard économise. Les enregistrements d’utilisation peuvent mettre plusieurs heures à apparaître dans le tableau. Les requêtes dans cette section utilisent des prix de liste, donc les coûts ne reflètent pas les réductions.
Trouvez des tâches et pipelines pour passer au mode standard
La requête suivante liste les tâches et pipelines serverless qui ont utilisé le mode optimisé pour les performances au cours des 30 derniers jours, triés par coût de liste. Les charges de travail situées en haut des résultats sont de bons candidats pour le mode standard lorsque les exécutions représentatives, y compris le démarrage et le temps d’échelle, répondent à leurs exigences d’achèvement et de fraîcheur des données.
SELECT
u.workspace_id,
u.billing_origin_product AS product,
u.usage_metadata.job_id AS job_id,
u.usage_metadata.dlt_pipeline_id AS pipeline_id,
MAX(u.usage_metadata.job_name) AS job_name,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS job_runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity * lp.pricing.default) AS list_cost
FROM system.billing.usage AS u
INNER JOIN system.billing.list_prices AS lp
ON u.cloud = lp.cloud
AND u.sku_name = lp.sku_name
AND u.usage_start_time >= lp.price_start_time
AND (u.usage_end_time <= lp.price_end_time OR lp.price_end_time IS NULL)
WHERE
u.billing_origin_product IN ('JOBS', 'DLT')
AND u.product_features.is_serverless
AND u.product_features.performance_target = 'PERFORMANCE_OPTIMIZED'
AND u.usage_unit = 'DBU'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY
u.workspace_id,
u.billing_origin_product,
u.usage_metadata.job_id,
u.usage_metadata.dlt_pipeline_id
ORDER BY list_cost DESC
LIMIT 50
Pour changer le pipeline qu’un job exécute, modifiez le job. Voir Faire passer une tâche en mode standard.
Comparez l’utilisation d’un job avant et après le changement
Après qu’un travail a été exécuté dans les deux modes, la requête suivante compare les DBU que ses tâches consomment par exécution dans chaque mode. Remplacez <job-id> par l’ID du job :
SELECT
u.product_features.performance_target AS performance_mode,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity) / COUNT(DISTINCT u.usage_metadata.job_run_id) AS dbus_per_run
FROM system.billing.usage AS u
WHERE
u.billing_origin_product = 'JOBS'
AND u.product_features.is_serverless
AND u.usage_unit = 'DBU'
AND u.usage_metadata.job_id = '<job-id>'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY ALL
La requête ne compte que l’utilisation facturée au job (JOBS). Les tâches de pipeline sont facturées comme utilisation du pipeline (DLT), donc les résultats ne les incluent pas. Pour comparer un pipeline qu’une tâche de pipeline exécute, filtrez sur u.billing_origin_product = 'DLT' et u.usage_metadata.dlt_pipeline_id = '<pipeline-id>' à la place, et comptez u.usage_metadata.dlt_update_id au lieu de u.usage_metadata.job_run_id.
La consommation DBU par exécution dépend également de la quantité de données que chaque exécution traite, donc comparez les exécutions qui traitent des quantités de données similaires. Pour comparer les durées des exécutions, ouvrez le job et voyez ses exécutions. Consultez Monitor Lakeflow Jobs.
Pour consulter la consommation de DBU par mode sur tous les jobs et pipelines, voir Rapport sur les DBU consommés par mode de performance.
Questions fréquemment posées (FAQ) sur les modes de performance sans serveur
Le mode standard a-t-il un prix différent ?
Non. Les deux modes sont facturés sous le même SKU au même prix par DBU. Le mode standard coûte moins cher car il consomme moins de DBU.
Puis-je définir un mode par défaut pour tous les jobs dans un espace de travail ?
Non. Vous définissez le mode pour chaque job et chaque planning de pipeline. Pour changer de nombreuses tâches, utilisez l’API Jobs, le SDK Databricks pour Python, Declarative Automation Bundles ou Terraform. Voir Passer un job en mode standard.
Les tâches dans le même job peuvent-elles utiliser différents modes ?
Non. Le mode s’applique à l’ensemble du job. Pour exécuter certaines tâches dans chaque mode, mettez-les dans des jobs séparés, puis utilisez une tâche Exécuter le job pour les orchestrer.
Quand un changement de mode entre-t-il en vigueur ?
Un changement s’applique aux runs qui commencent après l’enregistrement de celle-ci. Une partie en cours conserve le mode avec lequel elle a commencé. Pour une tâche continue, cliquez sur Redémarrer l’exécution pour appliquer la modification immédiatement.
Pourquoi une exécution a-t-elle utilisé un mode différent de celui de son job ?
L’exécution a pu démarrer uniquement avec un mode pour cette exécution, par exemple depuis Exécuter maintenant avec des réglages différents, depuis une réparation, ou avec performance_target une requête d’exécution immédiate. Pour vérifier le mode utilisé par une exécution, voir Vérifier le mode utilisé par une exécution.
Pourquoi un job utilise-t-il le mode standard alors que je ne l’ai pas choisi ?
Jusqu’en septembre 2025, le mode standard était le mode par défaut pour les nouvelles tâches serverless et les plannings de pipeline que vous créiez dans l’interface utilisateur. Les tâches que l’interface utilisateur a créées en mode standard avant le changement gardent ce mode jusqu’à ce que vous le modifiez. Voir les notes de version de septembre 2025. Pour passer une tâche en mode optimisé pour les performances, voir Passer une tâche en mode standard.
Pourquoi mon job met-il plus de 6 minutes à démarrer en mode standard ?
Le temps de démarrage en mode standard dépend de la disponibilité de calcul et varie d’une exécution à l’autre. Quatre à six minutes sont typiques, pas un maximum. Si une tâche nécessite une heure de début prévisible, utilisez le mode optimisé en termes de performance.
Puis-je utiliser le mode standard pour les tâches qu’un outil externe déclenche ?
Yes. Définissez le mode de la tâche, et faites en sorte que l’outil déclenche la tâche avec Exécuter maintenant. Si l’outil soumet des exécutions uniques avec runs/submit, les exécutions utilisent le mode optimisé des performances, sauf si la requête définit performance_target.