Azure Synapse - Dataflow plante en erreur via pipeline

Question

Bonjour,

Depuis 1 semaine nos pipelines ne fonctionnent plus.

Nous obtenons l'erreur suivante :

{"message":"Job failed due to reason: at Sink 'InsertWarningSink': Failed to execute dataflow with internal server error, please retry later. If issue persists, please contact Microsoft support for further assistance. Details:org.apache.spark.SparkException: Job aborted due to stage failure: Task 14 in stage 323.0 failed 1 times, most recent failure: Lost task 14.0 in stage 323.0 (TID 15168) (vm-64877763 executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Container from a bad node: container_1757077183414_0001_01_000002 on host: vm-64877763. Exit status: 143. Diagnostics: [2025-09-05 14:03:25.629]Container killed on request. Exit code is 143\n[2025-09-05 14:03:25.655]Container exited with a non-zero exit code 143. \n[2025-09-05 14:03:25.661]Killed by external signal\n.\nDriver stacktrace:\n\tat org.apache.spark.scheduler.DAGScheduler.failJobAndIndependentStages(DAGScheduler.scala:2871)\n\tat org.apache.spark.scheduler.DAGScheduler.$anonfun$abortStage$2(DAGScheduler.scala:2807)\n\tat org.apache.spark.scheduler.DAGScheduler.$anonfun$abortStage$2$adapted(DAGScheduler.scala:2806)\n\tat scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62)\n\tat scala.collection.mutable.ResizableArray.fo","failureType":"UserError","target":"CycleDeVie_F_Contrat","errorCode":"DF-Executor-InternalServerError"}

Avez-vous une idée du problème?

D'avance merci pour votre retour.

Cordialement,

Mathieu BERRUET

Answer 1

Je vais compléter, le pipeline fonctionne correctement dans un autre environnement (même JDD) avec la même volumétrie (faible 70k).

Nous avons essayé d'augmenter l'intégration runtime passant du minimum a 64, cela n'a rien changé.

Le pipeline fonctionnait correctement il y a une semaine. Le même problème survient sur un autre environnement (2 impacté, 2 pour l'instant pas de problème).