Résoudre les problèmes des pipelines pour Data Factory dans Microsoft Fabric

Cet article présente des méthodes couramment employées pour résoudre les problèmes liés aux activités de contrôle externes pour Data Factory dans Microsoft Fabric.

Activité de copie et connecteur

Pour des problèmes de connecteur, tels qu’une erreur lors de l’utilisation d’une activité de copie, reportez-vous à l’article Résoudre les problèmes liés aux connecteurs.

Azure Databricks

Code d’erreur : 3200

• Message : Erreur 403.

• Cause : The Databricks access token has expired.

• Recommandation : Par défaut, le jeton d’accès Azure Databricks est valide pendant 90 jours. Créez un nouveau jeton et mettez à jour la connexion.

Code d’erreur : 3201

• Message : Missing required field: settings.task.notebook_task.notebook_path.

• Cause : Bad authoring: Notebook path not specified correctly.

• Recommandation : Spécifiez le chemin du notebook dans l’activité Databricks.

• Message : Cluster... does not exist.

• Cause : Authoring error: Databricks cluster does not exist or has been deleted.

• Recommandation : Vérifiez que le cluster Databricks existe.

• Message : Invalid Python file URI... Please visit Databricks user guide for supported URI schemes.

• Cause : Bad authoring.

• Recommandation : Spécifiez les chemins absolus des schémas d’adressage d’espace de travail ou dbfs:/folder/subfolder/foo.py pour les fichiers stockés dans Databricks File System (DFS).

• Message : {0} LinkedService should have domain and accessToken as required properties.

• Cause : Bad authoring.

• Recommandation: vérifiez la définition de connexion.

• Message : {0} LinkedService should specify either existing cluster ID or new cluster information for creation.

• Cause : Bad authoring.

• Recommandation: vérifiez la [définition de connexion]/azure/data-factory/compute-linked-services#azure-databricks-linked-service).

• Message : Node type Standard_D16S_v3 is not supported. Supported node types: Standard_DS3_v2, Standard_DS4_v2, Standard_DS5_v2, Standard_D8s_v3, Standard_D16s_v3, Standard_D32s_v3, Standard_D64s_v3, Standard_D3_v2, Standard_D8_v3, Standard_D16_v3, Standard_D32_v3, Standard_D64_v3, Standard_D12_v2, Standard_D13_v2, Standard_D14_v2, Standard_D15_v2, Standard_DS12_v2, Standard_DS13_v2, Standard_DS14_v2, Standard_DS15_v2, Standard_E8s_v3, Standard_E16s_v3, Standard_E32s_v3, Standard_E64s_v3, Standard_L4s, Standard_L8s, Standard_L16s, Standard_L32s, Standard_F4s, Standard_F8s, Standard_F16s, Standard_H16, Standard_F4s_v2, Standard_F8s_v2, Standard_F16s_v2, Standard_F32s_v2, Standard_F64s_v2, Standard_F72s_v2, Standard_NC12, Standard_NC24, Standard_NC6s_v3, Standard_NC12s_v3, Standard_NC24s_v3, Standard_L8s_v2, Standard_L16s_v2, Standard_L32s_v2, Standard_L64s_v2, Standard_L80s_v2.

• Cause : Bad authoring.

• Recommandation : Voir le message d’erreur.

Code d’erreur : 3202

• Message : There were already 1000 jobs created in past 3600 seconds, exceeding rate limit: 1000 job creations per 3600 seconds.

• Cause : Too many Databricks runs in an hour.

• Recommandation : Vérifiez le taux de création de travaux de tous les pipelines qui utilisent cet espace de travail Databricks. Si les pipelines ont lancé trop de travaux Databricks dans un agrégat, migrez des pipelines dans un nouvel espace de travail.

• Message : Could not parse request object: Expected 'key' and 'value' to be set for JSON map field base_parameters, got 'key: "..."' instead.

• Cause : Authoring error: No value provided for the parameter.

• Recommandation : Inspectez le code JSON de pipeline et vérifiez que tous les paramètres du notebook baseParameters spécifient une valeur non vide.

• Message : User: SimpleUserContext{userId=..., name=user@company.com, orgId=...} is not authorized to access cluster.

• Cause : l’utilisateur qui a généré le jeton d’accès n’est pas autorisé à accéder au cluster Databricks spécifié dans la connexion.

• Recommandation : Vérifiez que l’utilisateur dispose des autorisations nécessaires dans l’espace de travail.

• Message : Job is not fully initialized yet. Please retry later.

• Cause : le travail n’a pas été initialisé.

• Recommandation : patientez et réessayez plus tard.

Code d’erreur : 3203

• Message : The cluster is in Terminated state, not available to receive jobs. Please fix the cluster or retry later.

• Cause : Le cluster a été arrêté. Pour les clusters interactifs, il peut s’agir d’une condition de concurrence.

• Recommandation : Pour éviter cette erreur, utilisez des clusters de travail.

Code d’erreur : 3204

• Message : Job execution failed.

• Cause : Les messages d’erreur indiquent différents problèmes, tels qu’un état de cluster inattendu ou une activité inattendue. Souvent, aucun message d'erreur ne s'affiche.

• Recommandation : N/A

Code d’erreur : 3208

• Message : An error occurred while sending the request.

• Cause : La connexion réseau au service Databricks a été interrompue.

• Recommandation : si vous utilisez un runtime auto-hébergé Data Factory, assurez-vous que la connexion réseau est fiable à partir des nœuds du runtime Data Factory. Si vous utilisez le runtime Azure Data Factory, une nouvelle tentative fonctionne généralement.

La sortie de l’exécution booléenne commence par une chaîne au lieu d’une valeur int attendue

• Symptômes : la sortie de votre exécution booléenne commence par une chaîne (par exemple, "0" ou "1") au lieu d’une valeur int attendue (par exemple, 0 ou 1).

  

  Vous avez remarqué cette modification le 28 septembre 2021 vers 9 heures IST, lorsque votre pipeline reposant sur cette sortie a commencé à échouer. Aucune modification n’a été apportée au pipeline et les données de sortie booléennes sont arrivées comme prévu avant la panne.

  

• Cause : ce problème est dû à une modification récente, qui est par conception. Après la modification, si le résultat est un nombre qui commence par zéro, Data Factory convertit le nombre en valeur octale, ce qui constitue un bogue. Ce nombre est toujours 0 ou 1, ce qui n’avait jamais entraîné de problèmes avant la modification. Par conséquent, pour corriger la conversion octale, la sortie de chaîne est transmise à partir du bloc-notes.

• Recommandation : remplacez la condition if par une valeur telle que if(value=="0").

Fonctions

Code d’erreur : 3602

• Message : Invalid HttpMethod: '%method;'.

• Cause : La HttpMethod spécifiée dans la charge utile d’activité n’est pas prise en charge par l’activité de fonction Azure.

• Recommandation : Les Httpmethods prises en charge sont les suivantes : PUT, POST, GET, DELETE, OPTIONS, HEAD et TRACE.

Code d’erreur : 3603

• Message : Response Content is not a valid JObject.

• Cause : La fonction Azure qui a été appelée n’a pas retourné de charge utile JSON dans sa réponse. L’activité de fonction Azure des pipelines Data Factory et Synapse prend uniquement en charge le contenu de la réponse JSON.

• Recommandation : Mettez à jour la fonction Azure pour retourner une charge utile JSON valide car une fonction C# doit retourner (ActionResult)new OkObjectResult("{\"Id\":\"123\"}");

Code d’erreur : 3606

• Message : Clé de fonction manquante dans l’activité de fonction Azure.

• Cause : La définition de l’activité de fonction Azure n’est pas terminée.

• Recommandation : Vérifiez que la définition JSON de l’activité de fonction Azure dispose d'une propriété nommée functionKey.

Code d’erreur : 3607

• Message : Azure function activity missing function name.

• Cause : La définition de l’activité de fonction Azure n’est pas terminée.

• Recommandation : Vérifiez que la définition JSON de l’activité de fonction Azure dispose d'une propriété nommée functionName.

Code d’erreur : 3608

• Message : Call to provided Azure function '%FunctionName;' failed with status-'%statusCode;' and message - '%message;'.

• Cause : Les détails de la fonction Azure dans la définition de l’activité sont peut-être incorrects.

• Recommandation : Corrigez les détails de la fonction Azure, puis réessayez.

Code d’erreur : 3609

• Message : Azure function activity missing functionAppUrl.

• Cause : La définition de l’activité de fonction Azure n’est pas terminée.

• Recommandation : Vérifiez que la définition JSON de l’activité de fonction Azure dispose d'une propriété nommée functionAppUrl.

Code d’erreur : 3610

• Message : There was an error while calling endpoint.

• Cause : L’URL de la fonction est peut-être incorrecte.

• Recommandation : Vérifiez que la valeur de functionAppUrl dans le JSON de l’activité est correcte, puis réessayez.

Code d’erreur : 3611

• Message : Azure function activity missing Method in JSON.

• Cause : La définition de l’activité de fonction Azure n’est pas terminée.

• Recommandation : Vérifiez que la définition JSON de l’activité de fonction Azure dispose d'une propriété nommée method.

Code d’erreur : 3612

• Message : Azure function activity missing LinkedService definition in JSON.

• Cause : La définition de l’activité de fonction Azure n’est pas terminée.

• Recommandation : Vérifiez que la définition JSON de l’activité de fonction Azure d’entrée dispose de détails de connexion.

Azure Machine Learning

Code d’erreur : 4101

• Message : AzureMLExecutePipeline activity '%activityName;' has invalid value for property '%propertyName;'.

• Cause : Format incorrect ou définition manquante de la propriété %propertyName;.

• Recommandation : Vérifiez si l’activité %activityName; a la propriété %propertyName; définie avec les données qui conviennent.

Code d’erreur : 4110

• Message : AzureMLExecutePipeline activity missing LinkedService definition in JSON.

• Cause : La définition de l’activité AzureMLExecutePipeline n’est pas terminée.

• Recommandation : vérifiez si la définition JSON de l’activité AzureMLExecutePipeline dispose des détails corrects sur la connexion.

Code d’erreur : 4111

• Message : AzureMLExecutePipeline activity has wrong LinkedService type in JSON. Expected LinkedService type: '%expectedLinkedServiceType;', current LinkedService type: Expected LinkedService type: '%currentLinkedServiceType;'.

• Cause : Définition d'activité incorrecte.

• Recommandation : vérifiez si la définition JSON de l’activité AzureMLExecutePipeline dispose des détails corrects sur la connexion.

Code d’erreur : 4112

• Message : AzureMLService connection has invalid value for property '%propertyName;'.

• Cause : Format incorrect ou définition manquante de la propriété « %propertyName; ».

• Recommandation : vérifiez si la connexion a la propriété %propertyName; définie avec les données qui conviennent.

Code d’erreur : 4121

• Message : Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Cause : Les informations d’identification utilisées pour accéder à Azure Machine Learning ont expiré.

• Recommandation : Vérifiez que les informations d’identification sont valides et réessayez.

Code d’erreur : 4122

• Message : Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Cause : les informations d’identification fournies dans la connexion du service Azure Machine Learning ne sont pas valides ni autorisées pour l’opération.

• Recommandation : vérifiez que les informations d’identification de la connexion sont valides et autorisées pour accéder à Azure Machine Learning.

Code d’erreur : 4123

• Message : Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Cause : Les propriétés de l’activité, comme pipelineParameters, ne sont pas valides pour le pipeline Azure Machine Learning (ML).

• Recommandation : vérifiez que la valeur des propriétés de l’activité correspond à la charge utile attendue du pipeline Azure Machine Learning publié spécifié dans la connexion.

Code d’erreur : 4124

• Message : Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Cause : Le point de terminaison de pipeline Azure Machine Learning publié n’existe pas.

• Recommandation : vérifiez que le point de terminaison du pipeline Azure Machine Learning publié et spécifié dans la connexion existe dans Azure Machine Learning.

Code d’erreur : 4125

• Message : Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Cause : Il existe une erreur de serveur sur Azure Machine Learning.

• Recommandation : Réessayez ultérieurement. Pour obtenir de l’aide, contactez l’équipe Azure Machine Learning si le problème persiste.

Code d’erreur : 4126

• Message : Azure ML pipeline run failed with status: '%amlPipelineRunStatus;'. Azure ML pipeline run Id: '%amlPipelineRunId;'. Please check in Azure Machine Learning for more error logs.

• Cause : L’exécution du pipeline Azure Machine Learning a échoué.

• Recommandation : Pour obtenir des journaux d’erreurs supplémentaires et corriger le pipeline ML, consultez Azure Machine Learning.

Courant

Code d’erreur : 2103

• Message : Please provide value for the required property '%propertyName;'.

• Cause : La valeur requise pour la propriété n’a pas été fournie.

• Recommandation : Spécifiez la valeur demandée dans le message, puis réessayez.

Code d’erreur : 2104

• Message : The type of the property '%propertyName;' is incorrect.

• Cause : Le type de propriété fourni n’est pas correct.

• Recommandation : Corrigez le type de la propriété et réessayez.

Code d’erreur : 2105

• Message : An invalid json is provided for property '%propertyName;'. Encountered an error while trying to parse: '%message;'.

• Cause : La valeur de la propriété n’est pas valide ou n’est pas au format attendu.

• Recommandation : Reportez-vous à la documentation de la propriété et vérifiez que la valeur fournie comprend le format et le type corrects.

Code d’erreur : 2106

• Message : The storage connection string is invalid. %errorMessage;

• Cause : La chaîne de connexion pour le stockage n’est pas valide ou son format est incorrect.

• Recommandation : accédez au Portail Azure, recherchez votre stockage, copiez et collez la chaîne de connexion dans votre connexion, puis réessayez.

Code d’erreur : 2110

• Message : The connection type '%linkedServiceType;' is not supported for '%executorType;' activities.

• Cause : la connexion spécifiée dans l’activité est incorrect.

• Recommandation : assurez-vous que le type de connexion fait partie des types pris en charge pour l’activité.

Code d’erreur : 2111

• Message : The type of the property '%propertyName;' is incorrect. The expected type is %expectedType;.

• Cause : Le type de la propriété fournie est incorrect.

• Recommandation : Corrigez le type de la propriété et réessayez.

Code d’erreur : 2112

• Message : The cloud type is unsupported or could not be determined for storage from the EndpointSuffix '%endpointSuffix;'.

• Cause : Le type de cloud n’est pas pris en charge ou n’a pas pu être déterminé pour le stockage à partir du EndpointSuffix.

• Recommandation : Utilisez un stockage dans un autre cloud et réessayez.

Azure Batch

Le tableau suivant s’applique à Azure Batch.

Code d’erreur : 2 500

• Message : Hit unexpected exception and execution failed.

• Cause : Can't launch command, or the program returned an error code.

• Recommandation : Vérifiez que le fichier exécutable existe. Si le programme a démarré, vérifiez que les fichiers stdout.txt et stderr.txt ont été chargés dans le compte de stockage. Il est conseillé d’inclure des journaux dans votre code à des fins de débogage.

Code d’erreur : 2501

• Message : Cannot access user batch account; please check batch account settings.

• Cause : Le nom de pool ou la clé d’accès Batch fournis ne sont pas corrects.

• Recommandation :vérifiez le nom du pool et la clé d’accès Batch dans la connexion.

Code d’erreur : 2502

• Message : Cannot access user storage account; please check storage account settings.

• Cause : Le nom du compte de stockage ou la clé d’accès fournis ne sont pas corrects.

• Recommandation :vérifiez le nom du compte de stockage et la clé d’accès dans la connexion.

Code d’erreur : 2504

• Message : Operation returned an invalid status code 'BadRequest'.

• Cause : trop de fichiers dans le folderPath de l’activité Azure. La taille totale de resourceFiles ne peut pas être supérieure à 32 768 caractères.

• Recommandation : Supprimez les fichiers inutiles ou placez-les dans un fichier zip et ajouter une commande de décompression pour les extraire.

  Par exemple, utilisez powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Code d’erreur : 2505

• Message : Cannot create Shared Access Signature unless Account Key credentials are used.

• Cause : les activités Azure Batch prennent uniquement en charge les comptes de stockage qui utilisent une clé d’accès.

• Recommandation : Voir la description de l’erreur.

Code d’erreur : 2507

• Message : The folder path does not exist or is empty: ...

• Cause : Aucun fichier ne se trouve dans le compte de stockage situé au chemin spécifié.

• Recommandation : Le chemin du dossier doit contenir les fichiers exécutables que vous souhaitez exécuter.

Code d’erreur : 2508

• Message : There are duplicate files in the resource folder.

• Cause : Il existe plusieurs fichiers du même nom dans différents sous-dossiers de folderPath.

• Recommandation : les activités Azure Batch aplatissent la structure de dossiers sous folderPath. Si vous devez conserver la structure de dossiers, compressez les fichiers dans un fichier zip, puis extrayez-les dans Azure Batch à l’aide d’une commande de décompression.

  Par exemple, utilisez powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Code d’erreur : 2509

• Message : Batch url ... is invalid; it must be in Uri format.

• Cause : L’URL batch doit être semblable à https://mybatchaccount.eastus.batch.azure.com.

• Recommandation : Voir la description de l’erreur.

Code d’erreur : 2510

• Message : An error occurred while sending the request.

• Cause : L’URL Batch n’est pas valide.

• Recommandation : Vérifiez l’URL Batch.

Activité web

Code d’erreur : 2001

• Message : The length of execution output is over limit (around 4MB currently).

• Cause : La sortie d’exécution est supérieure à 4 Mo, alors que la taille maximale prise en charge du contenu de la réponse de sortie est de 4 Mo.

• Recommandation : Assurez-vous que la taille de la sortie d’exécution ne dépasse pas 4 Mo. Pour plus d’informations, consultez Comment effectuer un scale-out de la taille des déplacements de données avec Data Factory.

Code d’erreur : 2002

• Message : The payload including configurations on activity/data/connection is too large. Please check if you have settings with very large value and try to reduce its size.

• Cause : La charge utile que vous essayez d’envoyer est trop grande.

• Recommandation : Reportez-vous à La charge utile est trop grande.

Code d’erreur : 2003

• Message : There are substantial concurrent external activity executions which is causing failures due to throttling under subscription <subscription id>, region <region code> and limitation <current limit>. Please reduce the concurrent executions. For limits, refer https://aka.ms/adflimits.

• Cause : Un trop grand nombre d’activités s’exécutent simultanément. Cela peut se produire lorsque trop de pipelines sont déclenchés en même temps.

• Recommandation : Réduisez le nombre de pipelines qui s’exécutent en même temps. Vous devrez probablement répartir les heures de déclenchement de vos pipelines.

Code d’erreur : 2105

• Message : The value type '<provided data type>', in key '<key name>' is not expected type '<expected data type>'

• Cause : Les données générées dans l’expression de contenu dynamique ne correspondent pas à la clé et entraînent l’échec de l’analyse JSON.

• Recommandation : Examinez le champ de la clé et corrigez la définition de contenu dynamique.

Code d’erreur : 2108

• Message : Error calling the endpoint '<URL>'. Response status code: 'NA - Unknown'. More details: Exception message: 'NA - Unknown [ClientSideException] Invalid Url: <URL>. Please verify Url or Data Factory runtime is valid and retry. Localhost URLs are allowed only with SelfHosted Data Factory runtime'

• Cause : Impossible d’atteindre l’URL fournie. Cela peut se produire quand il y a un problème de connexion réseau, que l’URL n’est pas résolvable ou qu’une URL localhost est utilisée sur un runtime Azure Data Factory.

• Recommandation : Vérifiez que l’URL fournie est accessible.

• Message : Error calling the endpoint '%url;'. Response status code: '%code;'

• Cause : La requête a échoué en raison d’un problème sous-jacent, par exemple un problème de connectivité réseau, un échec de DNS, un problème de validation de certificat de serveur ou l’expiration d’un délai.

• Recommandation : utilisez Fiddler/Netmon/Wireshark pour valider la requête.

  Utilisation de Fiddler

  Pour utiliser Fiddler en vue de créer une session HTTP de l’application web supervisée :

  1. Téléchargez, installez puis ouvrez Fiddler.

  2. Si votre application web utilise le protocole HTTPS, accédez à Tools>Fiddler Options>HTTPS (Outils > Options Fiddler > HTTPS).

     1. Dans l’onglet HTTPS, sélectionnez Capturer les HTTPS CONNECT et Déchiffrer le trafic HTTPS.

        

  3. Si votre application utilise des certificats TLS/SSL, ajoutez le certificat Fiddler à votre appareil.

     Accédez à : Outils>Options Fiddler>HTTPS>Actions>Exporter le certificat racine vers le Bureau.

  4. Désactivez la capture en accédant à File>Capture Traffic (Fichier > Capturer le trafic). Vous pouvez aussi appuyer sur F12.

  5. Videz le cache de votre navigateur afin que tous les éléments présents soient supprimés et doivent être téléchargés à nouveau.

  6. Créez une requête :

  7. Sélectionnez l’onglet Composer (Éditeur).

     1. Définissez la méthode HTTP et l’URL.

     2. Si nécessaire, ajoutez des en-têtes et un corps de requête.

     3. Sélectionnez Exécuter.

  8. Réactivez la capture du trafic, puis terminez la transaction problématique dans votre page.

  9. Accédez à : Fichier>Enregistrer>Toutes les sessions.

  Pour plus d’informations, consultez Bien démarrer avec Fiddler.

Code d’erreur : 2113

• Message : ExtractAuthorizationCertificate: Unable to generate a certificate from a Base64 string/password combination

• Cause : Impossible de générer le certificat à partir de la combinaison chaîne Base64/mot de passe.

• Recommandation : Vérifiez que la combinaison certificat PFX encodé Base64/mot de passe que vous utilisez est correctement entrée.

Code d’erreur : 2403

• Message : Get access token from MSI failed for Datafactory <DF mname>, region <region code>. Please verify resource url is valid and retry.

• Cause : Impossible d’acquérir un jeton d’accès à partir de l’URL de ressource fournie.

• Recommandation : Vérifiez que vous avez fourni l’URL de ressource appropriée pour votre identité managée.

Général

Erreur NULL pour le jeton de continuation REST

Message d’erreur : {"token":null,"range":{"min":..}

Cause : Lors d’une requête sur plusieurs partitions/pages, le service principal renvoie un jeton de continuation au format JObject avec trois propriétés : jeton et plages de clés min. et max., par exemple, {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}. Selon la source des données, l’interrogation peut aboutir au résultat 0, soit l’indication d’un jeton manquant, alors qu’il y a plus de données à extraire.

Recommandation : Lorsque le continuationToken n’est pas nul, comme la chaîne {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}, il est nécessaire de rappeler l’API queryActivityRuns avec le token de continuation de la réponse précédente. Vous devez retransmettre la chaîne complète pour l’API de requête. Les activités sont renvoyées dans les pages suivantes pour le résultat de la requête. Vous devez ignorer l’existence d’un tableau vide dans cette page : tant que la valeur complète de continuationToken est != null, vous devez continuer la requête. Pour plus d’informations, consultez API REST pour la requête d’exécution de pipeline.

Problème d’activité bloquée

Si vous remarquez que l’exécution de l’activité dure plus longtemps que vos exécutions normales et qu’elle ne progresse pratiquement pas, elle peut être bloquée. Vous pouvez essayer de l’annuler et de faire une nouvelle tentative pour voir si cela est utile. S’il s’agit d’une activité de copie, vous pouvez en savoir plus sur l’analyse des performances et la résolution des problèmes en consultant la section Résoudre les problèmes de performances de l’activité de copie ; s’il s’agit d’un flux de données, consultez la section Performances des flux de données de mappage et le guide de réglage.

La charge utile est trop grande

Message d'erreur: The payload including configurations on activity/data/connection is too large. Please check if you have settings with very large value and try to reduce its size.

Cause : la charge utile pour chaque exécution d’activité comprend la configuration de l’activité, des données associées et du ou des connexions le cas échéant, ainsi qu’une petite partie des propriétés système générées par type d’activité. La limite de la taille d’une telle charge utile est de 896 Ko, tel que mentionné dans la documentation sur les limites Azure pour Data Factory et Azure Synapse Analytics.

Recommandation : Vous atteignez cette limite probablement parce que vous transmettez une ou plusieurs grandes valeurs de paramètres à partir de la sortie d’une activité en amont ou d’un élément externe, surtout si vous transmettez des données réelles entre les activités dans le flux de contrôle. Vérifiez si vous pouvez réduire la taille des valeurs de paramètres élevées. Sinon, paramétrez votre logique de pipeline de façon à gérer ces valeurs à l’intérieur de l’activité plutôt que de les transmettre entre les activités.

Une compression non prise en charge provoque la corruption des fichiers

Symptômes : vous essayez de décompresser un fichier qui est stocké dans un conteneur d’objets BLOB. Une activité de copie unique dans un pipeline a une source dont le type de compression est défini sur « deflate64 » (ou tout autre type non pris en charge). Cette activité s’exécute avec succès et produit le fichier texte contenu dans le fichier zip. Cependant, il y a un problème avec le texte du fichier, et ce fichier semble corrompu. Lorsque ce fichier est décompressé localement, il est sain.

Cause : votre fichier zip est compressé par l’algorithme de « deflate64 », tandis que la bibliothèque zip interne de Data Factory prend uniquement en charge « deflate ». Si le fichier zip est compressé par le système Windows et que la taille globale du fichier dépasse un certain nombre, Windows utilise « deflate64 » par défaut, ce qui n’est pas pris en charge dans Data Factory. En revanche, si la taille du fichier est inférieure ou si vous utilisez des outils de compression tiers qui permettent de spécifier l’algorithme de compression, Windows utilise « deflate » par défaut.

Conseil

En fait, les sections Format Binary (binaire) dans Data Factory et Synapse Analytics et Format de texte délimité dans Data Factory et Azure Synapse Analytics indiquent clairement que le format « deflate64 » n’est pas pris en charge dans Data Factory.

Exécuter le pipeline transmet le paramètre de tableau en tant que chaîne au pipeline enfant

Message d'erreur: Operation on target ForEach1 failed: The execution of template action 'MainForEach1' failed: the result of the evaluation of 'foreach' expression '@pipeline().parameters.<parameterName>' is of type 'String'. The result must be a valid array.

Cause : même si vous créez le paramètre de type tableau dans le pipeline d’exécution, comme illustré dans l’image ci-dessous, le pipeline échoue.

Cela est dû au fait que la charge utile est transmise du pipeline parent à l’enfant en tant que chaîne. Nous pouvons le constater en vérifiant l’entrée transmise au pipeline enfant.

Recommandation : pour résoudre ce problème, nous pouvons appliquer la fonction Créer un groupe, comme illustré dans l’image ci-dessous.

Notre pipeline réussit ensuite. Dans la zone d’entrée, nous constatons que le paramètre transmis est un tableau.

Contenu connexe

Si vous avez besoin d’une aide supplémentaire, essayez les ressources suivantes :

• Blog Data Factory
• Demandes de fonctionnalités Data Factory
• Forum Stack Overflow pour Data Factory
• Informations Twitter sur Data Factory
• Vidéos Azure
• Page de questions Microsoft Q&R