Partilhar via

Resolver problemas com pipelines do Azure Data Factory e do Synapse

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo explora métodos comuns de solução de problemas para atividades de controle externo no Azure Data Factory e nos pipelines Synapse.

Atividade de cópia e conector

Para problemas de conector, como um erro de encontro usando a atividade de cópia, consulte o artigo Solucionar problemas de conectores.

Azure Databricks

Código de erro: 3200

  • Mensagem: Erro 403.

  • Causa: The Databricks access token has expired.

  • Recomendação: Por padrão, o token de acesso do Azure Databricks é válido por 90 dias. Crie um novo token e atualize o serviço associado.

Código de erro: 3201

  • Mensagem: Missing required field: settings.task.notebook_task.notebook_path.

  • Causa: Bad authoring: Notebook path not specified correctly.

  • Recomendação: especifique o caminho do bloco de anotações na atividade Databricks.


  • Mensagem: Cluster... does not exist.

  • Causa: Authoring error: Databricks cluster does not exist or has been deleted.

  • Recomendação: Verifique se o cluster Databricks existe.


  • Mensagem: Invalid Python file URI... Please visit Databricks user guide for supported URI schemes.

  • Causa: Bad authoring.

  • Recomendação: especifique caminhos absolutos para esquemas de endereçamento de espaço de trabalho ou dbfs:/folder/subfolder/foo.py para arquivos armazenados no Sistema de Arquivos Databricks (DFS).


  • Mensagem: {0} LinkedService should have domain and accessToken as required properties.

  • Causa: Bad authoring.

  • Recomendação: Verifique a definição de serviço vinculado.


  • Mensagem: {0} LinkedService should specify either existing cluster ID or new cluster information for creation.

  • Causa: Bad authoring.

  • Recomendação: Verifique a definição de serviço vinculado.


  • Mensagem: Node type Standard_D16S_v3 is not supported. Supported node types: Standard_DS3_v2, Standard_DS4_v2, Standard_DS5_v2, Standard_D8s_v3, Standard_D16s_v3, Standard_D32s_v3, Standard_D64s_v3, Standard_D3_v2, Standard_D8_v3, Standard_D16_v3, Standard_D32_v3, Standard_D64_v3, Standard_D12_v2, Standard_D13_v2, Standard_D14_v2, Standard_D15_v2, Standard_DS12_v2, Standard_DS13_v2, Standard_DS14_v2, Standard_DS15_v2, Standard_E8s_v3, Standard_E16s_v3, Standard_E32s_v3, Standard_E64s_v3, Standard_L4s, Standard_L8s, Standard_L16s, Standard_L32s, Standard_F4s, Standard_F8s, Standard_F16s, Standard_H16, Standard_F4s_v2, Standard_F8s_v2, Standard_F16s_v2, Standard_F32s_v2, Standard_F64s_v2, Standard_F72s_v2, Standard_NC12, Standard_NC24, Standard_NC6s_v3, Standard_NC12s_v3, Standard_NC24s_v3, Standard_L8s_v2, Standard_L16s_v2, Standard_L32s_v2, Standard_L64s_v2, Standard_L80s_v2.

  • Causa: Bad authoring.

  • Recomendação: Consulte a mensagem de erro.


Código de erro: 3202

  • Mensagem: There were already 1000 jobs created in past 3600 seconds, exceeding rate limit: 1000 job creations per 3600 seconds.

  • Causa: Too many Databricks runs in an hour.

  • Recomendação: Verifique todos os pipelines que usam este espaço de trabalho Databricks para sua taxa de criação de trabalho. Se os pipelines iniciaram demasiadas execuções do Databricks em simultâneo, migre alguns pipelines para uma nova área de trabalho.


  • Mensagem: Could not parse request object: Expected 'key' and 'value' to be set for JSON map field base_parameters, got 'key: "..."' instead.

  • Causa: Authoring error: No value provided for the parameter.

  • Recomendação: Inspecione o JSON do pipeline e verifique se todos os parâmetros no bloco de anotações baseParameters especificam um valor não vazio.


  • Mensagem: User: 'SimpleUserContext{userId=..., name=user@company.com, orgId=...}' is not authorized to access cluster.

  • Causa: o usuário que gerou o token de acesso não tem permissão para acessar o cluster Databricks especificado no serviço vinculado.

  • Recomendação: Verifique se o usuário tem as permissões necessárias no espaço de trabalho.


  • Mensagem: Job is not fully initialized yet. Please retry later.

  • Causa: o trabalho não foi inicializado.

  • Recomendação: Aguarde e tente novamente mais tarde.

Código de erro: 3203

  • Mensagem: The cluster is in Terminated state, not available to receive jobs. Please fix the cluster or retry later.

  • Causa: O cluster foi encerrado. Para clusters interativos, este problema pode ser uma condição race.

  • Recomendação: Para evitar esse erro, use clusters de trabalho.

Código de erro: 3204

  • Mensagem: Job execution failed.

  • Causa: as mensagens de erro indicam vários problemas, como um estado de cluster inesperado ou uma atividade específica. Muitas vezes, não aparece nenhuma mensagem de erro.

  • Recomendação: N/A

Código de erro: 3208

  • Mensagem: An error occurred while sending the request.

  • Causa: A conexão de rede com o serviço Databricks foi interrompida.

  • Recomendação: Se você estiver usando um tempo de execução de integração auto-hospedado, certifique-se de que a conexão de rede seja confiável a partir dos nós de tempo de execução de integração. Se estiver a utilizar um runtime de integração do Azure, a repetição normalmente funcionará.

A saída de execução booleana começa a vir como string em vez de int esperado

  • Sintomas: Sua saída de execução booleana começa a vir como string (por exemplo, "0" ou "1") em vez de int esperado (por exemplo, 0 ou 1).

    Captura de tela do pipeline Databricks.

    Você notou essa mudança em 28 de setembro de 2021 por volta das 9h IST, quando seu pipeline que dependia dessa saída começou a falhar. Nenhuma alteração foi feita no pipeline, e os dados de saída booleanos chegaram como esperado antes da falha.

    Captura de tela da diferença na saída.

  • Causa: esse problema é causado por uma alteração recente, que é por design. Após a alteração, se o resultado for um número que começa com zero, o Azure Data Factory converterá o número para o valor octal, o que é um bug. Este número é sempre 0 ou 1, o que nunca causou problemas antes da alteração. Assim, para corrigir a conversão octal, a saída da cadeia de caracteres é passada da execução do Notebook como está.

  • Recomendação: altere a condição if para algo como if(value=="0").

Azure Data Lake Analytics

A tabela a seguir se aplica ao U-SQL.

Código de erro: 2709

  • Mensagem: The access token is from the wrong tenant.

  • Causa: locatário incorreto do Microsoft Entra.

  • Recomendação: Incorreto locatário do Microsoft Entra.


  • Mensagem: We cannot accept your job at this moment. The maximum number of queued jobs for your account is 200.

  • Causa: este erro é causado pela limitação no Data Lake Analytics.

  • Recomendação: reduza o número de trabalhos enviados para o Data Lake Analytics. Altere gatilhos e configurações de simultaneidade em atividades ou aumente os limites da Análise Data Lake.


  • Mensagem: This job was rejected because it requires 24 AUs. This account's administrator-defined policy prevents a job from using more than 5 AUs.

  • Causa: este erro é causado pela limitação no Data Lake Analytics.

  • Recomendação: reduza o número de trabalhos enviados para o Data Lake Analytics. Altere gatilhos e configurações de simultaneidade em atividades ou aumente os limites da Análise Data Lake.

Código de erro: 2705

  • Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

  • Causa: a entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

  • Recomendação: verifique se a entidade de serviço ou o certificado que o usuário fornece para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância padrão do Data Lake Storage da pasta raiz.

Código de erro: 2711

  • Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

  • Causa: a entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

  • Recomendação: verifique se a entidade de serviço ou o certificado que o usuário fornece para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância padrão do Data Lake Storage da pasta raiz.


  • Mensagem: Cannot find the 'Azure Data Lake Store' file or folder.

  • Causa: O caminho para o arquivo U-SQL está errado ou as credenciais de serviço vinculado não têm acesso.

  • Recomendação: Verifique o caminho e as credenciais fornecidas no serviço vinculado.

Código de erro: 2704

  • Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

  • Causa: a entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

  • Recomendação: verifique se a entidade de serviço ou o certificado que o usuário fornece para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância padrão do Data Lake Storage da pasta raiz.

Código de erro: 2707

  • Mensagem: Cannot resolve the account of AzureDataLakeAnalytics. Please check 'AccountName' and 'DataLakeAnalyticsUri'.

  • Causa: a conta do Data Lake Analytics no serviço vinculado está errada.

  • Recomendação: Verifique se a conta correta é fornecida.

Código de erro: 2703

  • Mensagem: Error Id: E_CQO_SYSTEM_INTERNAL_ERROR (or any error that starts with "Error Id:").

  • Causa: o erro é do Data Lake Analytics.

  • Recomendação: O trabalho foi enviado para o Data Lake Analytics e o script lá falhou. Investigue no Data Lake Analytics. No portal, vá para a conta do Data Lake Analytics e procure o trabalho usando o ID de execução da atividade do Data Factory (não use o ID de execução do pipeline). O trabalho fornece mais informações sobre o erro e irá ajudá-lo a solucionar problemas.

    Se a resolução não estiver clara, entre em contato com a equipe de suporte do Data Lake Analytics e forneça o URL (Universal Resource Locator) do trabalho, que inclui o nome da sua conta e o ID do trabalho.

Funções do Azure

Código de erro: 3602

  • Mensagem: Invalid HttpMethod: '%method;'.

  • Causa: O método Http especificado na carga útil da atividade não é suportado pela Atividade da Função do Azure.

  • Recomendação: Os métodos Http suportados são: PUT, POST, GET, DELETE, OPTIONS, HEAD e TRACE.

Código de erro: 3603

  • Mensagem: Response Content is not a valid JObject.

  • Causa: A função do Azure que foi chamada não retornou uma Carga JSON na resposta. Azure Data Factory e pipeline Synapse A atividade da função do Azure suporta apenas conteúdo de resposta JSON.

  • Recomendação: Atualizar a função do Azure para retornar uma carga JSON válida, como uma função C#, pode retornar (ActionResult)new OkObjectResult("{\"Id\":\"123\"}");

Código de erro: 3606

  • Mensagem: Atividade da função do Azure ausente chave de função.

  • Causa: a definição de atividade da função do Azure não está completa.

  • Recomendação: Verifique se a definição JSON da atividade da função Azure de entrada tem uma propriedade chamada functionKey.

Código de erro: 3607

  • Mensagem: Azure function activity missing function name.

  • Causa: a definição de atividade da função do Azure não está completa.

  • Recomendação: Verifique se a definição JSON da atividade da função Azure de entrada tem uma propriedade chamada functionName.

Código de erro: 3608

  • Mensagem: Call to provided Azure function '%FunctionName;' failed with status-'%statusCode;' and message - '%message;'.

  • Causa: os detalhes da função do Azure na definição de atividade podem estar incorretos.

  • Recomendação: corrija os detalhes da função do Azure e tente novamente.

Código de erro: 3609

  • Mensagem: Azure function activity missing functionAppUrl.

  • Causa: a definição de atividade da função do Azure não está completa.

  • Recomendação: Verifique se a definição JSON da atividade da Função do Azure de entrada tem uma propriedade chamada functionAppUrl.

Código de erro: 3610

  • Mensagem: There was an error while calling endpoint.

  • Causa: O URL da função pode estar incorreto.

  • Recomendação: Verifique se o valor para functionAppUrl na atividade JSON está correto e tente novamente.

Código de erro: 3611

  • Mensagem: Azure function activity missing Method in JSON.

  • Causa: a definição de atividade da função do Azure não está completa.

  • Recomendação: Verifique se a definição JSON da atividade da função Azure de entrada tem uma propriedade chamada method.

Código de erro: 3612

  • Mensagem: Azure function activity missing LinkedService definition in JSON.

  • Causa: a definição de atividade da função do Azure não está completa.

  • Recomendação: Verifique se a definição JSON da atividade da função do Azure de entrada tem detalhes do serviço vinculado.

Azure Machine Learning

Código de erro: 4101

  • Mensagem: AzureMLExecutePipeline activity '%activityName;' has invalid value for property '%propertyName;'.

  • Causa: formato incorreto ou falta de definição de propriedade %propertyName;.

  • Recomendação: Verifique se a atividade %activityName; tem o imóvel %propertyName; definido com dados corretos.

Código de erro: 4110

  • Mensagem: AzureMLExecutePipeline activity missing LinkedService definition in JSON.

  • Causa: A definição de atividade AzureMLExecutePipeline não está completa.

  • Recomendação: Verifique se a definição JSON da atividade AzureMLExecutePipeline de entrada vinculou corretamente os detalhes do serviço.

Código de erro: 4111

  • Mensagem: AzureMLExecutePipeline activity has wrong LinkedService type in JSON. Expected LinkedService type: '%expectedLinkedServiceType;', current LinkedService type: Expected LinkedService type: '%currentLinkedServiceType;'.

  • Causa: definição incorreta da atividade.

  • Recomendação: Verifique se a definição JSON da atividade AzureMLExecutePipeline de entrada vinculou corretamente os detalhes do serviço.

Código de erro: 4112

  • Mensagem: AzureMLService linked service has invalid value for property '%propertyName;'.

  • Causa: formato incorreto ou definição ausente da propriedade '%propertyName;'.

  • Recomendação: Verifique se o serviço vinculado tem a propriedade %propertyName; definida com os dados corretos.

Código de erro: 4121

  • Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

  • Causa: A Credencial usada para acessar o Aprendizado de Máquina do Azure expirou.

  • Recomendação: verifique se a credencial é válida e tente novamente.

Código de erro: 4122

  • Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

  • Causa: a credencial fornecida no Serviço Vinculado do Azure Machine Learning é inválida ou não tem permissão para a operação.

  • Recomendação: verifique se a credencial no Serviço Vinculado é válida e tem permissão para acessar o Aprendizado de Máquina do Azure.

Código de erro: 4123

  • Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

  • Causa: as propriedades da atividade, como pipelineParameters são inválidas para o pipeline do Azure Machine Learning (ML).

  • Recomendação: Verifique se o valor das propriedades de atividade corresponde à carga esperada do pipeline do Azure Machine Learning publicado especificado no Serviço Vinculado.

Código de erro: 4124

  • Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

  • Causa: o ponto de extremidade de pipeline do Azure Machine Learning publicado não existe.

  • Recomendação: verifique se o ponto de extremidade de pipeline do Azure Machine Learning publicado especificado no Serviço Vinculado existe no Azure Machine Learning.

Código de erro: 4125

  • Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

  • Causa: há um erro de servidor no Azure Machine Learning.

  • Recomendação: Tente novamente mais tarde. Entre em contato com a equipe do Azure Machine Learning para obter ajuda se o problema persistir.

Código de erro: 4126

  • Mensagem: Azure ML pipeline run failed with status: '%amlPipelineRunStatus;'. Azure ML pipeline run Id: '%amlPipelineRunId;'. Please check in Azure Machine Learning for more error logs.

  • Causa: Falha na execução do pipeline do Azure Machine Learning.

  • Recomendação: Verifique o Azure Machine Learning para obter mais logs de erros e, em seguida, corrija o pipeline de ML.

Azure Synapse Analytics

Código de erro: 3250

  • Mensagem: There are not enough resources available in the workspace, details: '%errorMessage;'

  • Causa: recursos insuficientes

  • Recomendação: Tente encerrar o(s) trabalho(s) em execução no espaço de trabalho, reduzir o número de vCores solicitados, aumentar a cota do espaço de trabalho ou usar outro espaço de trabalho.

Código de erro: 3251

  • Mensagem: There are not enough resources available in the pool, details: '%errorMessage;'

  • Causa: recursos insuficientes

  • Recomendação: Tente encerrar o(s) trabalho(s) em execução no pool, reduzir o número de vCores solicitados, aumentar o tamanho máximo do pool ou usar outro pool.

Código de erro: 3252

  • Mensagem: There are not enough vcores available for your spark job, details: '%errorMessage;'

  • Causa: núcleos virtuais insuficientes

  • Recomendação: Tente reduzir o número de vCores solicitados ou aumentar sua cota de vCore. Para obter mais informações, consulte Conceitos principais do Apache Spark.

Código de erro: 3253

  • Mensagem: There are substantial concurrent MappingDataflow executions which is causing failures due to throttling under the Integration Runtime used for ActivityId: '%activityId;'.

  • Causa: o limiar de limitação foi atingido.

  • Recomendação: Repita o pedido após um período de espera.

Código de erro: 3254

  • Mensagem: AzureSynapseArtifacts linked service has invalid value for property '%propertyName;'.

  • Causa: formato incorreto ou definição ausente da propriedade '%propertyName;'.

  • Recomendação: Verifique se o serviço vinculado tem a propriedade '%propertyName;' definida com dados corretos.

Comum

Código de erro: 2103

  • Mensagem: Please provide value for the required property '%propertyName;'.

  • Causa: O valor necessário para a propriedade não foi fornecido.

  • Recomendação: Forneça o valor da mensagem e tente novamente.

Código de erro: 2104

  • Mensagem: The type of the property '%propertyName;' is incorrect.

  • Causa: o tipo de propriedade fornecido não está correto.

  • Recomendação: Corrija o tipo de propriedade e tente novamente.

Código de erro: 2105

  • Mensagem: An invalid json is provided for property '%propertyName;'. Encountered an error while trying to parse: '%message;'.

  • Causa: o valor da propriedade é inválido ou não está no formato esperado.

  • Recomendação: Consulte a documentação da propriedade e verifique se o valor fornecido inclui o formato e o tipo corretos.

Código de erro: 2106

  • Mensagem: The storage connection string is invalid. %errorMessage;

  • Causa: A cadeia de conexão para o armazenamento é inválida ou tem formato incorreto.

  • Recomendação: Vá para o portal do Azure e encontre seu armazenamento, copie e cole a cadeia de conexão em seu serviço vinculado e tente novamente.

Código de erro: 2110

  • Mensagem: The linked service type '%linkedServiceType;' is not supported for '%executorType;' activities.

  • Causa: O serviço vinculado especificado na atividade está incorreto.

  • Recomendação: verifique se o tipo de serviço vinculado é um dos tipos suportados para a atividade. Por exemplo, o tipo de serviço vinculado para atividades de HDI pode ser HDInsight ou HDInsightOnDemand.

Código de erro: 2111

  • Mensagem: The type of the property '%propertyName;' is incorrect. The expected type is %expectedType;.

  • Causa: o tipo da propriedade fornecida não está correto.

  • Recomendação: Corrija o tipo de propriedade e tente novamente.

Código de erro: 2112

  • Mensagem: The cloud type is unsupported or could not be determined for storage from the EndpointSuffix '%endpointSuffix;'.

  • Causa: O tipo de nuvem não é suportado ou não pôde ser determinado para armazenamento a partir do EndpointSuffix.

  • Recomendação: use o armazenamento em outra nuvem e tente novamente.

Personalizado

A tabela a seguir se aplica ao Lote do Azure.

Código de erro: 2500

  • Mensagem: Hit unexpected exception and execution failed.

  • Causa: Can't launch command, or the program returned an error code.

  • Recomendação: Verifique se o arquivo executável existe. Se o programa foi iniciado, verifique se stdout.txt e stderr.txt foram carregados para a conta de armazenamento. É uma boa prática incluir logs em seu código para depuração.

Código de erro: 2501

  • Mensagem: Cannot access user batch account; please check batch account settings.

  • Causa: Chave de acesso em lote incorreta ou nome do pool.

  • Recomendação: verifique o nome do pool e a chave de acesso do lote no serviço vinculado.

Código de erro: 2502

  • Mensagem: Cannot access user storage account; please check storage account settings.

  • Causa: nome de conta de armazenamento ou chave de acesso incorretos.

  • Recomendação: verifique o nome da conta de armazenamento e a chave de acesso no serviço vinculado.

Código de erro: 2504

  • Mensagem: Operation returned an invalid status code 'BadRequest'.

  • Causa: muitos arquivos na folderPath atividade personalizada. O tamanho total do não pode ser superior a resourceFiles 32.768 caracteres.

  • Recomendação: Remova arquivos desnecessários ou compacte-os e adicione um comando unzip para extraí-los.

    Por exemplo, use powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Código de erro: 2505

  • Mensagem: Cannot create Shared Access Signature unless Account Key credentials are used.

  • Causa: as atividades personalizadas suportam apenas contas de armazenamento que usam uma chave de acesso.

  • Recomendação: Consulte a descrição do erro.

Código de erro: 2507

  • Mensagem: The folder path does not exist or is empty: ...

  • Causa: Nenhum arquivo está na conta de armazenamento no caminho especificado.

  • Recomendação: O caminho da pasta deve conter os arquivos executáveis que você deseja executar.

Código de erro: 2508

  • Mensagem: There are duplicate files in the resource folder.

  • Causa: vários arquivos com o mesmo nome estão em subpastas diferentes de folderPath.

  • Recomendação: As atividades personalizadas nivelam a estrutura de pastas em folderPath. Se você precisar preservar a estrutura de pastas, compacte os arquivos e extraia-os no Lote do Azure usando um comando unzip.

    Por exemplo, use powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Código de erro: 2509

  • Mensagem: Batch url ... is invalid; it must be in Uri format.

  • Causa: os URLs de lote devem ser semelhantes a https://mybatchaccount.eastus.batch.azure.com

  • Recomendação: Consulte a descrição do erro.

Código de erro: 2510

  • Mensagem: An error occurred while sending the request.

  • Causa: o URL do lote é inválido.

  • Recomendação: Verifique o URL do lote.

HDInsight

Código de erro: 206

  • Mensagem: The batch ID for Spark job is invalid. Please retry your job.

  • Causa: houve um problema interno com o serviço que causou esse erro.

  • Recomendação: Esta questão pode ser transitória. Tente novamente o seu trabalho depois de algum tempo.

Código de erro: 207

  • Mensagem: Could not determine the region from the provided storage account. Please try using another primary storage account for the on demand HDI.

  • Causa: houve um erro interno ao tentar determinar a região a partir da conta de armazenamento principal.

  • Recomendação: tente outro armazenamento.

Código de erro: 208

  • Mensagem: Service Principal or the MSI authenticator are not instantiated. Please consider providing a Service Principal in the HDI on demand linked service which has permissions to create an HDInsight cluster in the provided subscription and try again.

  • Causa: houve um erro interno ao tentar ler a entidade de serviço ou instanciar a autenticação MSI.

  • Recomendação: considere fornecer uma entidade de serviço, que tenha permissões para criar um cluster HDInsight na assinatura fornecida e tente novamente. Verifique se os Gerenciar identidades estão configurados corretamente.

Código de erro: 2300

  • Mensagem: Failed to submit the job '%jobId;' to the cluster '%cluster;'. Error: %errorMessage;.

  • Causa: A mensagem de erro contém uma mensagem semelhante a The remote name could not be resolved.. O URI de cluster fornecido pode ser inválido.

  • Recomendação: verifique se o cluster não foi excluído e se o URI fornecido está correto. Ao abrir o URI em um navegador, você verá a interface do usuário do Ambari. Se o cluster estiver em uma rede virtual, o URI deverá ser o URI privado. Para abri-lo, use uma máquina virtual (VM) que faça parte da mesma rede virtual.

    Para obter mais informações, consulte Conectar-se diretamente aos serviços do Apache Hadoop.


  • Causa: Se a mensagem de erro contiver uma mensagem semelhante a A task was canceled., o tempo limite de envio do trabalho expirou.

  • Recomendação: O problema pode ser a conectividade geral do HDInsight ou a conectividade de rede. Primeiro, confirme se a interface do usuário do HDInsight Ambari está disponível em qualquer navegador. Em seguida, verifique se suas credenciais ainda são válidas.

    Se você estiver usando um tempo de execução integrado (IR) auto-hospedado, execute esta etapa a partir da VM ou máquina onde o IR auto-hospedado está instalado. Em seguida, tente enviar o trabalho novamente.

    Para obter mais informações, leia Ambari Web UI.


  • Causa: quando a mensagem de erro contém uma mensagem semelhante a User admin is locked out in Ambari ou Unauthorized: Ambari user name or password is incorrect, as credenciais do HDInsight estão incorretas ou expiraram.

  • Recomendação: corrija as credenciais e reimplante o serviço vinculado. Primeiro, verifique se as credenciais funcionam no HDInsight abrindo o URI do cluster em qualquer navegador e tentando entrar. Se as credenciais não funcionarem, você poderá redefini-las no portal do Azure.

    Para cluster ESP, redefina a senha por meio da redefinição de senha de autoatendimento.


  • Causa: quando a mensagem de erro contém uma mensagem semelhante a 502 - Web server received an invalid response while acting as a gateway or proxy server, esse erro é retornado pelo serviço HDInsight.

  • Recomendação: Um erro 502 geralmente ocorre quando o processo do Ambari Server foi encerrado. Você pode reiniciar os Serviços Ambari reiniciando o nó principal.

    1. Conecte-se a um dos seus nós no HDInsight usando SSH.

    2. Identifique seu host de nó principal ativo executando ping headnodehosto .

    3. Conecte-se ao nó principal ativo enquanto o Ambari Server fica no nó principal ativo usando SSH.

    4. Reinicialize o nó principal ativo.

      Para obter mais informações, consulte a documentação de solução de problemas do Azure HDInsight. Por exemplo:


  • Causa: quando a mensagem de erro contém uma mensagem semelhante a Unable to service the submit job request as templeton service is busy with too many submit job requests ou Queue root.joblauncher already has 500 applications, cannot accept submission of application, muitos trabalhos estão sendo enviados para o HDInsight ao mesmo tempo.

  • Recomendação: limite o número de trabalhos simultâneos enviados ao HDInsight. Consulte a simultaneidade da atividade se os trabalhos estiverem sendo enviados pela mesma atividade. Altere os gatilhos para que as execuções simultâneas do pipeline sejam espalhadas ao longo do tempo.

    Consulte a documentação do HDInsight para ajustar templeton.parallellism.job.submit conforme o erro sugere.

Código de erro: 2301

  • Mensagem: Could not get the status of the application '%physicalJobId;' from the HDInsight service. Received the following error: %message;. Please refer to HDInsight troubleshooting documentation or contact their support for further assistance.

  • Causa: o cluster ou serviço HDInsight tem problemas.

  • Recomendação: Este erro ocorre quando o serviço não recebe uma resposta do cluster HDInsight ao tentar solicitar o status do trabalho em execução. Esse problema pode estar no próprio cluster ou o serviço HDInsight pode ter uma interrupção.

    Consulte a documentação de solução de problemas do HDInsight ou entre em contato com o suporte da Microsoft para obter mais assistência.

Código de erro: 2302

  • Mensagem: Hadoop job failed with exit code '%exitCode;'. See '%logPath;/stderr' for more details. Alternatively, open the Ambari UI on the HDI cluster and find the logs for the job '%jobId;'. Contact HDInsight team for further support.

  • Causa: o trabalho foi enviado para o cluster HDI e falhou lá.

  • Recomendação:

  1. Confira Ambari UI:
    1. Certifique-se de que todos os serviços ainda estão em execução.
    2. Na interface do usuário do Ambari, verifique a seção de alertas no seu painel.
      1. Para obter mais informações sobre alertas e resoluções para alertas, consulte Gerenciando e monitorando um cluster.
    3. Reveja a sua memória YARN. Se a sua memória YARN estiver alta, o processamento dos seus trabalhos pode estar atrasado. Se não tiver recursos suficientes para acomodar a aplicação/tarefa Apache Spark, aumente verticalmente o cluster para garantir que este tem memória e núcleos suficientes.
  2. Execute um trabalho de teste de exemplo.
    1. Se você executar o mesmo trabalho no back-end do HDInsight, verifique se ele foi bem-sucedido. Para obter exemplos de execuções de exemplo, consulte Executar os exemplos do MapReduce incluídos no HDInsight
  3. Se o trabalho ainda falhou no HDInsight, verifique os logs e as informações do aplicativo, que devem ser fornecidas ao Suporte:
    1. Verifique se o trabalho foi submetido ao YARN. Se o trabalho não foi submetido ao fio, use --master yarn.
    2. Se o aplicativo tiver terminado a execução, colete a hora de início e a hora de término do aplicativo YARN. Se o aplicativo não concluiu a execução, colete Hora de início/Hora de inicialização.
    3. Verifique e colete o log do aplicativo com yarn logs -applicationId <Insert_Your_Application_ID>o .
    4. Verifique e colete os logs do Resource Manager no /var/log/hadoop-yarn/yarn diretório.
    5. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight para obter suporte e fornecer os logs e carimbos de data/hora acima.

Código de erro: 2303

  • Mensagem: Hadoop job failed with transient exit code '%exitCode;'. See '%logPath;/stderr' for more details. Alternatively, open the Ambari UI on the HDI cluster and find the logs for the job '%jobId;'. Try again or contact HDInsight team for further support.

  • Causa: o trabalho foi enviado para o cluster HDI e falhou lá.

  • Recomendação:

  1. Confira Ambari UI:
    1. Certifique-se de que todos os serviços ainda estão em execução.
    2. Na interface do usuário do Ambari, verifique a seção de alertas no seu painel.
      1. Para obter mais informações sobre alertas e resoluções para alertas, consulte Gerenciando e monitorando um cluster.
    3. Reveja a sua memória YARN. Se a sua memória YARN estiver alta, o processamento dos seus trabalhos pode estar atrasado. Se não tiver recursos suficientes para acomodar a aplicação/tarefa Apache Spark, aumente verticalmente o cluster para garantir que este tem memória e núcleos suficientes.
  2. Execute um trabalho de teste de exemplo.
    1. Se você executar o mesmo trabalho no back-end do HDInsight, verifique se ele foi bem-sucedido. Para obter exemplos de execuções de exemplo, consulte Executar os exemplos do MapReduce incluídos no HDInsight
  3. Se o trabalho ainda falhou no HDInsight, verifique os logs e as informações do aplicativo, que devem ser fornecidas ao Suporte:
    1. Verifique se o trabalho foi submetido ao YARN. Se o trabalho não foi submetido ao fio, use --master yarn.
    2. Se o aplicativo tiver terminado a execução, colete a hora de início e a hora de término do aplicativo YARN. Se o aplicativo não concluiu a execução, colete Hora de início/Hora de inicialização.
    3. Verifique e colete o log do aplicativo com yarn logs -applicationId <Insert_Your_Application_ID>o .
    4. Verifique e colete os logs do Resource Manager no /var/log/hadoop-yarn/yarn diretório.
    5. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight para obter suporte e fornecer os logs e carimbos de data/hora acima.

Código de erro: 2304

  • Mensagem: MSI authentication is not supported on storages for HDI activities.

  • Causa: os serviços vinculados de armazenamento usados no serviço vinculado HDInsight (HDI) ou na atividade do HDI são configurados com uma autenticação MSI que não é suportada.

  • Recomendação: Forneça cadeias de conexão completas para contas de armazenamento usadas no serviço vinculado HDI ou na atividade HDI.

Código de erro: 2305

  • Mensagem: Failed to initialize the HDInsight client for the cluster '%cluster;'. Error: '%message;'

  • Causa: as informações de conexão para o cluster HDI estão incorretas, o usuário fornecido não tem permissões para executar a ação necessária ou o serviço HDInsight tem problemas para responder a solicitações do serviço.

  • Recomendação: verifique se as informações do usuário estão corretas e se a interface do usuário do Ambari para o cluster HDI pode ser aberta em um navegador da VM onde o IR está instalado (para um IR auto-hospedado) ou pode ser aberta de qualquer máquina (para o Azure IR).

Código de erro: 2306

  • Mensagem: An invalid json is provided for script action '%scriptActionName;'. Error: '%message;'

  • Causa: O JSON fornecido para a ação de script é inválido.

  • Recomendação: A mensagem de erro deve ajudar a identificar o problema. Corrija a configuração json e tente novamente.

    Verifique o serviço vinculado do Azure HDInsight sob demanda para obter mais informações.

Código de erro: 2310

  • Mensagem: Failed to submit Spark job. Error: '%message;'

  • Causa: o serviço tentou criar um lote em um cluster do Spark usando a API do Livy (livy/batch), mas recebeu um erro.

  • Recomendação: Siga a mensagem de erro para corrigir o problema. Se não houver informações suficientes para resolvê-lo, entre em contato com a equipe da HDI e forneça-lhes o ID do lote e o ID do trabalho, que podem ser encontrados na saída da execução da atividade na página de monitoramento do serviço. Para solucionar problemas adicionais, colete o log completo do trabalho em lote.

    Para obter mais informações sobre como coletar o log completo, consulte Obter o log completo de um trabalho em lote.

Código de erro: 2312

  • Mensagem: Spark job failed, batch id:%batchId;. Please follow the links in the activity run Output from the service Monitoring page to troubleshoot the run on HDInsight Spark cluster. Please contact HDInsight support team for further assistance.

  • Causa: o trabalho falhou no cluster HDInsight Spark.

  • Recomendação: Siga os links na atividade executar Saída na página de monitoramento do serviço para solucionar problemas de execução no cluster HDInsight Spark. Entre em contato com a equipe de suporte do HDInsight para obter mais assistência.

    Para obter mais informações sobre como coletar o log completo, consulte Obter o log completo de um trabalho em lote.

Código de erro: 2313

  • Mensagem: The batch with ID '%batchId;' was not found on Spark cluster. Open the Spark History UI and try to find it there. Contact HDInsight support for further assistance.

  • Causa: o lote foi excluído no cluster HDInsight Spark.

  • Recomendação: solucione problemas de lotes no cluster HDInsight Spark. Entre em contato com o suporte do HDInsight para obter mais assistência.

    Para obter mais informações sobre como coletar o log completo, consulte Obter o log completo de um trabalho em lote e compartilhar o log completo com o suporte do HDInsight para obter mais assistência.

Código de erro: 2328

  • Mensagem: Failed to create the on demand HDI cluster. Cluster or linked service name: '%clusterName;', error: '%message;'

  • Causa: A mensagem de erro deve mostrar os detalhes do que deu errado.

  • Recomendação: A mensagem de erro deve ajudar a solucionar o problema.

Código de erro: 2329

  • Mensagem: Failed to delete the on demand HDI cluster. Cluster or linked service name: '%clusterName;', error: '%message;'

  • Causa: A mensagem de erro deve mostrar os detalhes do que deu errado.

  • Recomendação: A mensagem de erro deve ajudar a solucionar o problema.

Código de erro: 2331

  • Mensagem: The file path should not be null or empty.

  • Causa: O caminho do arquivo fornecido está vazio.

  • Recomendação: Forneça um caminho para um arquivo existente.

Código de erro: 2340

  • Mensagem: HDInsightOnDemand linked service does not support execution via SelfHosted IR. Your IR name is '%IRName;'. Please select an Azure IR instead.

  • Causa: O serviço vinculado HDInsightOnDemand não oferece suporte à execução via IR SelfHosted.

  • Recomendação: Selecione um IR do Azure e tente novamente.

Código de erro: 2341

  • Mensagem: HDInsight cluster URL '%clusterUrl;' is incorrect, it must be in URI format and the scheme must be 'https'.

  • Causa: o URL fornecido não está no formato correto.

  • Recomendação: corrija o URL do cluster e tente novamente.

Código de erro: 2342

  • Mensagem: Failed to connect to HDInsight cluster: '%errorMessage;'.

  • Causa: as credenciais fornecidas estão erradas para o cluster, ou houve um problema de configuração de rede ou conexão, ou o IR está tendo problemas para se conectar ao cluster.

  • Recomendação:

    1. Verifique se as credenciais estão corretas abrindo a interface do usuário Ambari do cluster HDInsight em um navegador.

    2. Se o cluster estiver na Rede Virtual (VNet) e um IR auto-hospedado estiver sendo usado, a URL do HDI deverá ser a URL privada nas redes virtuais e deverá ter -int sido listada após o nome do cluster.

      Por exemplo, altere https://mycluster.azurehdinsight.net/ para https://mycluster-int.azurehdinsight.net/. Observe o -int depois mycluster, mas antes .azurehdinsight.net

    3. Se o cluster estiver na rede virtual, o IR auto-hospedado estiver sendo usado, e a URL privada tiver sido usada, e ainda assim a conexão ainda falhar, a VM onde o IR está instalado teve problemas para se conectar ao HDI.

      Conecte-se à VM onde o IR está instalado e abra a interface do usuário do Ambari em um navegador. Use a URL privada para o cluster. Esta ligação deve funcionar a partir do browser. Caso contrário, entre em contato com a equipe de suporte do HDInsight para obter mais assistência.

    4. Se o IR auto-hospedado não estiver sendo usado, o cluster HDI deverá ser acessível publicamente. Abra a interface do usuário do Ambari em um navegador e verifique se ela é aberta. Se houver algum problema com o cluster ou com os serviços nele, entre em contato com a equipe de suporte do HDInsight para obter assistência.

      A URL do cluster HDI usada no serviço vinculado deve estar acessível para o IR (auto-hospedado ou Azure) para que a conexão de teste seja aprovada e para que as execuções funcionem. Esse estado pode ser verificado abrindo a URL de um navegador da VM ou de qualquer máquina pública.

Código de erro: 2343

  • Mensagem: User name and password cannot be null or empty to connect to the HDInsight cluster.

  • Causa: O nome de utilizador ou a palavra-passe estão vazios.

  • Recomendação: forneça as credenciais corretas para se conectar ao HDI e tente novamente.

Código de erro: 2345

  • Mensagem: Failed to read the content of the hive script. Error: '%message;'

  • Causa: o arquivo de script não existe ou o serviço não pôde se conectar ao local do script.

  • Recomendação: verifique se o script existe e se o serviço vinculado associado tem as credenciais adequadas para uma conexão.

Código de erro: 2346

  • Mensagem: Failed to create ODBC connection to the HDI cluster with error message '%message;'.

  • Causa: o serviço tentou estabelecer uma conexão ODBC (Open Database Connectivity) com o cluster HDI e falhou com um erro.

  • Recomendação:

    1. Confirme se você configurou corretamente sua conexão ODBC/Java Database Connectivity (JDBC).
      1. Para JDBC, se você estiver usando a mesma rede virtual, poderá obter essa conexão de:
        Hive -> Summary -> HIVESERVER2 JDBC URL
      2. Para garantir que você tenha o JDBC correto configurado, consulte Consultar o Apache Hive por meio do driver JDBC no HDInsight.
      3. Para Open Database (ODB), consulte Tutorial: Consultar o Apache Hive com ODBC e PowerShell para garantir que você tenha a configuração correta.
    2. Verifique se o Hiveserver2, o Hive Metastore e o Hiveserver2 Interactive estão ativos e funcionando.
    3. Verifique a interface do usuário (UI) do Ambari:
      1. Certifique-se de que todos os serviços ainda estão em execução.
      2. Na interface do usuário do Ambari, verifique a seção de alerta no seu painel.
        1. Para obter mais informações sobre alertas e resoluções para alertas, consulte Gerenciando e monitorando um cluster .
    4. Se estas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight.

Código de erro: 2347

  • Mensagem: Hive execution through ODBC failed with error message '%message;'.

  • Causa: O serviço enviou o script hive para execução no cluster HDI via conexão ODBC e o script falhou no HDI.

  • Recomendação:

    1. Confirme se você configurou corretamente sua conexão ODBC/Java Database Connectivity (JDBC).
      1. Para JDBC, se você estiver usando a mesma rede virtual, poderá obter essa conexão de:
        Hive -> Summary -> HIVESERVER2 JDBC URL
      2. Para garantir que você tenha o JDBC correto configurado, consulte Consultar o Apache Hive por meio do driver JDBC no HDInsight.
      3. Para Open Database (ODB), consulte Tutorial: Consultar o Apache Hive com ODBC e PowerShell para garantir que você tenha a configuração correta.
    2. Verifique se o Hiveserver2, o Hive Metastore e o Hiveserver2 Interactive estão ativos e funcionando.
    3. Verifique a interface do usuário (UI) do Ambari:
      1. Certifique-se de que todos os serviços ainda estão em execução.
      2. Na interface do usuário do Ambari, verifique a seção de alerta no seu painel.
        1. Para obter mais informações sobre alertas e resoluções para alertas, consulte Gerenciando e monitorando um cluster .
    4. Se estas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight.

Código de erro: 2348

  • Mensagem: The main storage has not been initialized. Please check the properties of the storage linked service in the HDI linked service.

  • Causa: As propriedades do serviço vinculado de armazenamento não estão definidas corretamente.

  • Recomendação: Somente cadeias de conexão completas são suportadas no serviço vinculado de armazenamento principal para atividades HDI. Verifique se você não está usando autorizações ou aplicativos MSI.

Código de erro: 2350

  • Mensagem: Failed to prepare the files for the run '%jobId;'. HDI cluster: '%cluster;', Error: '%errorMessage;'

  • Causa: As credenciais fornecidas para se conectar ao armazenamento onde os arquivos devem estar localizados estão incorretas ou os arquivos não existem lá.

  • Recomendação: Este erro ocorre quando o serviço se prepara para atividades de HDI e tenta copiar arquivos para o armazenamento principal antes de enviar o trabalho para o HDI. Verifique se os arquivos existem no local fornecido e se a conexão de armazenamento está correta. Como as atividades da HDI não oferecem suporte à autenticação MSI em contas de armazenamento relacionadas às atividades da HDI, verifique se esses serviços vinculados têm chaves completas ou estão usando o Cofre de Chaves do Azure.

Código de erro: 2351

  • Mensagem: Could not open the file '%filePath;' in container/fileSystem '%container;'.

  • Causa: o arquivo não existe no caminho especificado.

  • Recomendação: Verifique se o arquivo realmente existe e se o serviço vinculado com informações de conexão apontando para esse arquivo tem as credenciais corretas.

Código de erro: 2352

  • Mensagem: The file storage has not been initialized. Please check the properties of the file storage linked service in the HDI activity.

  • Causa: As propriedades do serviço vinculado de armazenamento de arquivos não estão definidas corretamente.

  • Recomendação: Verifique se as propriedades do serviço vinculado de armazenamento de arquivos estão configuradas corretamente.

Código de erro: 2353

  • Mensagem: The script storage has not been initialized. Please check the properties of the script storage linked service in the HDI activity.

  • Causa: As propriedades do serviço vinculado de armazenamento de scripts não estão definidas corretamente.

  • Recomendação: Verifique se as propriedades do serviço vinculado de armazenamento de scripts estão configuradas corretamente.

Código de erro: 2354

  • Mensagem: The storage linked service type '%linkedServiceType;' is not supported for '%executorType;' activities for property '%linkedServicePropertyName;'.

  • Causa: o tipo de serviço vinculado de armazenamento não é suportado pela atividade.

  • Recomendação: verifique se o serviço vinculado selecionado tem um dos tipos suportados para a atividade. As atividades da HDI suportam serviços vinculados AzureBlobStorage e AzureBlobFSStorage.

    Para obter mais informações, leia Comparar opções de armazenamento para uso com clusters do Azure HDInsight

Código de erro: 2355

  • Mensagem: The '%value' provided for commandEnvironment is incorrect. The expected value should be an array of strings where each string has the format CmdEnvVarName=CmdEnvVarValue.

  • Causa: O valor fornecido para commandEnvironment está incorreto.

  • Recomendação: Verifique se o valor fornecido é semelhante a:

    \"variableName=variableValue\"
]

    Verifique também se cada variável aparece na lista apenas uma vez.

Código de erro: 2356

  • Mensagem: The commandEnvironment already contains a variable named '%variableName;'.

  • Causa: O valor fornecido para commandEnvironment está incorreto.

  • Recomendação: Verifique se o valor fornecido é semelhante a:

    \"variableName=variableValue\"
]

    Verifique também se cada variável aparece na lista apenas uma vez.

Código de erro: 2357

  • Mensagem: The certificate or password is wrong for ADLS Gen 1 storage.

  • Causa: as credenciais fornecidas estão incorretas.

  • Recomendação: verifique se as informações de conexão no ADLS Gen 1 estão vinculadas ao serviço e verifique se a conexão de teste foi bem-sucedida.

Código de erro: 2358

  • Mensagem: The value '%value;' for the required property 'TimeToLive' in the on demand HDInsight linked service '%linkedServiceName;' has invalid format. It should be a timespan between '00:05:00' and '24:00:00'.

  • Causa: O valor fornecido para a propriedade TimeToLive necessária tem um formato inválido.

  • Recomendação: atualize o valor para o intervalo sugerido e tente novamente.

Código de erro: 2359

  • Mensagem: The value '%value;' for the property 'roles' is invalid. Expected types are 'zookeeper', 'headnode', and 'workernode'.

  • Causa: O valor fornecido para a propriedade roles é inválido.

  • Recomendação: atualize o valor para ser uma das sugestões e tente novamente.

Código de erro: 2360

  • Mensagem: The connection string in HCatalogLinkedService is invalid. Encountered an error while trying to parse: '%message;'.

  • Causa: A cadeia de conexão fornecida para o HCatalogLinkedService é inválida.

  • Recomendação: atualize o valor para uma cadeia de conexão SQL do Azure correta e tente novamente.

Código de erro: 2361

  • Mensagem: Failed to create on demand HDI cluster. Cluster name is '%clusterName;'.

  • Causa: a criação do cluster falhou e o serviço não recebeu um erro de volta do serviço HDInsight.

  • Recomendação: Abra o portal do Azure e tente localizar o recurso HDI com o nome fornecido e, em seguida, verifique o status de provisionamento. Entre em contato com a equipe de suporte do HDInsight para obter mais assistência.

Código de erro: 2362

  • Mensagem: Only Azure Blob storage accounts are supported as additional storages for HDInsight on demand linked service.

  • Causa: O armazenamento adicional fornecido não era o armazenamento de Blob do Azure.

  • Recomendação: Forneça uma conta de armazenamento de Blob do Azure como um armazenamento adicional para o serviço vinculado HDInsight sob demanda.

Erro SSL ao vincular o serviço usando o cluster ESP HDInsight

  • Mensagem: Failed to connect to HDInsight cluster: 'ERROR [HY000] [Microsoft][DriverSupport] (1100) SSL certificate verification failed because the certificate is missing or incorrect.'

  • Causa: O problema provavelmente está relacionado ao Repositório de Confiança do Sistema.

  • Resolução: você pode navegar até o caminho Microsoft Integration Runtime\4.0\Shared\ODBC Drivers\Microsoft Hive ODBC Driver\lib e abrir DriverConfiguration64.exe para alterar a configuração.

    Desmarque Usar armazenamento confiável do sistema

Atividade de IDH presa na preparação para cluster

Se a atividade do IDH estiver bloqueada na preparação para o cluster, siga as diretrizes abaixo:

  1. Certifique-se de que o tempo limite é maior do que o descrito abaixo e aguarde a conclusão da execução ou até que o tempo limite esteja esgotado, e aguarde o tempo de vida (TTL) antes de enviar novos trabalhos.

    O tempo máximo padrão que leva para girar um cluster é de 2 horas e, se você tiver qualquer script init, ele será adicionado a mais 2 horas.

  2. Verifique se o armazenamento e o HDI estão provisionados na mesma região.

  3. Verifique se a entidade de serviço usada para acessar o cluster HDI é válida.

  4. Se o problema persistir, como solução alternativa, exclua o serviço vinculado HDI e recrie-o com um novo nome.

Atividade Web

Código de erro: 2001

  • Mensagem: The length of execution output is over limit (around 4MB currently).

  • Causa: A saída de execução tem mais de 4 MB, mas o tamanho máximo da carga útil de resposta de saída suportada é de 4 MB.

  • Recomendação: Certifique-se de que o tamanho de saída da execução não exceda 4 MB. Para obter mais informações, consulte Como dimensionar o tamanho dos dados em movimento usando o Azure Data Factory.

Código de erro: 2002

  • Mensagem: The payload including configurations on activity/dataSet/linked service is too large. Please check if you have settings with very large value and try to reduce its size.

  • Causa: A carga que está a tentar enviar é demasiado grande.

  • Recomendação: Consulte que a carga útil é muito grande.

Código de erro: 2003

  • Mensagem: There are substantial concurrent external activity executions which is causing failures due to throttling under subscription <subscription id>, region <region code> and limitation <current limit>. Please reduce the concurrent executions. For limits, refer https://aka.ms/adflimits.

  • Causa: muitas atividades estão sendo executadas simultaneamente. Isso pode acontecer quando muitos pipelines são acionados ao mesmo tempo.

  • Recomendação: Reduza a simultaneidade do gasoduto. Talvez seja necessário distribuir o tempo de gatilho de seus pipelines.

Código de erro: 2010

  • Mensagem: The Self-hosted Integration Runtime ‘<SHIR name>’ is offline

  • Causa: O tempo de execução de integração auto-hospedado está offline ou o tempo de execução de integração do Azure expirou ou não foi registrado.

  • Recomendação: Certifique-se de que seu tempo de execução de integração auto-hospedado esteja ativo e em execução. Consulte Solucionar problemas de tempo de execução de integração auto-hospedada para obter mais informações.

Código de erro: 2105

  • Mensagem: The value type '<provided data type>', in key '<key name>' is not expected type '<expected data type>'

  • Causa: os dados gerados na expressão de conteúdo dinâmico não correspondem à chave e causam falha na análise JSON.

  • Recomendação: Observe o campo chave e corrija a definição de conteúdo dinâmico.

Código de erro: 2108

  • Mensagem: Error calling the endpoint '<URL>'. Response status code: 'NA - Unknown'. More details: Exception message: 'NA - Unknown [ClientSideException] Invalid Url: <URL>. Please verify Url or integration runtime is valid and retry. Localhost URLs are allowed only with SelfHosted Integration Runtime'

  • Causa: Não é possível acessar o URL fornecido. Isso pode ocorrer porque houve um problema de conexão de rede, a URL não foi solucionável ou uma URL de host local estava sendo usada em um tempo de execução de integração do Azure.

  • Recomendação: Verifique se o URL fornecido está acessível.


  • Mensagem: Error calling the endpoint '%url;'. Response status code: '%code;'

  • Causa: a solicitação falhou devido a um problema subjacente, como conectividade de rede, falha de DNS, validação de certificado de servidor ou tempo limite.

  • Recomendação: Use Fiddler/Postman/Netmon/Wireshark para validar a solicitação.

    Usando o Fiddler

    Para usar o Fiddler para criar uma sessão HTTP do aplicativo Web monitorado:

    1. Transfira, instale e abra o Fiddler.

    2. Se o seu aplicativo Web usa HTTPS, vá para Ferramentas>Fiddler Options>HTTPS.

      1. Na guia HTTPS, selecione Capturar HTTPS CONNECTs e Descriptografar tráfego HTTPS.

        Opções do Fiddler

    3. Se o seu aplicativo usa certificados TLS/SSL, adicione o certificado Fiddler ao seu dispositivo.

      Vá para: Ferramentas>Opções>do Fiddler Ações>HTTPS>Exportar certificado raiz para a área de trabalho.

    4. Desative a captura indo para Tráfego de captura de arquivos>. Ou pressione F12.

    5. Limpe o cache do navegador para que todos os itens armazenados em cache sejam removidos e tenham que ser baixados novamente.

    6. Crie um pedido:

    7. Selecione a guia Compositor .

      1. Defina o método HTTP e a URL.

      2. Se necessário, adicione cabeçalhos e um corpo de solicitação.

      3. Selecione Execute (Executar).

    8. Ative a captura de tráfego novamente e conclua a transação problemática na sua página.

    9. Vá para: Arquivo>salvar>todas as sessões.

    Para obter mais informações, consulte Introdução ao Fiddler.

Código de erro: 2113

  • Mensagem: ExtractAuthorizationCertificate: Unable to generate a certificate from a Base64 string/password combination

  • Causa: Não é possível gerar certificado a partir da combinação de cadeia de caracteres/senha Base64.

  • Recomendação: Verifique se o certificado PFX codificado em Base64 e a combinação de senha que você está usando estão inseridos corretamente.

Código de erro: 2403

  • Mensagem: Get access token from MSI failed for Datafactory <DF mname>, region <region code>. Please verify resource url is valid and retry.

  • Causa: Não é possível adquirir um token de acesso a partir do URL do recurso fornecido.

  • Recomendação: verifique se você forneceu a URL de recurso correta para sua identidade gerenciada.

Geral

Erro NULL do token de continuação REST

Mensagem de erro: {"token":null,"range":{"min":..}

Causa: Ao consultar várias partições/páginas, o serviço de back-end retorna o token de continuação no formato JObject com 3 propriedades: token, min e max key ranges, por exemplo, {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}). Dependendo dos dados de origem, a consulta pode resultar em 0 indicando token ausente, embora haja mais dados para buscar.

Recomendação: Quando o continuationToken não é nulo, como a string {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}, é necessário chamar a API queryActivityRuns novamente com o token de continuação da resposta anterior. Tem de passar novamente a cadeia completa para a API de consulta. As atividades serão retornadas nas páginas subsequentes para o resultado da consulta. Você deve ignorar que há uma matriz vazia nesta página, desde que o valor completo continuationToken != null, você precisa continuar consultando. Para obter mais detalhes, consulte REST api for pipeline run query.

Problema de atividade bloqueada

Quando você observa que a atividade está funcionando muito mais do que suas corridas normais com quase nenhum progresso, pode acontecer de ficar preso. Você pode tentar cancelá-lo e tentar novamente para ver se isso ajuda. Se for uma atividade de cópia, você pode aprender sobre o monitoramento de desempenho e a solução de problemas em Solucionar problemas de desempenho da atividade de cópia, se for um fluxo de dados, aprenda com o guia Mapeando o desempenho e o ajuste dos fluxos de dados.

O Payload é demasiado grande

Mensagem de erroThe payload including configurations on activity/dataSet/linked service is too large. Please check if you have settings with very large value and try to reduce its size.:

Causa: A carga útil para cada atividade executada inclui a configuração da atividade, o(s) conjunto(s) de dados associado(s) e as configurações do(s) serviço(s) vinculado(s), se houver, e uma pequena parte das propriedades do sistema geradas por tipo de atividade. O limite desse tamanho de carga útil é de 896 KB, conforme mencionado na documentação de limites do Azure para o Data Factory e o Azure Synapse Analytics.

Recomendação: Você atinge esse limite provavelmente porque passa um ou mais grandes valores de parâmetro da saída da atividade upstream ou externa, especialmente se passar dados reais entre atividades no fluxo de controle. Verifique se você pode reduzir o tamanho de grandes valores de parâmetros ou ajustar a lógica do pipeline para evitar passar esses valores entre atividades e manipulá-los dentro da atividade.

A compressão não suportada faz com que os ficheiros sejam danificados

Sintomas: Você tenta descompactar um arquivo que está armazenado em um contêiner de blob. Uma única atividade de cópia em um pipeline tem uma fonte com o tipo de compactação definido como "deflate64" (ou qualquer tipo não suportado). Esta atividade é executada com sucesso e produz o arquivo de texto contido no arquivo zip. No entanto, há um problema com o texto no arquivo e esse arquivo aparece corrompido. Quando esse arquivo é descompactado localmente, tudo bem.

Causa: Seu arquivo zip é compactado pelo algoritmo de "deflate64", enquanto a biblioteca zip interna do Azure Data Factory suporta apenas "deflate". Se o arquivo zip for compactado pelo sistema Windows e o tamanho geral do arquivo exceder um determinado número, o Windows usará "deflate64" por padrão, o que não é suportado no Azure Data Factory. Por outro lado, se o tamanho do arquivo for menor ou se você usar algumas ferramentas zip de terceiros que suportem a especificação do algoritmo de compactação, o Windows usará "deflate" por padrão.

Gorjeta

Na verdade, o formato binário no Azure Data Factory e o Synapse Analytics e o formato de texto delimitado no Azure Data Factory e no Azure Synapse Analytics indicam claramente que o formato "deflate64" não é suportado no Azure Data Factory.

Executar Pipeline passa o parâmetro da matriz como cadeia de caracteres para o pipeline filho

Mensagem de erroOperation on target ForEach1 failed: The execution of template action 'MainForEach1' failed: the result of the evaluation of 'foreach' expression '@pipeline().parameters.<parameterName>' is of type 'String'. The result must be a valid array.:

Causa: Mesmo que no Pipeline de Execução você crie o parâmetro do tipo matriz, conforme mostrado na imagem abaixo, o pipeline falhará.

Captura de tela mostrando os parâmetros da atividade Executar pipeline.

Isso se deve ao fato de que a carga útil é passada do pipeline pai para o filho como string. Podemos vê-lo quando verificamos a entrada passada para o pipeline filho.

Captura de tela mostrando a cadeia de caracteres do tipo de entrada.

Recomendação: Para resolver o problema, podemos aproveitar a função create array, conforme mostrado na imagem abaixo.

Captura de tela mostrando como usar a função create array.

Então o nosso pipeline terá sucesso. E podemos ver na caixa de entrada que o parâmetro passado é uma matriz.

Captura de tela mostrando a matriz de tipo de entrada.

Conteúdos relacionados

Para obter mais ajuda na solução de problemas, tente estes recursos: