Resolver erros de ingestão ou dados danificados

Artigo
06/03/2024

Observação

A 1 de setembro de 2023, fundimos e mudamos o nome do Dynamics 365 Marketing e do Dynamics 365 Customer Insights. O Dynamics 365 Marketing chama-se agora Dynamics 365 Customer Insights – Percursos. O Dynamics 365 Customer Insights chama-se agora Dynamics 365 Customer Insights – Dados. Para obter mais informações, veja FAQs do Dynamics 365 Customer Insights.

Este artigo apresenta motivos comuns para erros de ingestão de dados ou dados danificados ao utilizar o Azure Data Lake Storage ou o Power Query no Microsoft Dynamics 365 Customer Insights – Dados.

Erros de ingestão ou dados danificados com o Azure Data Lake Storage

Durante a ingestão de dados, alguns dos motivos mais comuns para um registo ser considerado danificado incluem:

Os tipos de dados e os valores de campo não correspondem entre o ficheiro de origem e o esquema.
O número de colunas no ficheiro de origem não corresponde ao esquema.
Os campos contêm carateres que fazem com que as colunas se distorçam em comparação com o esquema esperado. Por exemplo, aspas formatadas incorretamente, aspas não paisagens, carateres de nova linha ou carateres com separadores.
Os ficheiros de partição estão em falta.
datetime, dateou datetimeoffset os campos não seguem o formato padrão.

Erro de correspondência entre esquemas ou tipos de dados

Se os dados não estiverem em conformidade com o esquema, o processo de ingestão é concluído com erros.

Para resolver este problema, corrija os dados de origem ou o esquema e volte a ingerir os dados.

Os ficheiros de partição estão em falta

Se o processo de ingestão for bem-sucedido sem registos danificados, mas não conseguir ver dados, edite o model.json ou manifest.json ficheiro para se certificar de que as partições são especificadas. Em seguida, atualize a origem de dados.
Se a ingestão de dados ocorrer ao mesmo tempo que as origens de dados estão a ser atualizadas durante uma atualização de agendamento automática, os ficheiros de partição poderão estar vazios ou indisponíveis para o processo do sistema. Para alinhar com a agenda de atualização a montante, altere a agenda de atualização do sistema ou a agenda de atualização da origem de dados. Alinhe a temporização para que as atualizações não ocorram todas ao mesmo tempo.

Os campos datetime estão no formato errado

Os datetime campos na tabela não estão no formato ISO 8601 ou en-US . O formato predefinido datetime no Dynamics 365 Customer Insights – Dados é en-US. Todos os datetime campos numa tabela devem estar no mesmo formato. O Customer Insights suporta outros formatos, desde que sejam feitas anotações ou traços ao nível da origem ou da tabela no modelo ou manifest.json. Por exemplo:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

Num ficheiro de manifest.json , o datetime formato pode ser especificado ao nível da tabela ou ao nível do atributo. Ao nível da tabela, utilize "exhibitsTraits" na tabela em *.manifest.cdm.json para definir o datetime formato. Ao nível do atributo, utilize "appliedTraits" no atributo no tablename.cdm.json.

Manifest.json ao nível da tabela

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json ao nível do atributo

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Erros de ingestão ou dados danificados com o Power Query

Os valores datetime são analisados incorretamente ou ocorre uma falha de análise

O erro de correspondência do tipo de dados mais comum ocorre quando um campo de data não está definido para o formato de data correto. Este erro de correspondência pode ser causado pelos dados de origem formatados incorretamente ou por uma região incorreta.

Sintomas do problema de região incorreto:

Quando os dados de origem não podem ser analisados pela região utilizada, ocorre uma falha de ingestão. Por exemplo, se "08/29/2023" for analisado com "MM/DD/AAAA", a ingestão falha porque não consegue analisar o mês 29.
Quando os dados de origem são analisados com êxito com uma região incorreta, os valores datetime estão incorretos. Por exemplo, os dados de origem são formatados como "MM/DD/AAAA", enquanto a região predefinida utilizada para analisar os dados durante a ingestão utiliza "DD/MM/AAAA". Como resultado, "8 de dezembro de 2023" é ingerido como "12 de agosto de 2023".

Solução

Para corrigir um formato incorreto, atualize os dados de origem e volte a ingerir.
Para corrigir uma região incorreta,altere o tipo de todos os campos datetime para utilizar a região correta com Alterar tipo> Utilizando região nas transformações do Power Query. Por exemplo:

Para obter mais informações, veja Região do documento ou do projeto.

Partilhar via