Устранение ошибок приема или повреждение данных

Статья
06/03/2024

Примечание.

1 сентября 2023 г. мы объединили и переименовали Dynamics 365 Marketing и Dynamics 365 Customer Insights. Dynamics 365 Marketing теперь называется Dynamics 365 Customer Insights — Journeys. Dynamics 365 Customer Insights теперь называется Dynamics 365 Customer Insights — Data. Дополнительные сведения см. в статье Часто задаваемые вопросы о Dynamics 365 Customer Insights.

В этой статье описаны распространенные причины ошибок приема данных или повреждения данных при использовании Azure Data Lake Storage или Power Query в Microsoft Dynamics 365 Customer Insights — Data.

Ошибки приема или повреждение данных с помощью Azure Data Lake Storage

Во время приема данных некоторые из наиболее распространенных причин, по которым запись может считаться поврежденной, включают:

Типы данных и значения полей не совпадают между исходным файлом и схемой.
Количество столбцов в исходном файле не соответствует схеме.
Поля содержат символы, которые приводят к отклонению столбцов по сравнению с ожидаемой схемой. Например, неправильно отформатированные кавычки, неэкранированные кавычки, символы новой строки или символы табуляции.
Файлы секционирования отсутствуют.
datetimeПоля , dateили datetimeoffset не соответствуют стандартному формату.

Несоответствие схемы или типа данных

Если данные не соответствуют схеме, процесс приема завершается с ошибками.

Чтобы устранить эту проблему, исправьте исходные данные или схему и повторно выполните прием данных.

Файлы секционирования отсутствуют

Если процесс приема успешно выполняется без поврежденных записей, но данные не отображаются, измените model.json или manifest.json файл, чтобы убедиться, что разделы указаны. Затем обновите источник данных.
Если прием данных происходит в то же время, когда источники данных обновляются во время автоматического обновления по расписанию, файлы секций могут быть пустыми или недоступны для системного процесса. Чтобы согласовать с вышестоящим расписанием обновления, измените расписание обновления системы или расписание обновления для источника данных. Выравнивайте время, чтобы обновления не происходили сразу.

Поля даты и времени имеют неправильный формат

Поля datetime в таблице не в формате ISO 8601 или en-US . По умолчанию datetime в Dynamics 365 Customer Insights — Data используется en-USформат . datetime Все поля в таблице должны иметь одинаковый формат. Customer Insights поддерживает другие форматы, если заметки или признаки сделаны на уровне источника или таблицы в модели или manifest.json. Например:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

В файлеdatetime manifest.json формат можно указать на уровне таблицы или атрибута. На уровне таблицы используйте "exhibitsTraits" в таблице в *.manifest.cdm.json для определения datetime формата. На уровне атрибута используйте "appliedTraits" в атрибуте в tablename.cdm.json.

Manifest.json на уровне таблицы

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json на уровне атрибута

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Ошибки приема или повреждение данных с помощью Power Query

Значения даты и времени анализируются неправильно или происходит сбой синтаксического анализа

Наиболее распространенное несоответствие типов данных возникает, если для поля даты не задан правильный формат даты. Это несоответствие может быть вызвано неправильно отформатированными исходными данными или неправильным языковым стандартом.

Симптомы проблемы с неправильным языковым стандартом:

Если исходные данные не могут быть проанализированы используемым языковым стандартом, происходит сбой приема. Например, если "29/08/2023" анализируется с "ММ/ДД/ГГГГ", прием завершается ошибкой, так как не удается проанализировать месяц 29.
При успешном анализе исходных данных с использованием неправильного языкового стандарта значения datetime будут неверными. Например, исходные данные форматируются как "ММ/ДД/ГГГГ", а языковой стандарт по умолчанию, используемый для анализа данных во время приема, использует "ДД/ММ/ГГГГ". В результате "8 декабря 2023 года" получается как "12 августа 2023 года".

Решение

Чтобы исправить неправильный формат, обновите исходные данные и повторно выполните прием.
Чтобы исправить неправильный языковой стандарт, измените тип всех полей даты и времени, чтобы использовать правильный языковой стандарт, используя изменение типа>Использование языкового стандарта в преобразованиях Power Query. Например:

Дополнительные сведения см. в статье Языковой стандарт документа или проекта.

Поделиться через