Opnamefouten of beschadigde gegevens oplossen

Artikel
06/03/2024

Opmerking

Op 1 september 2023 zijn Dynamics 365 Marketing en Dynamics 365 Customer Insights samengevoegd en hernoemd. Dynamics 365 Marketing heet nu Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights heet nu Dynamics 365 Customer Insights - Data. Zie Veelgestelde vragen over Dynamics 365 Customer Insights voor meer informatie.

In dit artikel worden veelvoorkomende redenen beschreven voor fouten bij gegevensopname of beschadigde gegevens bij het gebruik van Azure Data Lake Storage of Power Query in Microsoft Dynamics 365 Customer Insights - Data.

Opnamefouten of beschadigde gegevens met Azure Data Lake Storage

Tijdens het opnemen van gegevens zijn enkele van de meest voorkomende redenen waarom een record als beschadigd kan worden beschouwd:

De gegevenstypen en veldwaarden komen niet overeen tussen het bronbestand en het schema.
Het aantal kolommen in het bronbestand komt niet overeen met het schema.
Velden bevatten tekens die ervoor zorgen dat de kolommen scheeftrekken ten opzichte van het verwachte schema. Bijvoorbeeld onjuist opgemaakte aanhalingstekens, niet-opgemaakte aanhalingstekens, nieuwe regeltekens of tekens met tabbladen.
Partitiebestanden ontbreken.
datetime, dateof datetimeoffset velden hebben niet de standaardindeling.

Schema of gegevenstype komen niet overeen

Als de gegevens niet voldoen aan het schema, wordt het opnameproces voltooid met fouten.

U kunt dit probleem oplossen door de brongegevens of het schema te corrigeren en de gegevens opnieuw op te nemen.

Partitiebestanden ontbreken

Als het opnameproces is geslaagd zonder beschadigde records, maar u geen gegevens kunt zien, bewerkt u uw model.json of manifest.json bestand om ervoor te zorgen dat partities zijn opgegeven. Vernieuw vervolgens de gegevensbron.
Als gegevensopname plaatsvindt op hetzelfde moment als gegevensbronnen worden vernieuwd tijdens een automatische vernieuwingsplanning, zijn de partitiebestanden mogelijk leeg of niet beschikbaar voor het systeemproces. Als u wilt afstemmen op het upstream-vernieuwingsschema, wijzigt u het vernieuwingsschema van het systeem of het vernieuwingsschema voor de gegevensbron. Lijn de tijdsinstellingen zo uit dat niet alle vernieuwingen tegelijk plaatsvinden.

Datum/tijd-velden hebben de verkeerde notatie

De datetime velden in de tabel hebben niet de INDELING ISO 8601 of en-US . De standaardindeling datetime in Dynamics 365 Customer Insights - Data is en-US. datetime Alle velden in een tabel moeten dezelfde indeling hebben. Customer Insights ondersteunt andere indelingen opgegeven aantekeningen of eigenschappen worden gemaakt op bron- of tabelniveau in het model of manifest.json. Bijvoorbeeld:

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

In een manifest.json-bestand kan de datetime indeling worden opgegeven op tabel- of kenmerkniveau. Gebruik op tabelniveau "exhibitsTraits" in de tabel in *.manifest.cdm.json om de datetime opmaak te definiëren. Gebruik op kenmerkniveau "appliedTraits" in het kenmerk in tablename.cdm.json.

Manifest.json op tabelniveau

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json op kenmerkniveau

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Opnamefouten of beschadigde gegevens met Power Query

Datum/tijd-waarden worden onjuist geparseerd of er treedt een parseringsfout op

Het meest voorkomende gegevenstype komt niet overeen wanneer een datumveld niet is ingesteld op de juiste datumnotatie. Deze niet-overeenkomende gegevens kunnen worden veroorzaakt door de onjuist opgemaakte brongegevens of een onjuiste landinstelling.

Symptomen van het probleem met de onjuiste landinstelling:

Wanneer de brongegevens niet kunnen worden geparseerd door de gebruikte landinstelling, treedt er een opnamefout op. Als bijvoorbeeld '29-08-2023' wordt geparseerd met 'MM/DD/JJJJ', mislukt de opname omdat deze maand 29 niet kan parseren.
Wanneer de brongegevens zijn geparseerd met behulp van een onjuiste landinstelling, zijn de datum/tijd-waarden onjuist. De brongegevens zijn bijvoorbeeld opgemaakt als 'MM/DD/JJJJ', terwijl de standaardlandinstelling die wordt gebruikt voor het parseren van de gegevens tijdens opname gebruikmaakt van 'DD/MM/JJJJ'. Als gevolg hiervan wordt '8 december 2023' opgenomen als '12 augustus 2023'.

Oplossing

U kunt een onjuiste indeling herstellen door de brongegevens bij te werken en opnieuw op te nemen.
Als u een onjuiste landinstelling wilt herstellen, wijzigt u het type van alle datum/tijd-velden om de juiste landinstelling te gebruiken met behulp van Change type>Using lande in de Power Query-transformaties. Bijvoorbeeld:

Zie Landinstellingen voor documenten of projecten voor meer informatie.

Delen via