Actualización incremental de fontes de datos Power Query e Data Lake Storage

Nota

O 1 de setembro de 2023, fusionamos e renomeamos Dynamics 365 Marketing e Dynamics 365 Customer Insights. Agora Dynamics 365 Marketing chámase Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights agora chámase Dynamics 365 Customer Insights - Data. Para obter máis información, consulte as Preguntas frecuentes de Dynamics 365 Customer Insights.

A actualización incremental para fontes de datos baseada en Power Query (vista previa) ou Azure Data Lake Storage Gen2 ofrece as seguintes vantaxes:

  • Actualizacións máis rápidas : só se actualizan os datos que cambiaron. Por exemplo, pode actualizar só os últimos cinco días dun conxunto de datos histórico.
  • Aumento da fiabilidade : con actualizacións máis pequenas, non é necesario manter as conexións a sistemas de orixe volátiles durante tanto tempo, o que reduce o risco de problemas de conexión.
  • Consumo de recursos reducido : ao actualizar só un subconxunto dos teus datos totais, fai un uso máis eficiente dos recursos informáticos e diminúe a pegada ambiental.

Configurar a actualización incremental para fontes de datos baseándose en Power Query (vista previa)

[Este artigo é a documentación de prelanzamento e está suxeito a cambios.]

Dynamics 365 Customer Insights - Data permite a actualización incremental das fontes de datos importadas a través de Power Query que admitan a inxestión incremental. Por exemplo, as bases de datos de Azure SQL con campos de data e hora que indican cando se actualizaron os rexistros de datos por última vez.

Importante

  • Esta é unha funcionalidade de vista previa.
  • As funcionalidades en versión preliminar non están destinadas a usarse en produción e poden ter restrinxida a funcionalidade. Estas funcionalidades están dispoñibles antes da versión oficial para que os clientes poidan obter acceso a elas rápido e fornecer comentarios.
  1. Crea un novo orixe de datos baseado en Power Query.

  2. Seleccione un orixe de datos que admita a actualización incremental, como base de datos SQL de Azure.

  3. Seleccione as táboas para inxerir.

  4. Completa os pasos de transformación e selecciona Seguinte.

  5. Na caixa de diálogo Configurar actualización incremental , seleccione Configurar para abrir o Configuración de actualización incremental. Se selecciona Omitir, o orixe de datos actualizará todo o conxunto de datos.

    Suxestión

    Tamén pode aplicar a actualización incremental máis tarde editando un orixe de datos existente.

  6. En Configuración de actualización incremental, configurarás a actualización incremental para todas as táboas que seleccionaches ao crear o orixe de datos.

    Configurar a configuración de actualización incremental.

  7. Seleccione unha táboa e proporcione os seguintes detalles:

    • Definir a chave primaria: seleccione unha chave primaria para a táboa.
    • Define o campo "última actualización": este campo só mostrará atributos de tipo data ou hora. Seleccione un atributo que indique cando se actualizaron os rexistros por última vez. Este atributo identifica os rexistros que se atopan dentro do período de tempo de actualización incremental.
    • Comproba se hai actualizacións cada: especifique canto tempo queres que sexa o período de actualización incremental.
  8. Seleccione Gardar para completar a creación do orixe de datos. A actualización de datos inicial será unha actualización completa. Despois, a actualización de datos incremental producirase como se configurou no paso anterior.

Configura a actualización incremental para Azure Data Lake Storage fontes de datos

Customer Insights - Data permite a actualización incremental das fontes de datos conectadas a Azure Data Lake Storage. Para utilizar a inxestión incremental e a actualización dunha táboa, configure esa táboa ao engadir o Azure Data Lake orixe de datos ou posteriormente ao editar o orixe de datos. O cartafol de datos da táboa debe conter os seguintes cartafoles:

  • FullData: cartafol con ficheiros de datos que conteñen rexistros iniciais
  • IncrementalData: cartafol con cartafoles da xerarquía de data/hora no formato aaaa/mm/dd/hh que contén as actualizacións incrementais. hh representa a hora UTC das actualizacións e contén os cartafoles Upserts e Elimina . Upserts contén ficheiros de datos con actualizacións de rexistros existentes ou rexistros novos. Elimina contén ficheiros de datos con rexistros para eliminar.

Orde de tratamento dos datos incrementais

O sistema procesa os ficheiros do cartafol IncrementalDatadespois de a hora UTC especificada. Por exemplo, se o sistema comeza a procesar a actualización incremental o 21 de xaneiro de 2023 ás 08:15, procesaranse todos os ficheiros que se atopan no cartafol 21/01/2023 (que representan ficheiros de datos almacenados entre as 7:00 e as 8:00 horas). Os ficheiros do cartafol 21/01/2023 (que representan a hora actual onde aínda se están xerando os ficheiros) non se procesarán ata a seguinte execución.

Se hai dous rexistros para unha chave principal, un upsert e un delete, Customer Insights - Data utiliza o rexistro coa data de modificación máis recente. Por exemplo, se a marca de tempo de eliminación é 2023-01-21T08:00:00 e a marca de tempo de subida é 2023-01-21T08:30:00, usa o rexistro de subida. Se a eliminación produciuse despois do upsert, o sistema asume que o rexistro está eliminado.

Configure a actualización incremental das fontes de datos de Azure Data Lake

  1. Ao engadir ou editar un orixe de datos, vai ao panel Atributos para a táboa.

  2. Revisa os atributos. Asegúrate de que un atributo de data creado ou actualizado está configurado cun dateTimeFormato de datos e un Calendar.Date Tipo semántico. Edita o atributo se é necesario e selecciona Feito.

  3. No panel Seleccionar táboas , edite a táboa. A caixa de verificación Inxestión incremental está seleccionada.

    Configure as táboas nun orixe de datos para unha actualización incremental.

    1. Navega ata o cartafol raíz que contén os ficheiros .csv ou .parquet para obter datos completos, aumentos de datos incrementais e eliminacións incrementais de datos.
    2. Introduza a extensión para os datos completos e os dous ficheiros incrementais (.csv ou .parquet).
    3. Para ficheiros .csv, seleccione o delimitador de columna e, se quere, a primeira fila do ficheiro como cabeceira de columna.
    4. Seleccione Gardar.
  4. Para Última actualización, seleccione o atributo de marca de data e hora.

  5. Se non se selecciona a Chave primaria , seleccione a chave principal. A chave primaria é un atributo exclusivo da táboa. Para que un atributo sexa unha clave primaria válida, non debe incluír valores duplicados, valores perdidos ou valores nulos. Os atributos de tipo de datos de cadea, enteiro e GUID son compatibles como claves primarias.

  6. Seleccione Pechar para gardar e pechar o panel.

  7. Continúa engadindo ou editando o orixe de datos.

Executa unha actualización completa única para fontes de datos de Azure Data Lake

Despois de configurar unha actualización incremental para fontes de datos de Azure Data Lake, hai momentos nos que hai que procesar os datos cunha actualización completa. O cartafol de datos completos configurado para a actualización incremental debe conter a localización dos datos completos.

  1. Ao editar o orixe de datos, vai ao panel Seleccionar táboas e edita a táboa que queres actualizar.

  2. No panel Editar táboa , desprácese ata a caixa de verificación Executar unha única actualización completa e selecciónaa.

    Configure a táboa nun orixe de datos para unha actualización única.

  3. Para Procesar ficheiros incrementais de, especifique a data e a hora para conservar os ficheiros incrementais. Os datos completos máis os datos incrementais comezan a procesarse despois da data e hora especificadas. Por exemplo, se queres realizar unha actualización/recheo parcial de datos ata finais de novembro mantendo os datos incrementais desde principios de decembro ata hoxe (30 de decembro), introduce o 1 de decembro. Para substituír todos os datos e ignorar os datos do cartafol incremental, especifique unha data futura.

  4. Seleccione Pechar para gardar e pechar o panel.

  5. Fai clic en Gardar para aplicar os cambios e volver á páxina Fontes de datos . O orixe de datos está en estado Actualizándose e está realizando unha actualización completa.