Actualizar unha orixe de datos de Common Data Model para usar táboas Delta

Actualice unha conexión de datos existente con táboas do modelo de datos común e móvase a táboas con formato Delta sen eliminar e recrear unha configuración existente que dependa da conexión de datos.

Razóns clave para conectarse aos datos almacenados en formato Delta:

• Importa directamente datos con formato Delta para aforrar tempo e esforzo.
• Elimina os custos de computación e almacenamento asociados á transformación e almacenamento dunha copia dos datos da túa casa do lago.
• Mellora automaticamente a fiabilidade da inxestión de datos a Customer Insights - Data o proporcionado polo versión de Delta.

Delta é un termo introducido con Delta Lake, a base para almacenar datos e táboas na plataforma Databricks Lakehouse. Delta Lake é un almacenamento de código aberto capa que achega transaccións ACID (atomicidade, coherencia, illamento e durabilidade) ás cargas de traballo de big data. Para obter máis información, consulte a Páxina de documentación de Delta Lake.

Requisitos previos

• O Azure Data Lake Storage debe estar no mesmo inquilino e rexión de Azure que Customer Insights - Data.

• O Customer Insights - Data principal do servizo debe ter permisos de Colaborador de datos de blob de almacenamento para acceder á conta de almacenamento. Para obter máis información, consulta Conceder permisos ao principal do servizo para acceder á conta de almacenamento.

• O usuario que configura ou actualiza o orixe de datos necesita polo menos permisos de Lector de datos de Blob de almacenamento na conta Azure Data Lake Storage .

• Os datos almacenados nos servizos en liña poden almacenarse nun lugar diferente do que se procesan ou almacenan os datos. Ao importar ou conectarse a datos almacenados nos servizos en liña, acepta que os datos se poidan transferir.  Obtén máis información no Centro de confianza de Microsoft.

• Customer Insights - Data admite a versión 2 do lector de Databricks. Non se admiten as táboas Delta que usan funcións que requiren o lector Databricks versión 3 ou superior. Máis información: Como xestiona Databricks a compatibilidade das funcións de Delta Lake?

• As táboas Delta deben estar nun cartafol do contedor de almacenamento e non poden estar no directorio raíz do contenedor. Por exemplo:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• As táboas Delta e o seu esquema deben coincidir coas táboas do Modelo de datos común existente orixe de datos e estar no mesmo recipiente de almacenamento. As táboas do novo cartafol de datos deben coincidir exactamente coas táboas seleccionadas no Modelo de datos común orixe de datos. Os nomes das táboas e os seus esquemas deben coincidir exactamente. En Delta, os nomes das táboas son os mesmos que o nome do cartafol onde se almacenan os datos. Polo tanto, os nomes dos cartafoles deben coincidir exactamente coas táboas seleccionadas no Modelo de datos común orixe de datos. En caso contrario, a actualización falla.

  Por exemplo, se as táboas do Modelo de datos comúns orixe de datos seleccionadas son Táboa1 e Táboa2, entón o cartafol que elixas para a actualización debe mostrar a Táboa1 e a Táboa2 na xerarquía.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Actualiza as táboas de datos do modelo de datos comúns ás táboas Delta

1. Vaia a Datos>Fontes de datos.

2. Seleccione o modelo de datos común de Azure Data Lake orixe de datos e, a continuación, seleccione Actualizar a táboas Delta. Ou selecciona Iniciar actualización na páxina Engadir táboas se estás editando o modelo de datos común orixe de datos.

   

3. Seleccione Examinar e navegue ata o cartafol que contén os datos en formato Delta e coincide exactamente o Azure Data Lake seleccionado orixe de datos táboa. Seleccioneo e, a continuación, seleccione Actualizar orixe de datos.

   Ábrese a páxina Fontes de datos que mostra o novo orixe de datos no estado Actualizándose .

   Importante

   Non pares o proceso de actualización xa que podería afectar negativamente á actualización do orixe de datos.

   Suxestión

   Hai estados para tarefas e procesos. A maioría dos procesos dependen doutros procesos anteriores, como as fontes de datos e os perfís de datos actualizacións.

   Seleccione o estado para abrir o panel Detalles do progreso e ver o progreso das tarefas. Para cancelar o traballo, selecciona Cancelar traballo na parte inferior do panel.

   Debaixo de cada tarefa, pode seleccionar Ver detalles para obter máis información sobre o progreso, como o tempo de procesamento, a última data de procesamento e os erros e avisos aplicables asociados á tarefa ou proceso. . Seleccione Ver estado do sistema na parte inferior do panel para ver outros procesos do sistema.

Recomendamos que continúe transmitindo os seus datos á localización de Data Lake Storage a través da súa canalización existente e que manteña os manifestos e os esquemas ata que determine que a actualización foi exitosa e que todo funcione como se esperaba.

Inverte a conversión das táboas do modelo de datos comúns ás táboas Delta

Se intentou actualizar un modelo de datos común de Azure Data Lake orixe de datos a táboas Delta e o proceso falla, siga os pasos seguintes.

Requisitos previos

• A túa organización continuou transmitindo os datos de Data Lake Storage a través da túa canalización.
• A súa organización mantivo os manifestos e os esquemas de Data Lake Storage.

Volver a un modelo de datos común de Azure Data Lake orixe de datos

1. Vaia a Datos>Fontes de datos.

2. Seleccione o modelo de datos común de Azure Data Lake orixe de datos e, a continuación, seleccione Volver ás táboas de modelos de datos comúns.

3. Confirma que queres reverter. Ábrese a páxina Fontes de datos que mostra o novo orixe de datos no estado Actualizándose .

   Importante

   Non pares o proceso de actualización, xa que podería afectar negativamente a reversión do orixe de datos.