Актуализиране на източник на данни с Common Data Model така, че да използва таблици на Delta

Актуализирайте съществуваща връзка за данни с таблици на Common Data Model и преминете към таблици с Delta формат, без да премахвате и създавате отново съществуваща конфигурация, която зависи от връзката с данни.

Основни причини да се свържете с данни, съхранявани в Delta формат:

• Директно импортирайте данни в Delta формат, за да спестите време и усилия.
• Елиминирайте разходите за изчисление и съхранение, свързани с трансформирането и съхраняването на копие на данните на вашата езерна къща.
• Автоматично подобрява надеждността на приемането на данни, предоставена Customer Insights - Data от Delta версии.

Делта е термин, въведен с Delta Lake, основата за съхранение на данни и таблици в платформата Databricks Lakehouse. Delta Lake е слой за съхранение с отворен код, който носи ACID (атомарност, последователност, изолация и издръжливост) транзакции към работни натоварвания с големи данни. За повече информация вижте страницата с документация на Delta Lake.

Предварителни изисквания

• Трябва Azure Data Lake Storage да е в същия клиент и регион на Azure като Customer Insights - Data.

• Принципалът Customer Insights - Data на услугата трябва да има разрешения за сътрудник на данни за BLOB за съхранение за достъп до акаунта за съхранение. За повече информация вижте Предоставяне на разрешения на принципала на услугата за достъп до акаунта за съхранение.

• Потребителят, който настройва или актуализира източник на данни, се нуждае от поне разрешения за четене на данни за BLOB за съхранение в акаунта Azure Data Lake Storage .

• Данните, съхранявани в онлайн услугите, може да се съхраняват на място, различно от мястото, където се обработват или съхраняват данните. Като импортирате или се свързвате с данни, съхранявани в онлайн услуги, вие се съгласявате, че данните могат да бъдат прехвърляни.  Научете повече в центъра за сигурност на Microsoft.

• Customer Insights - Data поддържа четеца на Databricks версия 2. Делта таблици, използващи функции, които изискват Databricks reader версия 3 или по-нова, не се поддържат. Научете повече: Поддържани функции на Databricks.

• Делта таблиците трябва да са в папка в контейнера за съхранение и не могат да бъдат в основната директория на контейнера. Например:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Делта таблиците и тяхната схема трябва да съответстват на таблиците в съществуващия източник на данни на Common Data Model и да са в един и същ контейнер за съхранение. Таблиците в новата папка с данни трябва да съвпадат точно с избраните таблици в източника на данни на общия модел на данни. Имената на таблиците и техните схеми трябва да съвпадат точно. В Delta имената на таблиците са същите като името на папката, в която се съхраняват данните. Следователно имената на папките трябва да съвпадат точно с избраните таблици в източника на данни на общия модел на данни. В противен случай актуализацията е неуспешна.

  Например, ако избраните таблици с източник на данни на общ модел на данни са Таблица 1 и Таблица 2, тогава папката, която изберете за актуализацията, трябва да показва Таблица 1 и Таблица 2 в йерархията.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Актуализиране на таблиците с данни на Common Data Model до Delta таблици

1. Отидете на Източници> на данниДанни.

2. Изберете източник на данни на общия модел на данни на Azure Data Lake и след това изберете Актуализиране до делта таблици. Или изберете Започване на актуализацията от страницата Добавяне на таблици , ако редактирате източника на данни на Common Data Model.

   

3. Изберете Преглед и отидете до папката, която съдържа данните в делта формат и точно съвпада с избраната таблица с източник на данни на Azure Data Lake. Изберете го и след това изберете Актуализиране на източник на данни.

   Отваря се страницата Източници на данни, показваща новия източник на данни в състояние Обновяване .

   Важно

   Не спирайте процеса на опресняване, тъй като това може да повлияе негативно на актуализирането на източника на данни.

   Съвет

   Има състояния за задачи и процеси. Повечето процеси зависят от други процеси нагоре по веригата, като например източници на данни и обновяване напрофилирането на данни.

   Изберете състоянието, за да отворите екрана Подробности за напредъка и да видите напредъка на задачите. За да отмените задачата, изберете Отмяна на задание в долната част на екрана.

   Под всяка задача можете да изберете Преглед на подробностите за повече информация за напредъка, като например време за обработка, дата на последна обработка и всички приложими грешки и предупреждения, свързани със задачата или процеса. Изберете Преглед на състоянието на системата в долната част на панела, за да видите други процеси в системата.

Препоръчваме ви да продължите да предавате поточно данните си към местоположението на Data Lake Storage през съществуващия ви тръбопровод и да поддържате манифестите и схемите, докато установите, че актуализацията е успешна и всичко работи според очакванията.

Връщане на преобразуването от таблици с общ модел на данни в делта таблици

Ако сте се опитали да актуализирате източник на данни на Azure Data Lake Common Data Model до делта таблици и процесът е неуспешен, изпълнете следните стъпки.

Предварителни изисквания

• Вашата организация продължава да предава поточно данните на Data Lake Storage през вашия тръбопровод.
• Вашата организация е поддържала манифестите и схемите на Data Lake Storage.

Връщане обратно към източник на данни на общ модел на данни на Azure Data Lake

1. Отидете на Източници> на данниДанни.

2. Изберете източник на данни на общия модел на данни на Azure Data Lake и след това изберете Връщане към таблици на общ модел на данни.

3. Потвърдете, че искате да се върнете. Отваря се страницата Източници на данни, показваща новия източник на данни в състояние Обновяване .

   Важно

   Не спирайте процеса на опресняване, тъй като това може да повлияе негативно на връщането на източник на данни.