Повезивање са Делта табелама у Azure Data Lake Storage

Чланак
03/27/2024

Повежите се са подацима у Делта табелама и унесите их у Dynamics 365 Customer Insights - Data.

Делта је термин уведен са Делта Лаке, фондацијом за складиштење података и столова у Датабрицкс Лакехоусе платформи. Делта Лаке је опен-соурце стораге слој који доноси АЦИД (атомицитy, цонсистенцитy, исолатион и трајност) трансакције на велика оптерећења података. Више информација потражите на страници документације Делта језера.

Кључни разлози за повезивање са подацима ускладиштеним у Делта формату:

Директно увезите податке делта форматираних да бисте уштедели време и труд.
Елиминишите трошкове израчунавања и складиштења повезане са трансформацијом и складиштењем копије података из језерске куће.
Аутоматски побољшајте поузданост уношења података коју обезбеђује Customer Insights - Data Делта верзија.

Предуслови

Мора Azure Data Lake Storage бити у истом закупу и Азуре региону као Customer Insights - Data.
Директор Customer Insights - Data услуге мора да има податке о складиштењу сарадник за приступ налогу за складиштење. Више информација потражите у чланку Додељивање дозвола директору услуге за приступ налогу за складиштење.
Кориснику који подешаје или ажурира < ДИЦТ__извор података > дата соурце су потребне најмање дозволе за складиштење читалац података на налогу Azure Data Lake Storage .
Подаци ускладиштени у услугама на мрежи могу бити ускладиштени на другој локацији од места где се подаци обрађују или складиште. Увозом или повезивањем са подацима ускладиштеним у услугама на мрежи слажете се да се подаци могу пренети. Сазнајте више у Мицрософт центру за поузданост.
Табеле делта морају бити у фасцикли у контејнеру за складиштење и не могу бити у основном директоријуму контејнера. На пример:
```
storageaccountcontainer/
    DeltaDataRoot/
       ADeltaTable/
             _delta_log/
                 0000.json
                 0001.json
             part-0001-snappy.parquet
             part-0002-snappy.parquet
```

Подаци у делта табелама Azure Data Lake Storage морају бити у Делта табелама. Customer Insights - Data ослања се на својство верзије у историји табеле да би идентификовао најновије промене за постепену обраду.

Повежи се са Делта подацима из Azure Data Lake Storage

Идите на изворе > података података.
Изаберите опцију Додај < ДИЦТ__извор података > дата соурце.
Изаберите Азуре Дата Лаке Делта табеле.
Унесите < ДИЦТ__извор података > дата соурце и опционални Опис. Име се упућује на низводне процесе и није могуће променити га након креирања < ДИЦТ__извор података > дата соурце.
Одаберите једну од следећих опција за повезивање складишта помоћу.
- Азуре претплате : Изаберите претплату , а затим налог групе ресурса и складишта.
- Азуре ресурса : Унесите ИД ресурса.
Опционално, ако желите да уносите податке из налога за складиштење путем Азуре приватне везе, изаберите опцију Омогући приватну везу. Више информација потражите у чланку Приватне везе.
Одаберите име контејнера који садржи фасциклу ваших података и кликните на дугме Даље .
Дођите до фасцикле која садржи податке у Делта табелама и изаберите их. Затим кликните на дугме Даље . Приказаће се листа доступних табела.
Изаберите табеле које желите да укључите.
За изабране табеле у којима примарни кључ није дефинисан,Потребни прикази у оквиру примарног кључа. За сваку од ових табела:
1. Изаберите потребну. Приказаће се табла "Уређивање табеле".
2. Одаберите примарни кључ. Примарни кључ је атрибут јединствен за табелу. Да би атрибут био важећи примарни кључ, не би требало да садржи дуплиране вредности, недостајуће вредности или празне вредности. Атрибути типа ниска, цео број и ГУИД тип података су подржани као примарни кључеви.
3. Кликните на дугме " Затвори" да бисте сачували и затворили таблу.
Изаберите број колона за табелу да бисте омогућили профилисање података у било којој колони. Приказаће се страница"Управљање атрибутима".
1. Изаберите профилисање података за целу табелу или за одређене колоне. Подразумевано, ниједна табела није омогућена за профилисање података.
2. Изаберите Готово.
Изаберите ставку Сачувај. Отвориће се страница"Извори података" која приказује нову < ДИЦТ__извор података > дата соурце у статусу "Освежавање ".

Савет

Постоје статуси за задатке и процесе. Већина процеса зависи од других узводних процеса, као што су извори података и освежавање профилисања података.

Изаберите статус да бисте отворили окно са детаљима о току и приказали ток задатака. Да бисте отказали посао, кликните на дугме " Откажи посао" на дну окна.

У оквиру сваког задатка можете изабрати погледајте детаље за више информација о току, као што су време обраде, датум последње обраде и све применљиве грешке и упозорења повезана са задатком или процесом. Изаберите статус система "Прикажи " на дну табле да бисте видели друге процесе у систему.

Учитавање података може потрајати. Након успешног освежавања, унети подаци могу да се редигује са странице " Табеле ".

Управљање променама шеме

Када се колона дода или уклони из шеме делта фасцикли < ДИЦТ__извор података > дата соурце , систем покреће потпуно освежавање података. Потпуно освежавање траје дуже за обраду свих података од постепеног освежавања.

Додајте колону

Када се колона дода у < ДИЦТ__извор података > дата соурце , информације се аутоматски додају подацима када дође до Customer Insights - Data освежавања. Ако сте већ подесили уједињење табеле, нова колона мора бити додата процесу уједињења.

У менију Подаци о корак изаберите табеле и колоне и изаберите нову колону.
У приказу обједињених корак уверите се да колона није искључена из профила купца. Изаберите опцију " Искључено" и прочитао колону.
У прозору Покрени исправке обједињеног профила корак изаберите опцију Уједини профиле и зависности клијената.

Мењање или уклањање колоне

Када се колона уклони из < ДИЦТ__извор података > дата соурце , систем проверава да ли постоји зависност у другим процесима. Ако постоји зависност од колона, систем зауставља освежавање и пружа грешку која указује на то да зависности морају бити уклоњене. Ове зависности се приказују у обавештењу да би вам помогле да их пронађете и уклоните.

Провера ваљаности промене шеме

Када < ДИЦТ__извор података > дата соурце освежите, идите на страницу "Табеле података > ". Изаберите табелу за < ДИЦТ__извор података > дата соурце и проверите шему.

Делта језеро путовање кроз време и освежавање података

Делта лаке путовање кроз време је могућност упита кроз верзије табеле на основу временске осе или броја верзије. Промене у Делта фасциклама су верзије и Customer Insights - Data користе верзије фасцикле "Делта" за праћење података које треба обрадити. У обичном освежавању делта табеле подаци се извлаче из свих верзија табеле података од последњег освежавања. Све док су све верзије присутне, могу да Customer Insights - Data обраде само промењене елементе и дати брже резултате. Сазнајте више о путовању кроз време.

На пример, ако су увиди клијената – подаци последњи пут синхронизовани са верзијом 23 података делта фасцикле, очекује да ће пронаћи верзију 23 и вероватно наредне верзије доступне. Ако очекиване верзије података нису доступне, синхронизација података неће успети и захтева ручно освежавање целих података. Синхронизација података може да не успе ако су подаци делта фасцикле избрисани, а затим поново креирани. Или ако није Customer Insights - Data било могуће повезати се са Делта фасциклама дужи период док су верзије напредне.

Да бисте избегли потребу за потпуним освежавање података, препоручујемо да задржите разуман заостатак у историји, на пример 15 дана.

Ручно покретање освежавања комплетних података у фасцикли делта табеле

Потпуно освежавање узима све податке из табеле у Делта формату и поново их учита из Делта табеле верзије нула (0). Промене шеме делта фасцикле покрећу аутоматско потпуно освежавање. Извршите следеће кораке да бисте ручно покренули потпуно освежавање.

Идите на изворе > података података.
Изаберите табеле Делта језера Азуре < ДИЦТ__извор података > дата соурце .
Изаберите табелу коју желите да освежите. Приказаће се окно "Уређивање табеле".
Изаберите Покрени једновремено потпуно освежавање.
Кликните на дугме Сачувај да бисте покренули освежавање. Отвориће се страница"Извори података" која приказује < ДИЦТ__извор података > дата соурце статусу "Освежавање ", али само изабрана табела освежава.
Поновите процес за друге табеле, ако је применљиво.

Синхронизација података није успела

Синхронизација података може да не успе ако су подаци делта фасцикле избрисани, а затим поново креирани. Или ако није Customer Insights - Data било могуће повезати се са Делта фасциклама дужи период док су верзије напредне. Да бисте умањили утицај на то да повремени квар на цевоводу података ствара потребу за потпуним освежавањем, препоручујемо да задржите разуман заостатак историје, као што је 15 дана.

Следећи кораци

Преглед уједињења података

Делите путем