Azure Synapse Link for Dataverse – Најчешћа питања

Датотеке са подацима не би требало да буду модификоване од стране купца и никакве датотеке са клијентима не би требало да буду смештене у фасцикле са подацима.

Да бисте приступили односи много-на-више, однос је доступан као табела за одабир са странице Додај табеле за нову везу и из Управљање табелама за већ постојећу везу.

Azure Synapse Link је бесплатна функција са Dataverse. Коришћење Azure Synapse Link for Dataverse не изазива додатне трошкове под. Dataverse Међутим, размотрите потенцијалне трошкове за Азуре услугу:

• Складиштење података у Azure Data Lake Storage Gen2: Азуре Стораге Дата Лаке Gen2 Цене | Microsoft Azure
• Трошкови потрошње података (као што је Синапсе Wоркспаце): Цене - Azure Synapse Analytics | Microsoft Azure За свеобухватне информације о Мицрософт Цост Манагемент-у, идите на: План за управљање трошковима Азуре - Мицрософт Цост Манагемент | Microsoft Learn

Када додате нову колону у табелу у изворном коду, она је такође додата на крају фајла у одредишту у одговарајућој фајл партицији. Док редови који су постојали пре додавања колоне нису приказани у новој колони, нови или ажурирани редови приказују ново додату колону.

Када избришете колону из табеле у извору, колона није испуштена са одредишта. Уместо тога, редови се више не ажурирају и означавају се као нула уз очување претходних редова.

Промена типа података колоне је прекидна промена и потребно је да се повежете и поново повежете.

Брисање реда обрађује се различито на основу изабраних опција уписивања података:

• Ажурирање на месту са ЦСВ форматом: Ово је подразумевани режим. Када избришете ред табеле у овом режиму, ред се такође брише из одговарајуће партиције података у Азуре Дата Лаке. Другим речима, подаци се тешко бришу са одредишта.
• Само додатак са ЦСВ форматом и инкременталним ажурирањем фасцикле: У овом режиму, када се избрише ред табеле Dataverse , није тешко избрисан са одредишта. Уместо тога, ред се додаје и поставља као isDeleted=True датотека у одговарајућој партицији података у Азуре Дата Лаке.
• Извоз у формат Делта језера: Azure Synapse Link врши меко брисање података током следећег циклуса делта синхронизације, након чега следи хард делете након 30 дана.

Azure Synapse Link прати заједнички модел података како би се омогућило да се подаци и његово значење деле у апликацијама и пословним процесима као што су Microsoft Power Apps Power BI Динамицс КСНУМКС и Азуре. У сваком ЦДМ фолдеру, метаподаци као заглавље колоне се чувају у датотеци модел.јсон. Више информација: Заједнички модел података и Azure Data Lake Storage Gen2 | Microsoft Learn

Модел .јсон задржава дужину базе података за величину колоне. Dataverse има концепт дужине базе података за сваку колону. Ако креирате колону величине 200 и касније је смањите на 100, Dataverse и даље дозвољава да постојећи подаци буду присутни Dataverse. То чини држећи DBLength се 200 и MaxLength 100. Оно што видите у Модел.јсон је и DBLength ако то користите за низводне процесе, никада нећете обезбедити мање простора за своје Dataverse колоне.

Постоје три формата датума и времена које можете да очекујете у извезеним Dataverse табелама.

Ово понашање се очекује када изаберете режим извоза само за додавање и имате табеле без важеће колоне ЦреатедОн . Блобови су организовани у фајлове као што су 1.цсв, 2.цсв (користећи прилагођено партиционисање због одсуства важећег датума креирања). Када се било која партиција приближи 95% од МаxБлоцкПерБлобЛимит, систем аутоматски генерише нови фајл—илустровано овде као 1_001.цсв.

За Dataverse табеле у којима је обим података велик у року од годину дана, препоручујемо вам употребу месечних партиција. То резултира мањим датотекама и бољим перформансама. Поред тога, ако се редови у Dataverse табелама често ажурирају, раздвајање на више мањих датотека помаже у побољшању перформанси у случају сценарија ажурирања на лицу места. Делта Лаке је доступан само са годишњом партицијом због својих супериорних перформанси у односу на ЦСВ формат.

У режиму само додавања, инкрементални подаци из Dataverse табела се додају одговарајућој партицији фајла у језеру. За више информација: Напредне опције конфигурације у Azure Synapse Link

Режим „Само додај“ је препоручена опција за писање података Dataverse табеле у језеро, посебно када је количина података велика у партицији са подацима који се често мењају. Опет, ово је често коришћена и топло препоручена опција за пословне кориснике. Поред тога, овај режим можете да користите за сценарије у којима је намера постепени преглед промена Dataverse и обрадити промене за ETL, AI и ML сценарије. Режим „Само додај“ пружа историју промена, уместо најновије промене или ажурирања на месту, и омогућава неколико временских серија из AI сценарија, попут предвиђања или аналитике прогнозирања засновану на историјским вредностима.

У режиму додавања само, требало би да идентификујете најновију верзију записа са истим ИД-ом користећи VersionNumber и SinkModifiedOn затим примените isDeleted=0 на најновију верзију.

За режим само за додавање, ако Azure Synapse Link for Dataverse не добије потврду из Азуре језера података да су подаци извршени из било ког разлога, као што су кашњења мреже, Azure Synapse Link покушаће поново у тим сценаријима и поново урезивати податке. Низводна потрошња треба да буде отпорна на овај сценарио филтрирањем података користећи SinkModifiedOn.

То је очекивано. Modifiedon је датум и време у којем се запис мења Dataverse; Sinkmodifiedon је датум и време када се запис мења у језеру података.

Свака табела која нема омогућено праћење промена није подржана поред следећих системских табела:

• Прилог
• Календар
• Calendarrule

Делта Лаке конверзија посао се активира када је дошло до промене података у конфигурисаном временском интервалу. Не постоји могућност да се заустави или паузира базен. Apache Spark Међутим, можете да измените временски интервал након креирања везе под Управљање табелама > Напредни временски интервал.

Колоне за претрагу се састоје од ИД-а и вредности. Вредности претраге се мењају само на корену табели. Да бисте боље одражавали вредност колоне за претрагу, препоручујемо да се придружите оригиналној коренској табели да бисте добили најновију вредност.

У Dataverse, израчунате колоне задржавају само информације о формули, а стварна вредност зависи од колоне основне табеле. Дакле, израчунате колоне су подржане само када се све колоне налазе у истој извезеној табели.

Све табеле које немају цреатедОн поље је синхронизовано коришћењем додавања само режим по дефаулту. Ово укључује табеле односа и табелу АцтивитиПартy.

• Dataverse Подаци се чувају у повезаном контејнеру за складиштење. Потребна вам је улога "Стораге Блоб Дата сарадник" на повезаном рачуну за складиштење да бисте извршили операције читања и упита путем Синапсе Wоркспаце-а.
• Ако одлучите да извозите податке у формату Делта Лаке, ваша ЦСВ датотека се чисти након конверзије Делта Лаке. Потребно је да упитате податке са нон_партитионед табелама преко Синапсе Wоркспаце-а.

Dataverse подаци се могу непрестано мењати кроз креирање, ажурирање и брисање трансакција. Ова грешка је узрокована основном датотеком која се мења када читате податке из ње. Дакле, за табеле са сталним променама, промените свој цевовод потрошње да бисте користили снимак податке (партициониране табеле) за потрошњу. Више информација: Решавање проблема без сервера СКЛ базен

Azure Synapse Link for Dataverse је дизајниран за аналитичке сврхе. Препоручујемо корисницима да користе дугорочно задржавање у архивске сврхе. Више информација: Dataverse преглед дугорочног задржавања података

За било који директан СКЛ позив за уклањање записа, Azure Synapse Link for Dataverse услуга се не активира јер БПО. Делете се не зове. За функцију узорка идите на Како очистити наслеђени приступ.

Погледајте и

Azure Synapse Link for Dataverse