Споделяне чрез


ЧЗВ за Azure Synapse Link for Dataverse

Тази статия предоставя информация за често задавани въпроси относно експортирането на таблични данни на Microsoft Dataverse към Azure Synapse Analytics и Azure Data Lake.

Мога ли ръчно да изпълнявам задачи като създаване, актуализиране, изтриване или задаване на правила за автоматично изтриване на файлове с данни в свързаното хранилище на Azure?

Файловете с данни не трябва да се променят от клиент и не трябва да се поставят клиентски файлове в папките с данни.

Бележка

За да пуснете остарели и застояли данни в езерото с данни, без да нарушавате Azure Synapse Link, помислете за използването на функцията Заявка и анализирайте постепенните актуализации

Как мога да получа достъп до релациите си в таблицата?

За достъп до релации "много към много", релацията е налична като таблица за избор от страницата Добавяне на таблици за нова връзка и от Управление на таблици за вече съществуваща връзка.

Бележка

Всички данни за релации са в режим само за добавяне по подразбиране, когато са написани в CSV формат.

Azure Synapse Link е безплатна функция с Dataverse. Използването Azure Synapse Link for Dataverse не води до допълнителни такси. Dataverse Помислете обаче за потенциалните разходи за услугата Azure:

Какво се случва, когато добавя колона?

Когато добавите нова колона към таблица в източника, тя също се добавя в края на файла в местоназначението в съответния файлов дял. Докато редовете, които са съществували преди добавянето на колоната, не се показват в новата графа, новите или актуализираните редове показват новодобавената колона.

Какво се случва, когато изтрия колона?

Когато изтриете колона от таблица в източника, колоната не отпада от местоназначението. Вместо това редовете вече не се актуализират и се маркират като нула, като същевременно се запазват предишните редове.

Какво се случва, ако променя типа данни на колона?

Промяната на типа данни на колона е критична промяна и трябва да прекратите връзката и да се свържете отново.

Какво се случва, когато изтрия ред?

Изтриването на ред се обработва по различен начин в зависимост от избраните от вас опции за запис на данни:

  • Актуализация на място с CSV формат: Това е режимът по подразбиране. Когато изтриете ред на таблица в този режим, редът се изтрива и от съответния дял от данни в Azure Data Lake. С други думи, данните трудно се изтриват от местоназначението.
  • Само за добавяне с CSV формат и инкрементална актуализация на папка: В този режим, когато ред Dataverse от таблица бъде изтрит, той не се изтрива трудно от местоназначението. Вместо това се добавя ред и се задава като isDeleted=True файла в съответния дял от данни в Azure Data Lake.
  • Експортиране във формат на Delta lake: Azure Synapse Link извършва меко изтриване на данни по време на следващия цикъл на делта синхронизация, последвано от твърдо изтриване след 30 дни.

Защо не виждам заглавие на колона в експортирания файл?

Azure Synapse Link следва общия модел на данни, за да направи възможно данните и означава да се споделят между приложения и бизнес процеси като Microsoft Power Apps Power BI Dynamics 365 и Azure. Във всяка CDM папка метаданни като заглавка на колона се съхраняват във файла model.json. Повече информация: Общ модел на данни и Azure Data Lake Storage Gen2 | Microsoft Learn

Защо Model.json файлът се увеличава или променя по дължина за типовете данни и не запазва дефинираното Dataverse?

Model.json запазва дължината на базата данни за размера на колоната. Dataverse има концепция за дължина на базата данни за всяка колона. Ако създадете колона с размер 200 и по-късно я намалите до 100, Dataverse все още позволява съществуващите ви данни да присъстват. Dataverse Той прави това, като се придържа DBLength към 200 и MaxLength до 100. Това, което виждате в Model.json, е DBLength и ако го използвате за процеси надолу по веригата, никога няма да осигурите по-малко място за вашите Dataverse колони.

Бележка

Полетата за бележки са дефинирани като varchar(max) с максимална дължина по подразбиране от 9999.

Какви формати за дата и час могат да се очакват при експортиране на таблици на Dataverse?

Има три формата за дата и час, които могат да се очакват в експортираните таблици на Dataverse.

Име на колона Формат Тип данни Пример
SinkCreatedOn и SinkModifiedOn M/d/yyyy H:mm:ss tt datetime 6/28/2021 4:34:35 PM
CreatedOn yyyy-MM-dd'T'HH:mm:ss.sssssssXXX datetimeOffset 2018-05-25T16:21:09.0000000+00:00
Всички други колони yyyy-MM-dd'T'HH:mm:ss'Z' datetime 2021-06-25T16:21:12Z

Бележка

Типът данни CreatedOn е променен от datetime на datetimeOffset 29.07.2022 г. За да редактирате формата на типа данни за таблица, създадена преди промяната, пуснете и добавете отново таблицата.

Можете да изберете различно поведение на колона за колона "Дата и час", Dataverse която актуализира формата на типа данни. Повече информация: Поведение и формат на колоната за дата и час

Защо виждам имена на 1.csv или 1_001.csv файлове вместо обикновени имена на файлове с дата и час за някои Dataverse таблици?

Това поведение се очаква, когато изберете режим на експортиране само за добавяне и имате таблици без валидна колона CreatedOn . Множествата са организирани във файлове като 1.csv, 2.csv (използване на персонализирано разделяне поради липса на валидна дата на създаване). Когато някой дял се доближи до 95% от MaxBlockPerBlobLimit, системата автоматично генерира нов файл – илюстриран тук като 1_001.csv.

Кога трябва да използвам годишна или месечна стратегия за разделяне?

За таблици на Dataverse, където обемът на данни е голям в рамките на една година, препоръчваме ви да използвате месечни дялове. Това води до по-малки файлове и по-добра производителност. Освен това, ако редовете в Dataverse таблиците се актуализират често, разделянето на множество по-малки файлове помага за подобряване на производителността в случай на сценарии за актуализиране на място. Delta Lake се предлага само с годишно разделяне поради превъзходната си производителност в сравнение с CSV формата.

Какво е режим само за добавяне и каква е разликата между режим само за добавяне и режим на актуализиране на място?

В режим само на добавяне, инкременталните данни от Dataverse таблици се добавят към съответния файлов дял в езерото. За повече информация: Разширени опции за конфигуриране в Azure Synapse Link

Кога да използвам режима само за добавяне за исторически изглед на промените?

Режимът само добавяне е препоръчителната опция за писане таблични данни на Dataverse към хранилището, особено когато обемите на данни са големи в дял с често променящи се данни. Отново, това е често използвана и силно препоръчвана опция за корпоративни клиенти. Освен това можете да изберете да използвате този режим за сценарии, при които целта е постепенно да преглежда промените от Dataverse и обработва промените за сценариите ETL, AI и ML. Режимът само добавяне предоставя история на промените, вместо последната промяна или актуализация на място, и позволява няколко времеви редици от сценарии на AI, като прогноза или анализи на прогнози, базирани на исторически стойности.

Как да извлека най-актуалния ред от всеки запис и да изключа изтритите редове, когато експортирам данни в режим само на добавяне?

В режим само на добавяне трябва да идентифицирате най-новата версия на записа със същия ИД и VersionNumber SinkModifiedOn след това да приложите isDeleted=0 към най-новата версия.

Защо виждам дублирани номера на версии, когато експортирам данни в режим само на добавяне?

За режим само на добавяне, ако Azure Synapse Link for Dataverse не получи потвърждение от езерото с данни на Azure, че данните са ангажирани поради някаква причина, като например забавяне на мрежата, Azure Synapse Link ще опита отново в тези сценарии и ще ангажира данните отново. Потреблението надолу по веригата следва да стане устойчиво на този сценарий чрез филтриране на данните. SinkModifiedOn

Защо виждам разлики в колоните Sinkmodifiedon и Modifiedon?

Очаквано е. Modifiedon е датата и часът, в който записът се променя Dataverse; Sinkmodifiedon е датата и часът, в които записът се променя в езерото с данни.

Кои Dataverse таблици не се поддържат за експортиране?

Всяка таблица, за която не е разрешено проследяване на промените, не се поддържа в допълнение към следните системни таблици:

  • Прикачен файл
  • Календар
  • Calendarrule

Бележка

Можете да добавите таблицата за одит за експортиране. Azure Synapse Link for Dataverse Експортирането на одитната таблица обаче се поддържа само с профили на Delta Lake.

Използвам функцията за експортиране в делта езеро, мога ли да спра задачата Apache Spark или да променя времето за изпълнение?

Заданието за преобразуване на Delta Lake се задейства, когато има промяна на данните в конфигурирания интервал от време. Няма опция за спиране или спиране на Apache Spark пула. Можете обаче да промените интервала от време след създаването на връзката под Управление на таблици > интервал от време за разширени.

Справочните колони се състоят от ИД и стойност. Справочните стойности се променят само в основната таблица. За да отразите по-добре стойността на справочна колона, препоръчваме да се присъедините към първоначалната основна таблица, за да получите най-новата стойност.

В Dataverse изчисляемите колони се запазва само информацията за формулата, а реалната стойност зависи от колоната на основната таблица. Така че изчисляемите колони се поддържат само когато всички колони се намират в една и съща експортирана таблица.

Кои Dataverse таблици използват режим само за добавяне по подразбиране?

Всички таблици, които нямат поле createdOn, се синхронизират с помощта на режим само на добавяне по подразбиране. Това включва таблици на релация и таблицата ActivityParty.

Защо виждам съобщението за грешка - Съдържанието на директорията на пътя не може да бъде изброено?

  • Dataverse Данните се съхраняват в свързания контейнер за съхранение. Имате нужда от ролята "Сътрудник на данни за BLOB за съхранение" в свързания акаунт за съхранение, за да извършвате операции за четене и заявки чрез Synapse Workspace.
  • Ако изберете да експортирате данни с формат Delta Lake, CSV файлът ви се почиства след преобразуването на Delta Lake. Трябва да заявите данни с non_partitioned таблици чрез Synapse Workspace.

Защо виждам съобщението за грешка - не може да се зареди групово, защото файлът е непълен или не може да бъде прочетен (само CSV файл)?

Данните на Dataverse могат непрекъснато да се променят чрез създаване, актуализиране и изтриване на трансакции. Тази грешка се причинява от промяната на основния файл, когато четете данни от него. Така че, за таблици с непрекъснати промени, променете конвейера за потребление, за да използвате данни за моментна снимка (разделени таблици) за потребление. Повече информация: Отстраняване на неизправности без сървър SQL пул

Azure Synapse Link for Dataverse е предназначен за аналитични цели. Препоръчваме на клиентите да използват дългосрочно съхранение за целите на архивирането. Повече информация: Dataverse преглед на дългосрочното съхранение на данни

Защо не виждам никакви промени в данните в езерото с данни, когато записите са изтрити Dataverse?

За всяко директно SQL извикване за премахване на запис Azure Synapse Link for Dataverse услугата не се задейства, защото BPO. Изтриване не се извиква. За примерна функция отидете на Как да изчистите наследения достъп.