Споделяне чрез

Създайте Azure Synapse връзка за Dataverse с Azure Data Lake

  • Статия

Можете да използвате Azure Synapse връзката, за да свържете вашите Microsoft Dataverse данни към Azure Data Lake Storage Gen2, за да активирате различни сценарии за анализ. Тази статия ви показва как да изпълните следните задачи:

  1. Свържете вашите Dataverse данни с вашия Azure Data Lake Storage Gen2 акаунт с Azure Synapse Link услугата.
  2. Управление на Dataverse таблици, включени във връзката Azure Synapse .
  3. Наблюдавайте вашата Azure Synapse връзка.
  4. Прекъснете връзката с вашата Azure Synapse връзка.
  5. Свържете отново вашата Azure Synapse връзка.
  6. Прегледайте данните в Azure Data Lake и разберете структурата на файла.

Бележка

Azure Synapse Връзката за Dataverse преди беше известна като Експортиране към езерото с данни. Услугата е преименувана в сила през май 2021 г. и ще продължи да експортира данни към Azure Data Lake, както и Azure Synapse Analytics.

Предварителни изисквания

  • Azure Data Lake Storage Gen2: Трябва да имате Azure Data Lake Storage акаунт Gen2 и собственик и сътрудник на Blob данни за съхранение ролеви достъп. Вашият акаунт за съхранение трябва да активира Йерархично пространство от имена както за първоначална настройка, така и за делта синхронизиране. Изисква се достъп до ключа на акаунта за съхранение само за първоначална настройка.

Бележка

  • Акаунтът за съхранение трябва да бъде създаден в същия Microsoft Entra наемател като вашия Power Apps наемател.
  • За да настроите Активирано от избрани виртуални мрежи и IP адреси за свързан акаунт за съхранение за предоставяне на достъп от избрани IP адреси, трябва да създадете Azure Synapse Връзка с управляван самоличности.Използвайте управлявани идентичности за Azure с вашето хранилище за езеро с данни Azure (без управлявани настроени самоличности, трябва да разрешите достъп до публична мрежа за ресурси на Azure както за първоначална настройка, така и за делта синхронизиране.)
  • Силно препоръчваме да активирате функцията за меко изтриване на избрания за тази цел акаунт за съхранение. Активирането на мекото изтриване ви позволява по-бързо да се възстановявате от случайни изтривания на данни.
  • Трябва да имате достъп Reader роля до групата ресурси с акаунта за съхранение.
  • За да свържете средата на Azure Data Lake Storage Gen2, трябва да имате права за достъп на системен администратор на Dataverse.
  • Само таблици, за които е разрешено проследяване на промените, могат да бъдат експортирани.
  • Създаването на Azure Synapse профили за връзки в една Dataverse среда е ограничено до максимум 10.

Свържете Dataverse към Azure Data Lake Storage Gen2

  1. влезте в Power Apps и изберете предпочитаната от вас среда.

  2. В левия навигационен панел изберете Azure Synapse Връзка. Ако Azure Synapse Връзката не се вижда в панела на страничния панел, изберете …Още и изберете Открийте всички. Azure Synapse Връзката е в раздела Управление на данни .

  3. В командната лента изберете + Нова връзка към езерото с данни.

  4. Изберете Абонамент, Ресурсна група и Акаунт за съхранение. Уверете се, че акаунтът за съхранение отговаря на изискванията, посочени в раздела Предварителни условия . Изберете Напред.

    Бележка

    Като част от свързването на средата към езеро от данни, вие предоставяте на услугата Azure Synapse Link достъп до вашия акаунт за съхранение. Уверете се, че сте спазили предпоставките за създаване и конфигуриране на акаунта за съхранение на Azure data lake и предоставяне на роля на собственик на акаунта за съхранение. Освен това предоставяте на услугата за потоци от данни на Power Platform достъп до вашия акаунт за съхранение. Повече информация: Подготовка на данни за самообслужване с потоци от данни.

  5. Добавете таблиците, които искате да експортирате, и след това изберете Запазване. Само таблици с разрешено проследяване на промените могат да бъдат експортирани. Повече информация: Активиране на проследяването на промените.

    Изберете таблици за експортиране.

Можете да следвате стъпките в тази статия, за да създадете връзка от една среда към множество езера с данни на Azure във вашия абонамент за Azure. По същия начин можете да създадете връзка от множество среди към същия Azure Data Lake, всички в рамките на един и същ наемател.

Бележка

Azure Synapse Връзката за Dataverse услугата е безпроблемно интегрирана в Power Platform като функция извън кутията. Той отговаря на стандартите за сигурност и управление, определени за Power Platform съхранение и управление на данни. Повече информация: Съхранение и управление на данни

Данните, експортирани от услугата Azure Synapse Link, се криптират при транзит с помощта на защита на транспортния слой (TLS) 1.2 или по-нова версия и се криптират в покой в Azure Data Lake Storage Gen2. Освен това, преходните данни в хранилището за BLOB също са шифровани в покой. Шифроването в Azure Data Lake Storage Gen2 ви помага да защитите вашите данни, да прилагате политики за сигурност на предприятието и да отговаряте на изискванията за спазване на регулаторите. Повече информация: Azure Data Encryption-at-Rest

Управление на данните от таблицата към хранилището за необработени данни

След като настроите Azure Synapse връзката, можете да управлявате таблиците, които се експортират по един от двата начина:

  • В областта Power Apps maker portal Azure Synapse Link изберете Manage tables от командната лента, за добавяне или премахване на една или повече свързани таблици.

  • В Power Apps портала на създателя Таблици област изберете … до маса и след това изберете свързаното езеро от данни, където искате да експортирате таблични данни.

    Изберете таблица за експортиране.

След като настроите Azure Synapse връзката, можете да наблюдавате Azure Synapse връзката в раздела Таблици .

Azure Synapse Мониторинг на връзката

  • Ще има списък с таблици, които са част от избраната Azure Synapse връзка.
  • Има различни етапи, през които преминава състоянието на синхронизиране. NotStarted показва, че таблицата чака да бъде синхронизирана. След като първоначалното синхронизиране на таблицата е завършено, има етап на последваща обработка, където няма да се извършват постепенни актуализации. Това може да отнеме няколко часа в зависимост от размера на вашите данни. Тъй като постъпково актуализиране започва да се извършва, датата за последната синхронизация ще се актуализира редовно.
  • Колоната Count показва броя на записаните редове. Когато Само добавяне е зададено на Не, това е общият брой записи. Когато Само добавяне е зададено на Да, това е общият брой промени.
  • Колоните Само добавяне и Стратегия за разделяне показват използването на различни разширени конфигурации.

  1. Изберете желаната Azure Synapse връзка, за да прекратите връзката.

  2. Изберете Прекратяване на връзката с езерото с данни от командната лента.

  3. За да изтриете и двете файлови системи на езерото с данни, изберете Изтриване на файловата система на езерото с данни.

  4. Изберете Да и изчакайте няколко минути, за да се премахне връзката и изтрие всичко.

Ако сте изтрили файловата система при прекратяване на връзката, следвайте стъпките по-горе, за да свържете отново същото data lake. Ако не сте изтрили файловата система при прекратяване на връзката, трябва да изчистите данните, за да свържете отново:

  1. Отидете в Azure Data Lake.

  2. Изтрийте контейнера Dataverse.

  3. Отидете в Power Apps и свържете отново Data Lake.

Преглед на данните в Azure Data Lake Storage Gen2

  1. Изберете желаната Azure Synapse връзка и след това изберете Отидете на езерото с данни на Azure от горния панел.

  2. Разгънете Файлови системи и след това изберете dataverse-environmentName- organizationUniqueName.

Файлът model.json, заедно с името и версията, предоставя списък с таблици, които са експортирани към хранилището за необработени данни. Файлът model.json също включва първоначалното състояние на синхронизацията и времето на приключване на синхронизацията.

За всяка таблица, експортирана към хранилището за необработени данни, се показва папка, която включва файлове на моментни снимки, разделени със запетая (CSV формат). Данни в таблицата в езерото с данни.

  1. В адресната лента на уеб браузърите добавете ?athena.updateLake=true към уеб адреса, който завършва с exporttodatalake.

  2. Изберете съществуващ профил от Azure Synapse областта Връзка и след това изберете разширена опция.

  3. Изберете Връзка към Azure Synapse Analytics работното пространство и изчакайте няколко минути, за да се свърже всичко.

Непрекъснати актуализации на снимки

Данните на Microsoft Dataverse могат непрекъснато да се променят чрез създаване, актуализиране и изтриване на трансакции. Снимките предоставят копие на снимка на данни само за четене, което се актуализира на равни интервали, в случая на всеки час. Това гарантира, че във всеки един момент даден потребител на анализа на данните може надеждно да използва данните в хранилището.

Непрекъснати актуализации на моментни снимки.

Когато таблиците се добавят като част от първоначалния експорт, данните от таблицата се записват във файловете table.csv под съответните папки в хранилището за необработени данни. Това е интервалът T1, където се създава файл само за четене на моментна снимка с име table-T1.csv – например Account-T1.csv или Contacts-T1.csv. Освен това файлът model.json се актуализира, за да показва тези файлове със снимки. Като отворите model.json, можете да видите подробности за снимката.

Ето пример на папка с разделен файл Account.csv и снимка в хранилището за необработени данни.

Моментна снимка на таблицата на сметките.

Промените в Dataverse непрекъснато се прехвърлят към съответните CSV файлове с помощта на системата за постепенно подаване. Това е интервалът T2, където се прави друга снимка. table-T2.csv – например Accounts-T2.csv или Contacts-T2.csv (ако приемем, че има промени за таблицата) – и model.json се актуализират до новите файлове с моментни снимки. Всеки нов човек, който преглежда данните със снимки от T2 нататък, се насочва направо към по-новите файлове със снимки. По този начин, първият, който преглежда снимките, може да продължи да работи върху по-старите файлове със снимки T1, докато следващите преглеждащи могат да четат последните актуализации. Това е полезно при сценарии, които имат по-продължителни процеси надолу по веригата.

Бележка

Нов файл с моментна снимка се създава само ако има актуализация на данните. Запазват се само последните пет файла с моментни снимки. Застоялите данни се премахват автоматично от вашия Azure Data Lake Storage акаунт от второ поколение.

Ето пример за файла model.json, който винаги посочва файла със снимка на клиент с най-новото времево клеймо.

Примерна снимка model.json файл.

Какво следва?

След като използвате Azure Synapse успешно връзката за Dataverse услугата, открийте как можете да анализирате и използвате данните си с Discover Hub. За достъп до Discover Hub отидете на Power Apps>Azure Synapse Link. Изберете свързаната услуга и след това изберете раздела Discover Hub . Тук можете да намерите препоръчани инструменти и подбрана документация, която да ви помогне да извлечете максимална полза от вашите данни. Открийте Хъб.

Вижте също

Анализирайте Dataverse данните в езерото с данни с Power BI

Поглъщане Dataverse на данни в езерото с базата на данни на Azure

Azure Synapse Връзка за Dataverse разширена конфигурация

Azure Synapse Често задавани въпроси за връзки