Споделяне чрез

Създаване на Azure Synapse Link for Dataverse с Azure Data Lake

  • Статия

Можете да използвате Azure Synapse Link, за да свържете своите данни на Microsoft Dataverse към Azure Data Lake Storage Gen2 за активиране на различни сценарии за анализ. Тази статия ви показва как да изпълните следните задачи:

  1. Свържете данните на Dataverse с акаунта на Azure Data Lake Storage Gen2 в услугата на Azure Synapse Link.
  2. Управление на таблици на Dataverse, включени в Azure Synapse Link.
  3. Проследявайте Azure Synapse Link.
  4. Прекратете връзката на Azure Synapse Link.
  5. Свържете повторно Azure Synapse Link.
  6. Прегледайте данните в Azure Data Lake и разберете структурата на файла.

Бележка

Azure Synapse Link for Dataverse по-рано беше известен като Export to data lake. Услугата е преименувана в сила през май 2021 г. и ще продължи да експортира данни към Azure Data Lake, както и Azure Synapse Analytics.

Предварителни изисквания

  • Azure Data Lake Storage Gen2: Трябва да имате акаунт в Azure Data Lake Storage Gen2 и достъп на роля Собственик и Създател на данни за хранилище за BLOB. Вашият акаунт за съхранение трябва да активира йерархично пространство от имена както за първоначална настройка, така и за делта синхронизиране. Разрешаване на достъп до ключа на акаунта за съхранение се изисква само за първоначалната настройка.

Бележка

  • Акаунтът за съхранение трябва да бъде създаден в същия Microsoft Entra клиент като вашия Power Apps клиент.
  • За да зададете Разрешено от избрани виртуални мрежи и IP адреси за свързан акаунт за съхранение, за да предоставите достъп от избрани IP адреси, трябва да създадете Azure Synapse Link с управлявани самоличности.Използвайте управлявани самоличности за Azure с вашето хранилище на езерото за данни на Azure (без да сте настроени управлявани самоличности, трябва да разрешите достъп до публична мрежа за ресурси на Azure както за първоначална настройка, така и за делта синхронизиране.)
  • Трябва да имате достъп на роля Читател до групата ресурси с акаунта за съхранение.
  • За да свържете средата на Azure Data Lake Storage Gen2, трябва да имате права за достъп на системен администратор на Dataverse.
  • Само таблици, за които е разрешено проследяване на промените, могат да бъдат експортирани.
  • Създаването на профили Azure Synapse Link в една Dataverse среда е ограничено до максимум 10.

Свържете Dataverse към Azure Data Lake Storage Gen2

  1. Влезте в Power Apps и изберете предпочитаната от вас среда.

  2. В левия навигационен екран изберете Azure Synapse Link. Ако Azure Synapse Link не се вижда в страничния панел, изберете ... Още и изберете Откриване на всички. Azure Synapse Link е в секцията Управление на данни.

  3. В командната лента изберете + Нова връзка към езерото с данни.

  4. Изберете Абонамент, Група ресурси и Акаунт за съхранение. Уверете се, че акаунтът за съхранение отговаря на изискванията, посочени в секцията Предпоставки. Изберете Напред.

    Бележка

    Като част от свързването на среда на хранилище за данни, вие предоставяте на Azure Synapse Link достъп до услугата до вашия акаунт за съхранение. Уверете се, че сте изпълнили предварителните изисквания за създаване и конфигуриране на акаунта в Azure Data Lake Storage и сте предоставили на себе си роля на собственик на акаунта за съхранение. Освен това предоставяте на услугата за потоци от данни на Power Platform достъп до вашия акаунт за съхранение. Повече информация: Подготовка на данни за самообслужване с потоци от данни.

  5. Добавете таблиците, които искате да експортирате, и след това изберете Записване. Само таблици с разрешено проследяване на промените могат да бъдат експортирани. Повече информация: Разрешаване на проследяване на промени.

    Изберете таблици за експортиране.

Можете да следвате стъпките в тази статия, за да създадете връзка от една среда към множество езера от данни на Azure във вашия абонамент за Azure. По същия начин можете да създадете връзка от множество среди към същия Azure Data Lake, всички в рамките на един и същ наемател.

Бележка

Услугата Azure Synapse Link for Dataverse е безпроблемно интегрирана в Power Platform като готова функция. Той отговаря на стандартите за сигурност и управление, определени за Power Platform съхранение и управление на данни. Повече информация: Съхранение и управление на данни

Данните, експортирани от Azure Synapse Link услугата, се криптират при транспортиране с помощта на Transport Слой Security(TLS) 1.2 или по-нова версия и се криптират в покой в Azure Data Lake Storage Gen2. Освен това, преходните данни в хранилището за BLOB също са шифровани в покой. Шифроването в Azure Data Lake Storage Gen2 ви помага да защитите вашите данни, да прилагате политики за сигурност на предприятието и да отговаряте на изискванията за спазване на регулаторите. Повече информация: Шифроване на данни в покой в Azure

Управление на данните от таблицата към хранилището за необработени данни

След като настроите Azure Synapse Link, можете да управлявате таблиците, които се експортират, по един от двата начина:

  • На Power Apps портал за създатели, в областта Azure Synapse Link, изберете Управление на таблици в командната лента, за да добавите или премахнете една или повече свързани таблици.

  • В портала Power Apps за създатели, областта Таблици, изберете ... до таблица и след това изберете свързаното хранилище за необработени данни, където искате да експортирате данните от таблицата.

    Изберете таблица за експортиране.

След като настроите Azure Synapse Link, можете да наблюдавате раздела Azure Synapse Link Таблици .

Azure Synapse Link мониторинг

  • Ще има списък с таблици, които са част от избраните Azure Synapse Link.
  • Има различни етапи, през които циркулира състоянието на синхронизиране. Не е започнало показва, че таблицата чака да бъде синхронизирана. След като първоначалното синхронизиране на таблицата е завършено, има етап на последваща обработка, при който няма да се извършват допълнителни актуализации. Това може да отнеме няколко часа в зависимост от размера на данните Ви. Тъй като постъпково актуализиране започва да се извършва, датата за последната синхронизация ще се актуализира редовно.
  • Колоната Брой показва броя на записаните редове. Когато Само добавяне е зададено на Не, това е общият брой записи. Когато Само добавяне е зададено на Да, това е общият брой промени.
  • Колоните Добавяне само и Стратегия за дялове показват използването на различни разширени конфигурации.

  1. Изберете желания Azure Synapse Link, за да прекратите връзката.

  2. Изберете Прекратяване на връзката с data lake от командната лента.

  3. За да изтриете файловата система на Data Lake, изберете Изтриване на файловата система на data lake.

  4. Изберете Да и оставете няколко минути, за да може всичко да бъде прекратено и изтрито.

Ако сте изтрили файловата система при прекратяване на връзката, следвайте стъпките по-горе, за да свържете отново същото data lake. Ако не сте изтрили файловата система при прекратяване на връзката, трябва да изчистите данните, за да свържете отново:

  1. Отидете в Azure Data Lake.

  2. Изтрийте контейнера Dataverse.

  3. Отидете в Power Apps и свържете отново Data Lake.

Преглед на данните в Azure Data Lake Storage Gen2

  1. Изберете желания Azure Synapse Link и след това изберете Преминаване към Azure Data Lake от горния панел.

  2. Разгънете Файлови системи, след което изберете dataverse-environmentName-organizationUniqueName.

Файлът model.json, заедно с името и версията, предоставя списък с таблици, които са експортирани към хранилището за необработени данни. Файлът model.json също включва първоначалното състояние на синхронизацията и времето на приключване на синхронизацията.

За всяка таблица, експортирана към хранилището за необработени данни, се показва папка, която включва файлове на моментни снимки, разделени със запетая (CSV формат). Данни от таблицата в data lake.

  1. В адресната лента на уеб браузърите добавете ?athena.updateLake=true към уеб адреса, който завършва с exporttodatalake.

  2. Изберете съществуващ профил от Azure Synapse Link областта и след това изберете разширена опция.

  3. Изберете Връзка към Azure Synapse Analytics работното пространство и изчакайте няколко минути, за да се свърже всичко.

Непрекъснати актуализации на снимки

Данните на Microsoft Dataverse могат непрекъснато да се променят чрез създаване, актуализиране и изтриване на трансакции. Снимките предоставят копие на снимка на данни само за четене, което се актуализира на равни интервали, в случая на всеки час. Това гарантира, че във всеки един момент даден потребител на анализа на данните може надеждно да използва данните в хранилището.

Непрекъснати актуализации на снимки.

Когато таблиците се добавят като част от първоначалния експорт, данните от таблицата се записват във файловете table.csv под съответните папки в хранилището за необработени данни. Това е интервалът T1, където се създава файл само за четене на моментна снимка с име table-T1.csv—for example, Account-T1.csv или Contacts-T1.csv—. Освен това файлът model.json се актуализира, за да показва тези файлове със снимки. Като отворите model.json, можете да видите подробности за снимката.

Ето пример на папка с разделен файл Account.csv и снимка в хранилището за необработени данни.

Моментна снимка на таблицата на акаунт.

Промените в Dataverse непрекъснато се прехвърлят към съответните CSV файлове с помощта на системата за постепенно подаване. Това е интервалът T2, където се прави друга снимка. table-T2.csv—например Accounts-T2.csv или Contacts-T2.csv (ако приемем, че няма промени в таблицата) —и model.json се актуализират до новите файлове за моментна снимка.. Всеки нов човек, който преглежда данните със снимки от T2 нататък, се насочва направо към по-новите файлове със снимки. По този начин, първият, който преглежда снимките, може да продължи да работи върху по-старите файлове със снимки T1, докато следващите преглеждащи могат да четат последните актуализации. Това е полезно при сценарии, които имат по-продължителни процеси надолу по веригата.

Бележка

Нов файл с моментна снимка се създава само ако има актуализация на данните. Ще бъдат запазени само последните пет файла с моментна снимка. Застоялите данни ще бъдат автоматично премахнати от вашия Azure Data Lake Storage акаунт от второ поколение.

Ето пример за файла model.json, който винаги посочва файла със снимка на клиент с най-новото времево клеймо.

Примерен файл model.json със снимка.

Какво следва?

След успешно използване на Azure Synapse Link for Dataverse услуга, открийте как можете да анализирате и консумирате вашите данни Център за открития. За достъп до Център за открития отидете на Power Apps > Azure Synapse Link. Изберете вашата свързана услуга и след това изберете раздела Център за открития. Тук можете да намерите препоръчани инструменти и подбрана документация, които да ви помогнат да извлечете максимална полза от вашите данни. Център за открития.

Вижте също

Анализирайте данните на Dataverse в хранилището за необработени данни чрез Power BI

Поемете Dataverse данни в хранилището за данни с Azure Data Factory

Разширена конфигурация на Azure Synapse Link for Dataverse

ЧЗВ за Azure Synapse Link

Бележка

Можете ли да ни споделите повече за езиковите си предпочитания за документацията? Попълнете кратко проучване. (имайте предвид, че това проучване е на английски език)

Проучването ще отнеме около седем минути. Не се събират лични данни (декларация за поверителност).