Azure Data Factory көмегімен Dataverse деректерін қабылдау

Деректерді Microsoft Dataverse жүйесінен Azure Data Lake Storage Gen2 тіркелгісіне Azure Synapse Link for Dataverse қызметінің көмегімен экспорттағаннан кейін, сіз Azure Data Factory бағдарламасын деректер ағындарын жасау, деректерді түрлендіру және талдауды іске қосу үшін пайдалана аласыз.

Ескерім

Azure Synapse Link for Dataverse бағдарламасы бұрын Data Lake қызметіне экспорттау ретінде белгілі болған. Қызметтің атауы 2021 жылдың мамырынан бастап өзгертілді және деректерді Azure Data Lake қызметіне және Azure Synapse Analytics қызметіне экспорттауды жалғастырады.

Бұл мақалада келесі тапсырмаларды орындау жолы көрсетілген:

  1. Data Lake Storage Gen2 сақтау орны тіркелгісін Dataverse деректері көмегімен дереккөз ретінде Data Factory деректер ағынында орнатыңыз.

  2. Data Factory қызметіндегі Dataverse деректерін деректер ағынымен түрлендіріңіз.

  3. Data Lake Storage Gen2 сақтау орны тіркелгісін Dataverse деректері көмегімен қабылдағыш ретінде Data Factory деректер ағынында орнатыңыз.

  4. Арна жасау арқылы деректер ағынын іске қосыңыз.

Алғышарттар

Бұл бөлімде экспортталған Dataverse деректерін Data Factory көмегімен қабылдау үшін қажетті алғышарттар сипатталған.

  • Azure рөлдері. Azure жүйесіне кіру үшін пайдаланылатын пайдаланушы тіркелгісі салымшы немесе иесі рөлінің мүшесі немесе Azure жазылымының әкімшісі болуы тиіс. Жазылымдағы рұқсаттарды көру үшін Azure порталына өтіңіз, жоғарғы оң жақ бұрышта пайдаланушы атын таңдап, ... таңдаңыз, содан кейін Менің рұқсаттарым пәрменін таңдаңыз. Егер бірнеше жазылымға қатынасуға рұқсатыңыз болса, тиісті біреуін таңдаңыз. Azure порталында—Data Factory арналған еншілес ресурстарды, оның ішінде деректер жиынтығын, байланысты қызметтерді, арналарды, триггерлерді және Integration Runtimes—құру және басқару үшін сіз ресурс тобы деңгейінде немесе одан жоғары деңгейде Data Factory Contributor рөліне тиесілі болуыңыз қажет.

  • Azure Synapse Link for Dataverse. Бұл нұсқаулық сіз Dataverse деректерін Azure Synapse Link for Dataverse қызметін пайдалану арқылы экспорттап қойған деп болжайды. Бұл мысалда тіркелгі деректері деректер көліне экспортталады.

  • Azure Data Factory. Бұл нұсқаулық сіз деректер зауытын экспортталған Dataverse деректерін қамтитын сақтау орнының тіркелгісі сияқты бір жазылым мен ресурс тобында жасадыңыз деп болжайды.

Data Lake Storage Gen2 сақтау орны тіркелгісін дереккөз ретінде орнатыңыз

  1. Azure Data Factory қызметін ашыңыз және экспортталған Dataverse деректерін қамтитын сақтау орнының тіркелгісі сияқты бір жазылым мен ресурс тобында орналасқан деректер зауытын таңдаңыз. Содан кейін басты беттен Деректер ағынын жасау түймешігін таңдаңыз.

  2. Деректер ағынының күйін келтіру режимін қосыңыз және тікелей трансляцияға қолайлы уақытты таңдаңыз. Бұл 10 минутқа созылуы мүмкін, бірақ келесі қадамдарды орындауға болады.

    Деректер ағынының күйін келтіру режимі.

  3. Дереккөз қосу түймешігін басыңыз.

    Дереккөз қосу.

  4. Дереккөз параметрлері бөлімінде келесі әрекеттерді орындаңыз:

    • Шығыс ағын атауы: Қажетті атауды енгізіңіз.
    • Ресурс түрі: Кірістірілген опциясын таңдаңыз.
    • Кірістірілген дереккөз түрі: Common Data Model таңдаңыз.
    • Байланысты қызмет: Ашылмалы мәзірден сақтау орны тіркелгісін таңдап, жазылым туралы толық мәлімет беріп, барлық әдепкі конфигурацияларды қалдырып, жаңа қызметті байланыстырыңыз.
    • Үлгісін алу: Егер деректердің барлығын пайдалану керек болса, Өшіру пәрменін таңдаңыз.
  5. Дереккөз опциялары астында келесілерді орындай аласыз:

    • Метадеректер пішімі: Model.json пішімін таңдаңыз.

    • Түбірлік орналасуы: бірінші терезеге (Контейнер) контейнер атауын енгізіңіз немесе контейнер атауын шолыңыз және OK түймешігін таңдаңыз.

    • Нысан: кесте атауын енгізіңіз немесе кестені шолыңыз.

      Дереккөз опциялары.

  6. Схеманың сәтті импортталғанына көз жеткізу үшін Болжау қойыншасын тексеріңіз. Егер сіз ешқандай бағанды көрмесеңіз, Схема опциялары түймешігін таңдаңыз және Дрейфті баған түрлерін шығару опциясына құсбелгі қойыңыз. Деректер жинағына сәйкес пішімдеу параметрлерін конфигурациялаңыз, содан кейін Қолдану түймешігін таңдаңыз.

  7. Дереккөздің жасалуы аяқталғанына және дәл болғанына көз жеткізу үшін деректерді Деректерді алдын ала қарау қойыншасында көруге болады.

Dataverse деректеріне түрлендіру

Экспортталған Dataverse деректерін Azure Data Lake Storage Gen2 тіркелгісіне Data Factory деректер ағынының көзі ретінде орнатқаннан кейін, сіздің деректеріңізді түрлендірудің көптеген мүмкіндіктері бар. Қосымша ақпарат: Azure Data Factory

Тіркелгі кестесінің табысы өрісі бойынша әр жол үшін деңгей жасау үшін осы нұсқауларды орындаңыз.

  1. Алдыңғы түрлендірудің төменгі оң жақ бұрышында + белгісін таңдаңыз, содан кейін Деңгей параметрін іздеп, таңдаңыз.

  2. Деңгей параметрлері қойыншасында келесі әрекетті орындаңыз:

    • Шығыс ағын атауы: Rank1 сияқты қажет атауды енгізіңіз.

    • Кіріс ағыны: қажетті бастапқы атауды таңдаңыз. Бұл жағдайда алдыңғы қадамның бастапқы атауы.

    • Опциялар: опцияларға құсбелгі қоймаңыз.

    • Деңгей бағаны: жасалған деңгей бағанының атауын енгізіңіз.

    • Сұрыптау шарттары: табыс бағанын таңдаңыз және кему реті бойынша сұрыптаңыз.

      Деңгей параметрлері қойыншасын конфигурациялау

  3. Деректерді оң жақтағы орындағы жаңа revenueRank бағаны орналасқан деректерді алдын ала қарау қойыншасынан көруге болады.

Data Lake Storage Gen2 сақтау орнының тіркелгісін қабылдағыш ретінде орнату

Ақыр аяғында, деректер ағынына қабылдағыш орнату қажет. Түрлендірілген деректерді деректер көліне бөлінген мәтіндік файл ретінде орналастыру үшін осы нұсқауларды орындаңыз.

  1. Алдыңғы түрлендірудің төменгі оң жақ бұрышында + белгісін таңдаңыз, содан кейін Қабылдағыш параметрін іздеп, таңдаңыз.

  2. Қабылдағыш қойыншасында төмендегілердің біреуін орындаңыз:

    • Шығыс ағын атауы: Қажетті атауды енгізіңіз, мысалы, Sink1.

    • Кіріс ағыны: Қалаған бастапқы атауды таңдаңыз. Бұл жағдайда алдыңғы қадамның бастапқы атауы.

    • Қабылдағыш түрі: Бөлінген мәтін түрін таңдаңыз.

    • Байланысты қызмет: Azure Synapse Link for Dataverse қызметін пайдалану арқылы экспорттаған деректерді қамтитын Data Lake Storage Gen2 сақтау контейнерін таңдаңыз.

      Қабылдағыш қойыншасын конфигурациялау

  3. Параметрлер қойыншасында төмендегілерді орындай аласыз:

    • Қалта жолы: бірінші терезеге (Файл жүйесі) контейнер атауын енгізіңіз немесе контейнер атауын шолыңыз және OK түймешігін таңдаңыз.

    • Файл атауы опциясы: бір файлға шығару опциясын таңдаңыз.

    • Бір файлға шығару: ADFOutput сияқты файл атауын енгізіңіз

    • Барлық басқа әдепкі параметрлерді қалдырыңыз.

      Қабылдағыш параметрлері қойыншасын конфигурациялау

  4. Оңтайландыру қойыншасында Бөлік опциясы параметрін Бір бөлік опциясына орнатыңыз.

  5. Деректерді Деректерді алдын ала қарау нұсқасы қойыншасында көруге болады.

Деректер ағынын іске қосыңыз

  1. Зауыттық ресурстар астындағы сол жақ бөлікте, + таңдаңыз, содан кейін Арна таңдаңыз.

    Жаңа арна жасау.

  2. Әрекеттер астында, Жылжыту және түрлендіру пәрменін таңдаңыз, содан кейін Деректер ағынын жұмыс кеңістігіне сүйреңіз.

  3. Бұрыннан бар деректер ағынын пайдалану пәрменін таңдаңыз, содан кейін алдыңғы қадамдарда жасалған деректер ағынын таңдаңыз.

  4. Пәрмен жолағынан Күйін келтіру опциясын таңдаңыз.

  5. Деректер ағыны төменгі көрініс аяқталғанға дейін қосулы болуын қадағалаңыз. Бұған бірнеше минут кетуі мүмкін.

  6. Соңғы мақсатты сақтау контейнеріне өтіп, түрлендірілген кесте деректер файлын табыңыз.

Сондай-ақ келесіні қараңыз

Azure Synapse Link for Dataverse бағдарламасын Azure Data Lake қызметімен конфигурациялау

Azure Data Lake Storage Gen2 ішіндегі Dataverse деректерін Power BI көмегімен талдау

Ескерім

Сіз құжат тіліңіздің артықшылықтары туралы айта аласыз ба? Қысқа сауалнамаға қатысыңыз. (бұл сауалнама ағылшын тілінде екеніне назар аударыңыз)

Сауалнама шамамен жеті минут уақытыңызды алады. Жеке деректер жиналмайды (құпиялылық туралы мәлімдеме).