Azure Synapse Link for Dataverse қызметін Azure Data Lake көмегімен жасау

Мақала
05/06/2024

Әртүрлі талдау сценарийлерді қосу мақсатында Microsoft Dataverse деректерін Azure Data Lake Storage Gen2 тіркелгісіне қосу үшін Azure Synapse Link жүйесін пайдалануға болады. Бұл мақалада келесі тапсырмаларды орындау жолы көрсетілген:

Dataverse деректерін Azure Data Lake Storage Gen2 тіркелгісіне Azure Synapse Link қызметінің көмегімен қосыңыз.
Azure Synapse Link жүйесінде қамтылған Dataverse кестелерін басқарыңыз.
Azure Synapse Link жүйесін бақылаңыз.
Azure Synapse Link бағдарламасын ажыратыңыз.
Azure Synapse Link жүйесін қайта байланыстырыңыз.
Azure Data Lake бағдарламасындағы деректеріңізді қараңыз және файл құрылымын түсініңіз.

Ескерім

Azure Synapse Link for Dataverse бағдарламасы бұрын Data Lake қызметіне экспорттау ретінде белгілі болған. Қызметтің атауы 2021 жылдың мамырынан бастап өзгертілді және деректерді Azure Data Lake қызметіне және Azure Synapse Analytics қызметіне экспорттауды жалғастырады.

Алғышарттар

Azure Data Lake Storage Gen2: сізде Azure Data Lake Storage Gen2 тіркелгісі және Жауапты және Сақтау екілік нысаны деректерінің салымшысы рөліне қатынасу болуы керек. Жад есептік жазбаңыз бастапқы орнату және дельта синхрондау үшін Иерархиялық аттар кеңістігін қосуы керек. Жад есептік жазбасының кілтіне рұқсат беру қажет. бастапқы орнату үшін ғана.

Ескерім

Сақтау тіркелгісі сіздің Microsoft Entra жалдаушымен бірдей Power Apps жалдаушыда жасалуы керек.
Таңдалған IP мекенжайларынан рұқсат беру үшін Таңдалған виртуалды желілерден және IP мекенжайларынан қосылған байланыстырылған сақтау тіркелгісі үшін орнату үшін, басқарылатын идентификаторлары бар Azure Synapse Link жасау керек. .Azure деректер көлінің қоймасымен Azure үшін басқарылатын сәйкестіктерді пайдаланыңыз (басқарылатын идентификациялар орнатылмай, бастапқы орнату және дельта синхрондау үшін Azure ресурстары үшін жалпы желіге кіру мүмкіндігін қосу керек. )
Сақтау тіркелгісі бар ресурс тобы үшін сізде Оқушы рөл қатынасуы болуы керек.
Ортаны Azure Data Lake Storage Gen2 тіркелгісіне байланыстыру үшін сізде Dataverse жүйелік әкімшісі қауіпсіздік рөлі болуы керек.
Өзгерісті бақылау қосылған кестелерді ғана экспорттауға болады.
Бір Azure Synapse Link ортасында Dataverse профильдер жасау ең көбі 10-ға дейін шектеледі.

Dataverse жүйесін Azure Data Lake Storage Gen2 тіркелгісіне қосу

Power Apps бағдарламасына кіріңіз және қажетті ортаны таңдаңыз.
Сол жақ шарлау тақтасында Azure Synapse Link таңдаңыз. Бүйірлік панель тақтасында Azure Synapse Link көрінбесе, ...Қосымша және Барлығын табу опциясын таңдаңыз. Azure Synapse Link Деректерді басқару бөлімінде орналасқан.
Пәрмендер жолағында + Деректер көліне жаңа сілтеме таңдаңыз.
Жазылым, Ресурстар тобы және Сақтау тіркелгісі параметрлерін таңдаңыз. Сақтау тіркелгісінің Алғышарттар бөлімінде көрсетілген талаптарға сәйкес келетініне көз жеткізіңіз. Келесі пәрменін таңдаңыз.

Ескерім

Ортаны деректер көліне байланыстырудың бөлігі ретінде, сіз сақтау тіркелгісіне Azure Synapse Link қызмет қатынасуын бересіз. Azure Data Lake storage тіркелгісін жасаған және конфигурациялаған кезде және өзіңізге сақтау орнының тіркелгі иесі рөлін бергенде алғышарттар орындалғанына көз жеткізіңіз. Сонымен қатар сіз Power Platform деректер ағыны қызметіне сақтау орныңыздың тіркелгісіне қатынасу құқығын бересіз. Қосымша ақпарат: Деректер ағындарымен жеке қызмет деректерін дайындау.
Экспорттау керек кестелерді қосып, содан кейін Сақтау түймешігін таңдаңыз. Өзгерісті бақылау қосылған кестелерді ғана экспорттауға болады. Қосымша ақпарат: Өзгерістерді бақылауды қосу.

Azure жазылымында бір ортадан бірнеше Azure деректер көлдеріне сілтеме жасау үшін осы мақаладағы қадамдарды орындауға болады. Сол сияқты, барлығын бір қатысушыда бірнеше ортасынан бір Azure Data Lake деректер көліне сілтеме жасай аласыз.

Ескерім

Azure Synapse Link for Dataverse қызмет Power Platform кепшіліктен тыс мүмкіндік ретінде үздіксіз біріктірілген. Ол Power Platform деректерді сақтау және басқару үшін орнатылған қауіпсіздік және басқару стандарттарына сәйкес келеді. Қосымша ақпарат: Деректерді сақтау және басқару

Azure Synapse Link қызметі экспорттаған деректер Transport қабат Security(TLS) 1.2 немесе одан жоғары нұсқасы арқылы транзит кезінде шифрланады және Azure Data Lake Storage Gen2-де шифрланады. Сонымен қатар blob сақтау орындағы деректер де сақтау орнында шифрланады. Azure Data Lake Storage Gen2 сақтау орнындағы шифрлау деректерді қорғауға, кәсіпорынның қауіпсіздік саясатын жүзеге асыруға және нормативтік сәйкестік талаптарына сәйкестендіруге көмектеседі. Қосымша ақпарат: Сақтау орнында Azure деректерін шифрлау

Кесте деректерін деректер көліне басқару

Azure Synapse Link орнатқаннан кейін, екі жолдың бірімен экспортталатын кестелерді басқаруға болады:

Power Apps жасаушы порталының Azure Synapse Link аймағында бір немесе бірнеше байланыстырылған кестені қосу немесе жою үшін пәрмен жолағынан Кестелерді басқару пәрменін таңдаңыз.
Power Apps жасаушы порталының Кестелер аумағында … белгісін таңдаңыз кестенің жанында, содан кейін кесте деректерін экспорттау керек байланысқан деректер көлін таңдаңыз.

Azure Synapse Link жүйесін бақылау

Azure Synapse Link орнатқаннан кейін, Azure Synapse Link Кестелер қойындысының астындағы бақылай аласыз.

Azure Synapse Link мониторинг

Таңдалған Azure Synapse Link жүйесінің бөлігі болып табылатын кестелердің тізімі болады.
Синхрондау күйінің әртүрлі кезеңдері бар. NotStarted күйі кестенің синхрондауды күтіп тұрғанын көрсетеді. Кестені бастапқы синхрондау Аяқталған болғанда, қосымша жаңартулар орындалмайтын кейінгі өңдеу кезеңі болады. Бұл деректеріңіздің өлшеміне байланысты бірнеше сағатқа созылуы мүмкін. Кезеңдік жаңартулар орын ала бастағанда, соңғы синхрондау күні үнемі жаңартылып отырады.
Саны бағанында жазылған жолдар саны көрсетіледі. Тек үстеу опциясы Жоқ күйіне орнатылғанда, бұл жазбалардың жалпы саны болады. Тек үстеу опциясы Иә күйіне орнатылғанда, бұл өзгерістердің жалпы саны болады.
Тек үстеу және Бөлу стратегиясы бағандары әртүрлі кеңейтілген конфигурациялардың қолданысын көрсетеді.

Azure Synapse Link бағдарламасын ажырату

Ажырату үшін қажетті Azure Synapse Link жүйесін таңдаңыз.
Пәрмен жолағынан Деректер көлін ажырату пәрменін таңдаңыз.
Екі деректер көлінің файлдық жүйесін жою үшін Деректер көлінің файлдық жүйесін жою опциясын таңдаңыз.
Иә опциясын таңдаңыз және бәрін ажыратуға және жоюға бірнеше минут беріңіз.

Azure Synapse Link қайта байланыстыру

Егер ажырату кезінде файлдық жүйені жойсаңыз, сол жұмыс кеңістігін қайта байланыстыру үшін жоғарыдағы қадамдарды орындаңыз. Байланысты жою кезінде файлдық жүйені жоймаған болсаңыз, қайта байланыстыру үшін деректерді тазалауыңыз керек:

Azure Data Lake жүйесіне өтіңіз.
Dataverse контейнерін жойыңыз.
Power Apps бағдарламасына өтіңіз және деректер көлін қайта байланыстырыңыз.

Azure Data Lake Storage Gen2 жүйесінде деректеріңізді көру

Қажетті Azure Synapse Link бағдарламасын таңдаңыз және содан кейін жоғарғы тақтадан Azure деректер көліне өту опциясын таңдаңыз.
Файлдық жүйелер тармағын кеңейтіп, dataverse-environmentName-organizationUniqueName тармағын таңдаңыз.

Model.json файлы өзінің атауымен және нұсқасымен бірге деректер көліне экспортталған кестелер тізімін ұсынады. Сонымен қатар model.json файлында бастапқы синхрондау күйі мен синхрондауды аяқтау уақыты бар.

Суреттер үтірімен бөлінген (CSV пішімі) файлдарды қамтитын қалта деректер көліне экспортталған әр кесте үшін көрсетіледі. Деректер көліндегі кесте деректері.

Synapse жұмыс кеңістігін тек деректер көлі бар Azure Synapse Link профильмен байланыстыру

Веб-шолғыштардың мекенжай жолағында ?athena.updateLake=true exporttodalake деп аяқталатын веб-мекенжайға қосыңыз.
Бар профильді Azure Synapse Link аймақтан таңдаңыз, содан кейін кеңейтілген опцияны таңдаңыз.
Сілтеме Azure Synapse Analytics Жұмыс кеңістігі пәрменін таңдап, барлығын байланыстыруға бірнеше минут беріңіз.

Үздіксіз сурет жаңартулары

Microsoft Dataverse деректер жасау, жаңарту және жою транзакциялары арқылы үнемі өзгеріп отырады. Суреттер сағат сайын жүйелі аралықтармен жаңартылатын деректердің тек оқуға арналған көшірмесін қамтамасыз етеді. Бұл кез келген уақытта деректерді талдау тұтынушысы көлдегі деректерді сенімді түрде тұтынатындығына кепілдік береді.

Үздіксіз сурет жаңартулары.

Кестелер бастапқы экспорттаудың бөлігі ретінде қосылған кезде кесте деректері деректер көліндегі сәйкес қалталардың астына table.csv файлдарына жазылады. Бұл T1 аралығы, онда сурет кесте-T1.csv—атаулы, мысалы, Account-T1.csv немесе Contacts-T1.csv—оқуға арналған файл жасалады. Сонымен қатар осы сурет файлдарын көрсету үшін model.json файлы жаңартылады. model.json файлын ашып, сурет туралы мәліметтерді көруге болады.

Мұнда деректер көліндегі Account.csv бөлінген файлы мен сурет қалтасының мысалы келтірілген.

Тіркелгілер кестесінің суреті.

Dataverse жүйесіндегі өзгерістер ағындық жүктеу өңдеушісі арқылы тиісті CSV файлдарына үздіксіз жіберіледі. Бұл – басқа сурет алынатын T2 интервалы. кесте-T2.csv—мысалы, Accounts-T2.csv немесе Contacts-T2.csv (кесте үшін өзгерістер болған жағдайда) —және model.json жаңа сурет файлдарына жаңартылды. Т2 және одан кейінгі сурет деректерін қарайтын кез келген жаңа адам жаңа сурет файлдарына бағытталады. Осылайша, түпнұсқалық суретті көру құралы жаңа қарау құралдарының соңғы жаңартуларды оқу мүмкіндігі бар кезде суреттердің ескі Т1 файлдарында жұмысын жалғастырады. Бұл кейінгі процестерді ұзағырақ іске қосу сценарийлерінде пайдалы.

Ескерім

Жаңа сурет файлы деректер жаңартуы болған жағдайда ғана жасалады. Ең соңғы бес сурет файлы ғана сақталады. Тоқтап тұрған деректер Azure Data Lake Storage 2-буын есептік жазбаңыздан автоматты түрде жойылады.

Мұнда әрдайым уақытпен белгіленген соңғы тіркелгі суретінің файлын көрсететін model.json файлының мысалы берілген.

Үлгі суреттің model.json файлы.

Келесі не?

Azure Synapse Link for Dataverse қызметін сәтті қолданғаннан кейін, деректерді Анықтау хабы арқылы қалай талдауға және тұтынуға болатындығын анықтаңыз. Анықтау хабына қатынасу үшін Power Apps > Azure Synapse Link тармағына өтіңіз. Байланысты қызметті таңдаңыз, содан кейін Анықтау хабы қойыншасын таңдаңыз. Мұнда сіз деректерден максималды мән алуға көмектесетін ұсынылған құралдарды және арнайы құжаттарды таба аласыз. Анықтау хабы.