Delta кестелеріне қосылыңыз Azure Data Lake Storage
Delta кестелеріндегі деректерге қосылыңыз және оны енгізіңіз Dynamics 365 Customer Insights - Data.
Delta бұл Databricks Lakehouse платформасында деректер мен кестелерді сақтауға арналған негіз болып табылатын Delta Lake-мен енгізілген термин. Delta Lake - бұл үлкен деректердің жұмыс жүктемелеріне ACID (атомдық, консистенция, оқшаулау және ұзақ мерзімділік) транзакцияларын әкелетін қабат ашық бастапқы қоймасы. Қосымша ақпарат алу үшін Дельта көлінің құжаттама бетін қараңыз.
Delta пішімінде сақталған деректерге қосылудың негізгі себептері:
- Уақыт пен күш-жігерді үнемдеу үшін Delta пішімделген деректерді тікелей импорттаңыз.
- Lakehouse деректерінің көшірмесін түрлендіруге және сақтауға байланысты есептеу және сақтау шығындарын жойыңыз.
- Деректерді қабылдау сенімділігін Customer Insights - Data Delta нұсқасымен қамтамасыз етілгенге дейін автоматты түрде жақсартыңыз.
Алғышарттар
Azure Data Lake Storage бір жалға алушыда және Azure аймағында Customer Insights - Data болуы керек.
Сақтау тіркелгісіне кіру үшін Customer Insights - Data қызметінің негізгі қызметкерінде Storage Blob Data Contributor рұқсаттары болуы керек. Қосымша ақпарат алу үшін Сақтау тіркелгісіне кіру үшін қызмет көрсетушіге рұқсаттар беру бөлімін қараңыз.
деректер көзі параметрін орнататын немесе жаңартатын пайдаланушыға Azure Data Lake Storage есептік жазбасында кем дегенде Storage Blob Data Reader рұқсаттары қажет.
Онлайн қызметтерде сақталған деректер деректер өңделетін немесе сақталатын жерден басқа жерде сақталуы мүмкін. Онлайн қызметтерде сақталған деректерді импорттау немесе оларға қосылу арқылы сіз деректерді тасымалдауға болатынына келісесіз. Қосымша ақпаратты Microsoft сенім орталығынан алыңыз.
Customer Insights - Data Databricks оқу құралының 2 нұсқасын қолдайды. Databricks оқу құралының 3 немесе одан жоғары нұсқасын қажет ететін мүмкіндіктерді пайдаланатын Delta кестелеріне қолдау көрсетілмейді. Қосымша мәліметтер: Databricks Delta Lake мүмкіндігінің үйлесімділігін қалай басқарады?
Delta кестелері сақтау контейнеріндегі қалтада болуы керек және контейнердің түбірлік каталогында болмауы керек. Мысалы:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
Сіздің Azure Data Lake Storage деректеріңіз Delta кестелерінде болуы керек. Customer Insights - Data қосымша өңдеуге арналған соңғы өзгерістерді анықтау үшін кесте тарихындағы нұсқа сипатына сүйенеді.
Customer Insights - Data Databricks оқу құралының 2 нұсқасын қолдайды. Databricks оқу құралының 3 немесе одан жоғары нұсқасын қажет ететін мүмкіндіктерді пайдаланатын Delta кестелеріне қолдау көрсетілмейді. Қосымша мәліметтер: Databricks Delta Lake мүмкіндігінің үйлесімділігін қалай басқарады?
Delta деректеріне қосылу Azure Data Lake Storage
Деректер>Дерек көздері тармағына өтіңіз.
деректер көзі қосу таңдаңыз.
Azure Data Lake Delta кестелерін таңдаңыз.
деректер көзі атын және қосымша Сипаттаманы енгізіңіз. Атауға төменгі ағындық процестерде сілтеме жасалған және деректер көзі жасағаннан кейін оны өзгерту мүмкін емес.
Жадты арқылы қосу үшін келесі опциялардың бірін таңдаңыз.
- Azure жазылымы: Жазылым, содан кейін Ресурстар тобы және Сақтау тіркелгісі опцияларын таңдаңыз.
- Azure ресурсы: Ресурс идентификаторын енгізіңіз.
Қосымша, деректерді сақтау тіркелгісінен Azure Private Link арқылы қабылдағыңыз келсе, Жеке сілтемені қосу таңдаңыз. Қосымша ақпаратты Жеке сілтемелер бөлімінен қараңыз.
Деректер қалтасын қамтитын Контейнердің атын таңдап, Келесі таңдаңыз.
Delta кестелеріндегі деректер бар қалтаға өтіп, оны таңдаңыз. Содан кейін Келесі таңдаңыз. Қол жетімді кестелер тізімі көрсетіледі.
Қосқыңыз келетін кестелерді таңдаңыз.
Негізгі кілт анықталмаған таңдалған кестелер үшін Міндетті Негізгі кілт астында көрсетіледі. Осы кестелердің әрқайсысы үшін:
- Міндетті таңдаңыз. Өңдеу кестесі панелі көрсетіледі.
- Негізгі кілт таңдаңыз. Бастапқы кілт кестеге ғана тән төлсипат болып табылады. Жарамды негізгі кілт болуы үшін төлсипат қайталанатын мәндерді, жетіспейтін мәндерді немесе бос мәндерді қамтымауы керек. Жол, бүтін және GUID деректер түрі атрибуттарына негізгі кілттер ретінде қолдау көрсетіледі.
- Панельді сақтау және жабу үшін Жабу опциясын таңдаңыз.
Кез келген бағандарда деректер профилін жасауды қосу үшін кесте үшін Бағандар санын таңдаңыз. Төлсипаттар басқару беті көрсетіледі.
- Бүкіл кесте немесе арнайы бағандар үшін Деректерді профильдеу таңдаңыз. Әдепкі бойынша, деректерді профильдеу үшін кесте қосылмаған.
- Дайын опциясын таңдаңыз.
Сақтау опциясын таңдаңыз. Дерек көздері бет ашылады, Жаңарту күйіндегі жаңа деректер көзі.
Шайпұл
Тапсырмалар мен процестер үшін күйлер бар. Көптеген процестер деректер көздері және деректер профилін жасау жаңарту сияқты басқа жоғары ағын процестеріне байланысты.
Орындалу мәліметтері тамасын ашу және тапсырмалардың орындалу барысын көру үшін күйді таңдаңыз. Тапсырмадан бас тарту үшін тақтаның төменгі жағындағы Тапсырманы тоқтату тармағын таңдаңыз.
Әрбір тапсырманың астында өңдеу уақыты, соңғы өңдеу күні және тапсырмаға немесе процеске қатысты кез келген тиісті қателер мен ескертулер сияқты қосымша орындалу ақпараты үшін Толығырақ көру опциясын таңдауға болады. . Жүйедегі басқа процестерді көру үшін панельдің төменгі жағындағы Жүйе күйін көру тармағын таңдаңыз.
Деректерді жүктеу уақыт алуы мүмкін. Сәтті жаңартудан кейін енгізілген деректерді Кестелер беттен қарауға болады.
Схема өзгерістерін басқару
деректер көзі Delta қалталарының схемасынан баған қосылғанда немесе жойылғанда, жүйе деректерді толық жаңартуды іске қосады. Толық жаңартулар барлық деректерді өңдеу үшін қосымша жаңартуларға қарағанда ұзағырақ уақыт алады.
Баған қосу
Баған деректер көзі ішіне қосылғанда, ақпарат жаңарту орын алған соң Customer Insights - Data ішіндегі деректерге автоматты түрде қосылады. Кесте үшін біріктіруді бұрыннан конфигурациялаған болсаңыз, жаңа баған біріктіру процесіне қосылуы керек.
Тұтынушы деректері қадам ішінен Кестелер мен бағандарды таңдау және жаңа бағанды таңдаңыз.
Бірыңғай деректер көрінісінде қадам, баған тұтынушы профилінен шығарылмағанына көз жеткізіңіз. Шығарылған таңдап, бағанды оқыңыз.
Бірыңғай профильге жаңартуларды іске қосу қадам ішінде Тұтынушы профильдері мен тәуелділіктерін біріктіру таңдаңыз.
Бағанды өзгерту немесе жою
деректер көзі ішінен баған жойылғанда, жүйе басқа процестердегі тәуелділіктерді тексереді. Бағандарда тәуелділік болса, жүйе жаңартуды тоқтатады және тәуелділіктерді жою қажет екенін көрсететін қатені береді. Бұл тәуелділіктер оларды табуға және жоюға көмектесу үшін хабарландыруда көрсетіледі.
Схема өзгерісін растаңыз
деректер көзі жаңартылғаннан кейін Деректер>Кестелер бетіне өтіңіз. деректер көзі үшін кестені таңдап, схеманы тексеріңіз.
Дельта көлінің уақытқа саяхаты және деректер жаңартылады
Delta Lake уақыт саяхаты - бұл уақыт белгісіне немесе нұсқа нөміріне негізделген кесте нұсқалары арқылы сұрау мүмкіндігі. Delta қалталарына жасалған өзгертулер нұсқаланады және Customer Insights - Data қай деректерді өңдеу керектігін бақылау үшін Delta қалтасының нұсқаларын пайдаланады. Кәдімгі дельта кестесін жаңартуда деректер соңғы жаңартудан бері деректер кестесінің барлық нұсқаларынан алынады. Барлық нұсқалар бар болса, Customer Insights - Data тек өзгертілген элементтерді өңдеп, нәтижелерді жылдамырақ жеткізе алады. Уақыт саяхаты туралы көбірек біліңіз.
Мысалы, Customer Insights – Деректер Delta қалта деректерінің 23 нұсқасымен соңғы рет синхрондалған болса, ол 23 нұсқасын және мүмкін кейінгі нұсқаларды қол жетімді деп күтеді. Күтілетін деректер нұсқалары қол жетімді болмаса, деректерді синхрондау сәтсіз аяқталады және қолмен толық деректерді жаңартуды қажет етеді. Delta қалтасының деректері жойылып, содан кейін қайта жасалса, деректерді синхрондау сәтсіз болуы мүмкін. Немесе Customer Insights - Data нұсқалар жетілдірілген кезде Delta қалталарыңызға ұзақ уақыт бойы қосыла алмасаңыз.
Толық деректерді жаңарту қажеттілігін болдырмау үшін 15 күн сияқты ақылға қонымды тарихты сақтауды ұсынамыз.
Delta кестесі қалтасында толық деректерді жаңартуды қолмен іске қосыңыз
Толық жаңарту Delta пішіміндегі кестеден барлық деректерді алады және оны Delta кестесінің нөлдік нұсқасынан (0) қайта жүктейді. Delta қалтасының схемасына енгізілген өзгерістер автоматты түрде толық жаңартуды іске қосады. Толық жаңартуды қолмен іске қосу үшін келесі қадамдарды орындаңыз.
Деректер>Дерек көздері тармағына өтіңіз.
Azure Data Lake Delta кестелерін деректер көзі таңдаңыз.
Жаңартқыңыз келетін кестені таңдаңыз. Өңдеу кестесі төлесі көрсетіледі.
Бір реттік толық жаңартуды іске қосу таңдаңыз.
Жаңартуды іске қосу үшін Сақтау таңдаңыз. Дерек көздері беті ашылады, Жаңарту күйіндегі деректер көзі көрсетіледі, бірақ тек таңдалған кесте жаңартылуда.
Бар болса, процесті басқа кестелер үшін қайталаңыз.
Деректерді синхрондау қатесі
Delta қалтасының деректері жойылып, содан кейін қайта жасалса, деректерді синхрондау сәтсіз болуы мүмкін. Немесе Customer Insights - Data нұсқалар жетілдірілген кезде Delta қалталарыңызға ұзақ уақыт бойы қосыла алмасаңыз. Үздіксіз деректер құбырының ақаулығы толық жаңарту қажеттілігін тудыратын әсерді азайту үшін 15 күн сияқты ақылға қонымды тарихты сақтауды ұсынамыз.