Delta кестелеріне қосылыңыз Azure Data Lake Storage
Delta кестелеріндегі деректерге қосылыңыз және оны енгізіңіз Dynamics 365 Customer Insights - Data.
Delta пішімінде сақталған деректерге қосылудың негізгі себептері:
- Уақыт пен күш-жігерді үнемдеу үшін Delta пішімделген деректерді тікелей импорттаңыз.
- Lakehouse деректерінің көшірмесін түрлендіруге және сақтауға байланысты есептеу және сақтау шығындарын жойыңыз.
- Деректерді қабылдау сенімділігін Customer Insights - Data Delta нұсқасымен қамтамасыз етілгенге дейін автоматты түрде жақсартыңыз.
Қолдау көрсетілетін Databricks мүмкіндіктері мен нұсқалары
Customer Insights - Data 'minReaderVersion' нұсқасы 2 немесе одан бұрынғы Databricks мүмкіндіктерін қолдайды. Databricks оқу құралының 3 немесе одан кейінгі нұсқасын қажет ететін Databricks мүмкіндіктеріне қолдау көрсетілмейді. Кесте қолдау көрсетілетін және қолдау көрсетілмейтін Databricks мүмкіндіктерін көрсетеді.
| Қолдау көрсетілетін мүмкіндіктер | Қолдау көрсетілмейтін мүмкіндіктер |
|---|---|
| Негізгі функционалдылық | Жою векторлары |
| Деректер арнасын өзгерту | Сұйықтық кластерленуі |
| Шектеулерді тексеріңіз | Кесте мүмкіндіктерін жазу |
| Бағанды салыстыру | Уақыт белгісіNTZ |
| Бағандарды жасау | Түрді кеңейту |
| Сәйкестік бағандары | Нұсқа |
| Жолды қадағалау | |
| Кесте мүмкіндіктері оқылады | |
| Бірыңғай форма |
Қосымша мәліметтер: Databricks Delta Lake мүмкіндіктерінің үйлесімділігін қалай басқарады?.
Алғышарттар
Azure Data Lake Storage бір жалға алушыда және Azure аймағында Customer Insights - Data болуы керек.
Сақтау тіркелгісіне кіру үшін Customer Insights - Data қызметінің негізгі қызметкерінде Storage Blob Data Contributor рұқсаттары болуы керек. Қосымша ақпарат алу үшін Сақтау тіркелгісіне кіру үшін қызмет көрсетушіге рұқсаттар беру бөлімін қараңыз.
деректер көзі параметрін орнататын немесе жаңартатын пайдаланушыға Azure Data Lake Storage есептік жазбасында кем дегенде Storage Blob Data Reader рұқсаттары қажет.
Онлайн қызметтерде сақталған деректер деректер өңделетін немесе сақталатын жерден басқа жерде сақталуы мүмкін. Онлайн қызметтерде сақталған деректерді импорттау немесе оларға қосылу арқылы сіз деректерді тасымалдауға болатынына келісесіз. Толығырақ Microsoft сенім орталығында.
Customer Insights - Data Databricks оқу құралының 2 нұсқасын қолдайды. Databricks оқу құралының 3 немесе одан жоғары нұсқасын қажет ететін мүмкіндіктерді пайдаланатын Delta кестелеріне қолдау көрсетілмейді. Қосымша мәліметтер: Қолдау көрсетілетін Databricks мүмкіндіктері.
Delta кестелері сақтау контейнеріндегі қалтада болуы керек және контейнердің түбірлік каталогында болмауы керек. Мысалы:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
- Сіздің Azure Data Lake Storage деректеріңіз Delta кестелерінде болуы керек. Customer Insights - Data қосымша өңдеуге арналған соңғы өзгерістерді анықтау үшін кесте тарихындағы нұсқа сипатына сүйенеді.
Delta деректеріне қосылу Azure Data Lake Storage
Деректер>Дерек көздері тармағына өтіңіз.
деректер көзі қосу таңдаңыз.
Azure Data Lake Delta кестелерін таңдаңыз.
деректер көзі атын және қосымша Сипаттаманы енгізіңіз. Атауға төменгі ағындық процестерде сілтеме жасалған және деректер көзі жасағаннан кейін оны өзгерту мүмкін емес.
Жадты арқылы қосу үшін келесі опциялардың бірін таңдаңыз.
- Azure жазылымы: Жазылымды , содан кейін Ресурстар тобын және таңдаңыз. Сақтау есептік жазбасы.
- Azure ресурсы: Ресурс идентификаторын енгізіңіз.
Қосымша, деректерді сақтау тіркелгісінен Azure Private Link арқылы қабылдағыңыз келсе, Жеке сілтемені қосу пәрменін таңдаңыз. Қосымша ақпаратты Жеке сілтемелер бөлімінен қараңыз.
Деректер қалтасын қамтитын Контейнердің атын таңдап, Келесі таңдаңыз.
Delta кестелеріндегі деректер бар қалтаға өтіп, оны таңдаңыз. Содан кейін Келесі таңдаңыз. Қол жетімді кестелер тізімі көрсетіледі.
Қосқыңыз келетін кестелерді таңдаңыз.
Негізгі кілт анықталмаған таңдалған кестелер үшін Міндетті Негізгі кілт астында көрсетіледі. Осы кестелердің әрқайсысы үшін:
- Таңдаңыз Міндетті. Өңдеу кестесі панелі көрсетіледі.
- Негізгі кілт таңдаңыз. Бастапқы кілт кестеге ғана тән төлсипат болып табылады. Жарамды негізгі кілт болуы үшін төлсипат қайталанатын мәндерді, жетіспейтін мәндерді немесе бос мәндерді қамтымауы керек. Жол, бүтін және GUID деректер түрі атрибуттарына негізгі кілттер ретінде қолдау көрсетіледі.
- Панельді сақтау және жабу үшін Жабу пәрменін таңдаңыз.
Кез келген бағандағы деректер профилін қосу үшін кесте үшін Бағандар санын таңдаңыз. Атрибуттарды басқару беті көрсетіледі.
- Бүкіл кесте немесе арнайы бағандар үшін Деректерді профильдеу таңдаңыз. Әдепкі бойынша, деректерді профильдеу үшін кесте қосылмаған.
- Дайын опциясын таңдаңыз.
Сақтау опциясын таңдаңыз. Дерек көздері беті ашылады, Жаңарту күйіндегі жаңа деректер көзі.
Шайпұл
Тапсырмалар мен процестер үшін күйлер бар. Көптеген процестер деректер көздері және деректер профилін жасау жаңарту сияқты басқа жоғары ағын процестеріне байланысты.
Орындалу мәліметтері тамасын ашу және тапсырмалардың орындалу барысын көру үшін күйді таңдаңыз. Тапсырмадан бас тарту үшін тақтаның төменгі жағындағы Тапсырманы тоқтату тармағын таңдаңыз.
Әрбір тапсырманың астында өңдеу уақыты, соңғы өңдеу күні және тапсырмаға немесе процеске қатысты кез келген тиісті қателер мен ескертулер сияқты қосымша орындалу туралы ақпарат алу үшін Мәліметтерді көру пәрменін таңдауға болады. . Жүйедегі басқа процестерді көру үшін панельдің төменгі жағындағы Жүйе күйін көру тармағын таңдаңыз.
Деректерді жүктеу уақыт алуы мүмкін. Сәтті жаңартудан кейін енгізілген деректерді Кестелер беттен қарауға болады.
Схема өзгерістерін басқару
деректер көзі Delta қалталарының схемасынан баған қосылғанда немесе жойылғанда, жүйе деректерді толық жаңартуды іске қосады. Толық жаңартулар барлық деректерді өңдеу үшін қосымша жаңартуларға қарағанда ұзағырақ уақыт алады.
Баған қосу
Баған деректер көзі ішіне қосылғанда, ақпарат жаңарту орын алған соң Customer Insights - Data ішіндегі деректерге автоматты түрде қосылады. Кесте үшін біріктіру әлдеқашан конфигурацияланған болса, жаңа баған біріктіру процесіне қосылуы керек.
Тұтынушы деректері қадам ішінен Кестелер мен бағандарды таңдау және жаңа бағанды таңдаңыз.
Бірыңғай деректер көрінісінде қадам, баған тұтынушы профилінен шығарылмағанына көз жеткізіңіз. Шығарылған таңдап, бағанды оқыңыз.
Бірыңғай профильге жаңартуларды іске қосу қадам бөлімінде Тұтынушы профильдері мен тәуелділіктерін біріктіру таңдаңыз.
Бағанды өзгерту немесе жою
деректер көзі ішінен баған жойылғанда, жүйе басқа процестердегі тәуелділіктерді тексереді. Бағандарда тәуелділік болса, жүйе жаңартуды тоқтатады және тәуелділіктерді жою қажет екенін көрсететін қатені береді. Бұл тәуелділіктер оларды табуға және жоюға көмектесу үшін хабарландыруда көрсетіледі.
Схема өзгерісін растаңыз
деректер көзі жаңартылғаннан кейін Деректер>Кестелер бетіне өтіңіз. деректер көзі үшін кестені таңдап, схеманы тексеріңіз.
Дельта көлінің уақытқа саяхаты және деректер жаңартылады
Delta Lake уақыт саяхаты - бұл уақыт белгісіне немесе нұсқа нөміріне негізделген кесте нұсқалары арқылы сұрау мүмкіндігі. Delta қалталарына жасалған өзгертулер нұсқаланады және Customer Insights - Data қай деректерді өңдеу керектігін бақылау үшін Delta қалтасының нұсқаларын пайдаланады. Кәдімгі дельта кестесін жаңартуда деректер соңғы жаңартудан бері деректер кестесінің барлық нұсқаларынан алынады. Барлық нұсқалар бар болса, Customer Insights - Data тек өзгертілген элементтерді өңдеп, нәтижелерді жылдамырақ жеткізе алады. Уақыт саяхаты туралы толығырақ ақпарат.
Мысалы, Customer Insights – Деректер Delta қалта деректерінің 23 нұсқасымен соңғы рет синхрондалған болса, ол 23 нұсқасын және мүмкін кейінгі нұсқаларды қол жетімді деп күтеді. Күтілетін деректер нұсқалары қол жетімді болмаса, деректерді синхрондау сәтсіз аяқталады және қолмен толық деректерді жаңартуды қажет етеді. Delta қалтасының деректері жойылып, содан кейін қайта жасалса, деректерді синхрондау сәтсіз болуы мүмкін. Немесе Customer Insights - Data нұсқалар жетілдірілген кезде Delta қалталарына ұзақ уақыт бойы қосыла алмаса.
Толық деректерді жаңарту қажеттілігін болдырмау үшін 15 күн сияқты ақылға қонымды тарихты сақтауды ұсынамыз.
Delta кестесі қалтасында толық деректерді жаңартуды қолмен іске қосыңыз
Толық жаңарту Delta пішіміндегі кестеден барлық деректерді алады және оны Delta кестесінің нөлдік нұсқасынан (0) қайта жүктейді. Delta қалтасының схемасына енгізілген өзгертулер автоматты толық жаңартуды іске қосады. Толық жаңартуды қолмен іске қосу үшін келесі қадамдарды орындаңыз.
Деректер>Дерек көздері тармағына өтіңіз.
Azure Data Lake Delta кестелерін деректер көзі таңдаңыз.
Жаңартқыңыз келетін кестені таңдаңыз. Өңдеу кестесі тамасы көрсетіледі.
Бір реттік толық жаңартуды іске қосу таңдаңыз.
Жаңартуды іске қосу үшін Сақтау таңдаңыз. Дерек көздері беті ашылады, Жаңарту күйіндегі деректер көзі көрсетіледі, бірақ тек таңдалған кесте жаңартылуда.
Бар болса, процесті басқа кестелер үшін қайталаңыз.
Деректерді синхрондау қатесі
Delta қалтасының деректері жойылып, содан кейін қайта жасалса, деректерді синхрондау сәтсіз болуы мүмкін. Немесе Customer Insights - Data нұсқалар жетілдірілген кезде Delta қалталарына ұзақ уақыт бойы қосыла алмаса. Үздіксіз деректер құбырының ақаулығы толық жаңарту қажеттілігін тудыратын әсерді азайту үшін 15 күн сияқты ақылға қонымды тарихты сақтауды ұсынамыз.