Delta кестелерін пайдалану үшін Common Data Model деректер көзін жаңарту

Жалпы деректер үлгісі кестелерімен бар деректер қосылымын жаңартыңыз және деректер қосылымына тәуелді бар конфигурацияны жоймай және қайта жасамай Delta пішіміндегі кестелерге жылжытыңыз.

Delta пішімінде сақталған деректерге қосылудың негізгі себептері:

• Уақыт пен күш-жігерді үнемдеу үшін Delta пішімделген деректерді тікелей импорттаңыз.
• Lakehouse деректерінің көшірмесін түрлендіруге және сақтауға байланысты есептеу және сақтау шығындарын жойыңыз.
• Деректерді қабылдау сенімділігін Customer Insights - Data Delta нұсқасымен қамтамасыз етілгенге дейін автоматты түрде жақсартыңыз.

Delta бұл Databricks Lakehouse платформасында деректер мен кестелерді сақтауға арналған негіз Delta Lake-мен енгізілген термин. Delta Lake - бұл үлкен деректердің жұмыс жүктемелеріне ACID (атомдық, консистенция, оқшаулау және ұзақ мерзімділік) транзакцияларын әкелетін ашық бастапқы қойма қабат. Қосымша ақпарат алу үшін Дельта көлінің құжаттама бетін қараңыз.

Алғышарттар

• Azure Data Lake Storage бір жалға алушыда және Azure аймағында Customer Insights - Data болуы керек.

• Сақтау тіркелгісіне кіру үшін Customer Insights - Data қызметінің негізгі қызметкерінде Storage Blob Data Contributor рұқсаттары болуы керек. Қосымша ақпарат алу үшін Сақтау тіркелгісіне кіру үшін қызмет көрсетушіге рұқсаттар беру бөлімін қараңыз.

• деректер көзі параметрін орнататын немесе жаңартатын пайдаланушыға Azure Data Lake Storage есептік жазбасында кем дегенде Storage Blob Data Reader рұқсаттары қажет.

• Онлайн қызметтерде сақталған деректер деректер өңделетін немесе сақталатын жерден басқа жерде сақталуы мүмкін. Онлайн қызметтерде сақталған деректерді импорттау немесе оларға қосылу арқылы сіз деректерді тасымалдауға болатынына келісесіз.  Қосымша ақпаратты Microsoft сенім орталығынан алыңыз.

• Customer Insights - Data Databricks оқу құралының 2 нұсқасын қолдайды. Databricks оқу құралының 3 немесе одан жоғары нұсқасын қажет ететін мүмкіндіктерді пайдаланатын Delta кестелеріне қолдау көрсетілмейді. Қосымша мәліметтер: Қолдау көрсетілетін Databricks мүмкіндіктері.

• Delta кестелері сақтау контейнеріндегі қалтада болуы керек және контейнердің түбірлік каталогында болмауы керек. Мысалы:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Delta кестелері және олардың схемасы бұрыннан бар деректер көзі жалпы деректер үлгісіндегі кестелерге сәйкес болуы және бір сақтау контейнерінде болуы керек. Жаңа деректер қалтасындағы кестелер деректер көзі Жалпы деректер үлгісіндегі таңдалған кестелерге дәл сәйкес келуі керек. Кесте атаулары мен олардың схемалары дәл сәйкес келуі керек. Delta-да кесте атаулары деректер сақталатын қалта атымен бірдей. Сондықтан қалта атаулары деректер көзі Жалпы деректер үлгісіндегі таңдалған кестелерге дәл сәйкес келуі керек. Әйтпесе, жаңарту сәтсіз аяқталады.

  Мысалы, таңдалған Common Data Model деректер көзі кестелері 1-кесте және 2-кесте болса, жаңарту үшін таңдалған қалта иерархияда 1-кесте мен 2-кестені көрсетуі керек.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Жалпы деректер үлгісі деректер кестелерін Delta кестелеріне жаңартыңыз

1. Деректер>Дерек көздері бөліміне өтіңіз.

2. Azure Data Lake Common Data Model деректер көзі таңдаңыз, содан кейін Delta кестелеріне жаңарту таңдаңыз. Немесе Common Data Model деректер көзі өңдеп жатсаңыз, Кестелерді қосу бетінен Жаңартуды бастау тармағын таңдаңыз.

   

3. Шолу пәрменін таңдап, Delta пішіміндегі деректері бар және таңдалған Azure деректер көліне дәл сәйкес келетін қалтаға өтіңіз. деректер көзі кестесі. Оны таңдап, Update деректер көзі таңдаңыз.

   Дерек көздері беті ашылады, Жаңарту күйіндегі жаңа деректер көзі.

   Маңызды

   Жаңарту процесін тоқтатпаңыз, себебі бұл деректер көзі жаңартуына кері әсер етуі мүмкін.

   Шайпұл

   Тапсырмалар мен процестер үшін күйлер бар. Көптеген процестер деректер көздері және деректер профилін жасау жаңарту сияқты басқа жоғары ағын процестеріне байланысты.

   Орындалу мәліметтері тамасын ашу және тапсырмалардың орындалу барысын көру үшін күйді таңдаңыз. Тапсырмадан бас тарту үшін тақтаның төменгі жағындағы Тапсырманы тоқтату тармағын таңдаңыз.

   Әрбір тапсырманың астында өңдеу уақыты, соңғы өңдеу күні және тапсырмаға немесе процеске қатысты кез келген тиісті қателер мен ескертулер сияқты қосымша орындалу ақпараты үшін Толығырақ мәліметтерді көру пәрменін таңдауға болады. . Жүйедегі басқа процестерді көру үшін панельдің төменгі жағындағы Жүйе күйін көру тармағын таңдаңыз.

Жаңарту сәтті болғанын және бәрі күткендей жұмыс істеп тұрғанын анықтамайынша, деректеріңізді бар конвейер арқылы Data Lake Storage орнына ағынмен жіберуді және манифесттер мен схемаларды сақтауды ұсынамыз.

Жалпы деректер үлгісі кестелерінен Delta кестелеріне түрлендіруді қайтарыңыз

деректер көзі Azure деректер көлінің жалпы деректер үлгісін Delta кестелеріне жаңартуға әрекеттенсеңіз және процесс сәтсіз аяқталса, келесі қадамдарды орындаңыз.

Алғышарттар

• Ұйымыңыз Data Lake Storage деректерін құбырыңыз арқылы ағынмен жіберуді жалғастырды.
• Ұйымыңыз Data Lake Storage манифесттері мен схемаларын қолдады.

деректер көзі Azure деректер көлінің жалпы деректер үлгісіне қайта оралыңыз

1. Деректер>Дерек көздері бөліміне өтіңіз.

2. Azure Data Lake Common Data Model деректер көзі таңдаңыз, содан кейін Жалпы деректер үлгісі кестелеріне қайтару таңдаңыз.

3. Қайтарғыңыз келетінін растаңыз. Дерек көздері беті ашылады, Жаңарту күйіндегі жаңа деректер көзі.

   Маңызды

   Жаңарту процесін тоқтатпаңыз, себебі бұл деректер көзі қалпына келтіруге кері әсер етуі мүмкін.