Ažuriranje Common Data Model izvora podataka za korišćenje Delta tabela

Ažurirajte postojeću vezu sa podacima sa tabelama Common Data Model i pređite na tabele u Delta formatu bez uklanjanja i ponovnog kreiranja postojeće konfiguracije koja zavisi od veze podataka.

Ključni razlozi za povezivanje sa podacima koji se čuvaju u Delta formatu:

• Direktno uvezite Delta formatirane podatke kako biste uštedeli vreme i trud.
• Eliminišite troškove računanja i skladištenja u vezi sa transformacijom i čuvanjem kopije vaših podataka o jezeru.
• Automatski poboljšati pouzdanost unosa podataka koje Customer Insights - Data pruža Delta verzionisanje.

Delta je termin koji je uveden sa Delta Lake-om, osnovom za čuvanje podataka i tabela na platformi Databricks Lakehouse. Delta Lake je sloj za skladištenje otvorenog koda koji donosi ACID (atomičnost, konzistentnost, izolacija i trajnost) transakcije na velika opterećenja podataka. Za više informacija, pogledajte Delta Lake Documentation Page.

Preduslovi

• Mora Azure Data Lake Storage biti u istom zakupcu i Azure regionu kao Customer Insights - Data.

• Direktor Customer Insights - Data usluge mora imati dozvole za saradnik podataka Storage Blob za pristup nalogu za skladištenje. Za više informacija, pogledajte Dodeljivanje dozvola principu usluge za pristup nalogu za skladištenje.

• Korisnik koji postavlja ili ažurira izvor podataka treba najmanje dozvole za čitalac podataka Storage Blob na nalogu Azure Data Lake Storage .

• Podaci koji se čuvaju u online uslugama mogu se čuvati na drugoj lokaciji od one na kojoj se podaci obrađuju ili čuvaju. Uvozom ili povezivanjem sa podacima koji se čuvaju u online uslugama, slažete se da se podaci mogu preneti.  Saznajte više u Microsoft centru za poverenje.

• Customer Insights - Data podržava Databricks čitalac verzije 2. Delta tabele koje koriste funkcije koje zahtevaju Databricks čitalac verzije KSNUMKS ili novije nisu podržane. Saznajte više: Podržane funkcije Databricks-a.

• Delta tabele moraju biti u folderu u kontejneru za skladištenje i ne mogu biti u korenom direktorijumu kontejnera. Na primer:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Delta tabele i njihova šema moraju se podudarati sa tabelama u postojećem izvoru podataka Common Data Model i biti u istom kontejneru za skladištenje. Tabele u novoj fascikli podataka moraju se tačno podudarati sa izabranim tabelama u izvoru podataka Common Data Model. Imena tabela i njihove šeme moraju tačno da se poklapaju. U Delta, imena tabela su ista kao i ime foldera u kojem se čuvaju podaci. Stoga, imena foldera moraju tačno da se podudaraju sa izabranim tabelama u izvoru podataka Common Data Model. U suprotnom, ažuriranje ne uspeva.

  Na primer, ako su izabrane tabele izvor podataka Common Data Model TableKSNUMKS i TableKSNUMKS, onda fascikla koju izaberete za ažuriranje mora prikazati TableKSNUMKS i TableKSNUMKS u hijerarhiji.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Ažurirajte tabele podataka Common Data Model na Delta tabele

1. Idite na izvore > podataka podataka.

2. Izaberite izvor podataka Azure Data Lake Common Data Model, a zatim izaberite Ažuriraj na Delta tabele. Ili, izaberite Započni ažuriranje sa stranice Dodaj tabele ako uređujete izvor podataka Common Data Model.

   

3. Izaberite Pregledaj i idite do fascikle koja sadrži podatke u Delta formatu i tačno se podudara sa izabranom tabelom izvor podataka Azure Data Lake. Izaberite ga, a zatim izaberite Ažuriraj izvor podataka.

   Otvara se stranica Izvori podataka koja prikazuje novi izvor podataka u statusu osvežavanja .

   Važno

   Nemojte zaustaviti proces osvežavanja jer bi to moglo negativno uticati na ažuriranje izvor podataka.

   Napojnica

   Postoje statusi za zadatke i procese. Većina procesa zavisi od drugih uzvodnih procesa, kao što su izvori podataka i profilisanje podataka osvežava.

   Izaberite status da biste otvorili okno sa detaljima o napretku i prikazali napredak zadataka. Da otkažete posao, izaberite Otkaži posao na dnu okna.

   Pod svakim zadatkom, možete da izaberete Pogledajte detalje za više informacija o napretku, kao što su vreme obrade, poslednji datum obrade i sve primenljive greške i upozorenja povezana sa zadatkom ili procesom. Izaberite Pogledaj status sistema na dnu panela da biste videli druge procese u sistemu.

Preporučujemo da nastavite da strimujete svoje podatke na lokaciju Data Lake Storage preko postojećeg cevovoda i održavate manifeste i šeme dok ne utvrdite da je ažuriranje bilo uspešno i da sve radi kako se očekuje.

Vratite konverziju iz Common Data Model tabela u Delta tabele

Ako ste pokušali da ažurirate izvor podataka Azure Data Lake Common Data Model na Delta tabele i proces ne uspe, izvršite sledeće korake.

Preduslovi

• Vaša organizacija je nastavila da prenosi podatke Data Lake Storage kroz vaš cevovod.
• Vaša organizacija je održavala manifeste i šeme Data Lake Storage-a.

Vratite se na izvor podataka Azure Data Lake Common Data Model

1. Idite na izvore > podataka podataka.

2. Izaberite izvor podataka Azure Data Lake Common Data Model, a zatim izaberite Vrati se na tabele Common Data Model.

3. Potvrdite da želite da vratite. Otvara se stranica Izvori podataka koja prikazuje novi izvor podataka u statusu osvežavanja .

   Važno

   Nemojte zaustaviti proces osvežavanja jer bi to moglo negativno uticati na vraćanje izvor podataka.