Povezivanje sa Delta tabelama u Azure Data Lake Storage

Povežite se sa podacima u Delta tabelama i unesite ih u Dynamics 365 Customer Insights - Data.

Delta je termin uveden sa Delta Lake, fondacijom za skladištenje podataka i stolova u Databricks Lakehouse platformi. Delta Lake je open-source storage sloj donosi TRANSAKCIJE KISELINE (atenosti, doslednosti, izolacije i trajnosti) velikim opterećenjima podataka. Više informacija potražite na stranici dokumentacije Delta jezera.

Ključni razlozi za povezivanje sa podacima uskladištenim u Delta formatu:

• Direktno uvezite podatke delta formatiranih da biste uštedeli vreme i trud.
• Eliminišite troškove izračunavanja i skladištenja povezane sa transformacijom i skladištenjem kopije podataka iz jezerske kuće.
• Automatski poboljšajte pouzdanost unošenja podataka koju obezbeđuje Customer Insights - Data Delta verzija.

Preduslovi

• Mora Azure Data Lake Storage biti u istom zakupu i Azure regionu kao Customer Insights - Data.

• Direktor Customer Insights - Data usluge mora da ima podatke o skladištenju saradnik za pristup nalogu skladišta. Više informacija potražite u članku Dodeljivanje dozvola direktoru usluge za pristup nalogu za skladištenje.

• Korisniku koji podešaje ili ažurira izvor podataka su potrebne najmanje dozvole za skladištenje čitalac podataka na nalogu Azure Data Lake Storage .

• Podaci uskladišteni u uslugama na mreži mogu biti uskladišteni na drugoj lokaciji od mesta gde se podaci obrađuju ili skladište. Uvozom ili povezivanjem sa podacima uskladištenim u uslugama na mreži slažete se da se podaci mogu preneti.  Saznajte više u Microsoft centru za pouzdanost.

• Customer Insights - Data podržava Databricks čitalac verziji 2. Delta tabele koje koriste funkcije koje zahtevaju Databricks čitalac verzija 3 ili više nisu podržane. Saznajte više: Kako Databricks upravlja kompatibilnošću Delta Lake funkcija?

• Tabele delta moraju biti u fascikli u kontejneru za skladištenje i ne mogu biti u osnovnom direktorijumu kontejnera. Na primer:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Podaci u delta tabelama Azure Data Lake Storage moraju biti u Delta tabelama. Customer Insights - Data oslanja se na svojstvo verzije u istoriji tabele da bi identifikovao najnovije promene za postepenu obradu.

• Customer Insights - Data podržava Databricks čitalac verziji 2. Delta tabele koje koriste funkcije koje zahtevaju Databricks čitalac verzija 3 ili više nisu podržane. Saznajte više: Kako Databricks upravlja kompatibilnošću Delta Lake funkcija?

Poveži se sa Delta podacima iz Azure Data Lake Storage

1. Idite na izvore>podataka podataka.

2. Izaberite opciju Dodaj izvor podataka.

3. Izaberite Azure Data Lake Delta tabele.

   

4. Unesite izvor podataka i opcionalni opis. Ime se upućuje na nizvodne procese i nije moguće promeniti ga nakon kreiranja izvor podataka.

5. Odaberite jednu od sledećih opcija za povezivanje skladišta pomoću.

   • Azure pretplate: Izaberite pretplatu , a zatim nalog grupe resursa i skladišta.
   • Azure resursa: Unesite ID resursa.

6. Opcionalno, ako želite da unosite podatke iz naloga za skladištenje putem Azure privatne veze, izaberite opciju Omogući privatnu vezu. Više informacija potražite u članku Privatne veze.

7. Odaberite ime kontejnera koji sadrži fasciklu vaših podataka i kliknite na dugme Dalje .

8. Dođite do fascikle koja sadrži podatke u Delta tabelama i izaberite ih. Zatim kliknite na dugme Dalje . Prikazaće se lista dostupnih tabela.

9. Izaberite tabele koje želite da uključite.

10. Za izabrane tabele u kojima primarni ključ nije definisan,Potrebni prikazi u okviru primarnog ključa. Za svaku od ovih tabela:

    1. Izaberite potrebnu. Prikazaće se tabla "Uređivanje tabele".
    2. Odaberite primarni ključ. Primarni ključ je atribut jedinstven za tabelu. Da bi atribut bio važeći primarni ključ, ne bi trebalo da sadrži duplirane vrednosti, nedostajuće vrednosti ili prazne vrednosti. Atributi tipa niska, ceo broj i GUID tip podataka su podržani kao primarni ključevi.
    3. Kliknite na dugme " Zatvori" da biste sačuvali i zatvorili tablu.

    

11. Izaberite broj kolona za tabelu da biste omogućili profilisanje podataka u bilo kojoj koloni. Prikazaće se stranica "Upravljanje atributima".

    

    1. Izaberite profilisanje podataka za celu tabelu ili za određene kolone. Podrazumevano, nijedna tabela nije omogućena za profilisanje podataka.
    2. Izaberite Gotovo.

12. Izaberite stavku Sačuvaj. Otvoriće se stranica "Izvori podataka" koja prikazuje novu izvor podataka statusu "Osvežavanje ".

    Napojnica

    Postoje statusi za zadatke i procese. Većina procesa zavisi od drugih uzvodnih procesa, kao što su izvori podataka i osvežavanje profilisanja podataka.

    Izaberite status da biste otvorili okno sa detaljima o toku i prikazali tok zadataka. Da biste otkazali posao, kliknite na dugme " Otkaži posao" na dnu okna.

    U okviru svakog zadatka možete izabrati pogledajte detalje za više informacija o toku, kao što su vreme obrade, datum poslednje obrade i sve primenljive greške i upozorenja povezana sa zadatkom ili procesom. Izaberite status sistema "Prikaži " na dnu table da biste videli druge procese u sistemu.

Učitavanje podataka može potrajati. Nakon uspešnog osvežavanja, uneti podaci mogu da se rediguje sa stranice " Tabele ".

Upravljanje promenama šeme

Kada se kolona doda ili ukloni iz šeme delta fascikli izvor podataka, sistem pokreće potpuno osvežavanje podataka. Potpuno osvežavanje traje duže za obradu svih podataka od postepenog osvežavanja.

Dodajte kolonu

Kada se koloni doda izvor podataka, informacije se automatski dodaju podacima kada dođe do Customer Insights - Data osvežavanja. Ako ste već podesili ujedinjenje tabele, nova kolona mora biti dodata procesu ujedinjenja.

1. U meniju Podaci o korak izaberite tabele i kolone i izaberite novu kolonu.

2. U prikazu objedinjenih korak uverite se da kolona nije isključena iz profila kupca. Izaberite opciju " Isključeno" i pročitao kolonu.

3. U prozoru Pokreni ispravke objedinjenog profila korak izaberite opciju Ujedini profile i zavisnosti klijenata.

Menjanje ili uklanjanje kolone

Kada se kolona ukloni iz izvor podataka, sistem proverava da li postoji zavisnost u drugim procesima. Ako postoji zavisnost od kolona, sistem zaustavlja osvežavanje i pruža grešku koja ukazuje na to da zavisnosti moraju biti uklonjene. Ove zavisnosti se prikazuju u obaveštenju da bi vam pomogle da ih pronađete i uklonite.

Provera valjanosti promene šeme

Kada izvor podataka osvežite, idite na stranicu "Tabele podataka> ". Izaberite tabelu za izvor podataka i proverite šemu.

Delta jezero putovanje kroz vreme i osvežavanje podataka

Delta lake putovanje kroz vreme je mogućnost upita kroz verzije tabele na osnovu vremenske ose ili broja verzije. Promene u Delta fasciklama su verzije i Customer Insights - Data koriste verzije fascikle "Delta" za praćenje podataka koje treba obraditi. U običnom osvežavanju delta tabele podaci se izvlače iz svih verzija tabele podataka od poslednjeg osvežavanja. Sve dok su sve verzije prisutne, mogu da Customer Insights - Data obrade samo promenjene elemente i dati brže rezultate. Saznajte više o putovanju kroz vreme.

Na primer, ako su uvidi klijenata – podaci poslednji put sinhronizovani sa verzijom 23 podataka delta fascikle, očekuje da će pronaći verziju 23 i verovatno naredne verzije dostupne. Ako očekivane verzije podataka nisu dostupne, sinhronizacija podataka neće uspeti i zahteva ručno osvežavanje celih podataka. Sinhronizacija podataka može da ne uspe ako su podaci delta fascikle izbrisani, a zatim ponovo kreirani. Ili ako nije Customer Insights - Data bilo moguće povezati se sa Delta fasciklama duži period dok su verzije napredne.

Da biste izbegli potrebu za potpunim osvežavanje podataka, preporučujemo da zadržite razuman zaostatak u istoriji, na primer 15 dana.

Ručno pokretanje osvežavanja kompletnih podataka u fascikli delta tabele

Potpuno osvežavanje uzima sve podatke iz tabele u Delta formatu i ponovo ih učita iz Delta tabele verzije nula (0). Promene šeme delta fascikle pokreću automatsko potpuno osvežavanje. Izvršite sledeće korake da biste ručno pokrenuli potpuno osvežavanje.

1. Idite na izvore>podataka podataka.

2. Izaberite tabele Delta jezera Azure data izvor podataka.

3. Izaberite tabelu koju želite da osvežite. Prikazaće se okno "Uređivanje tabele".

   

4. Izaberite Pokreni jednovremeno potpuno osvežavanje.

5. Kliknite na dugme Sačuvaj da biste pokrenuli osvežavanje. Otvoriće se stranica "Izvori podataka" koja prikazuje izvor podataka statusu "Osvežavanje ", ali samo izabrana tabela osvežava.

6. Ponovite proces za druge tabele, ako je primenljivo.

Sinhronizacija podataka nije uspela

Sinhronizacija podataka može da ne uspe ako su podaci delta fascikle izbrisani, a zatim ponovo kreirani. Ili ako nije Customer Insights - Data bilo moguće povezati se sa Delta fasciklama duži period dok su verzije napredne. Da biste umanjili uticaj na to da povremeni kvar na cevovodu podataka stvara potrebu za potpunim osvežavanjem, preporučujemo da zadržite razuman zaostatak istorije, kao što je 15 dana.

Sledeći koraci

• Pregled ujedinjenja podataka