Deli z drugimi prek

Posodobitev vira podatkov za Common Data Model za uporabo tabel Delta

  • Članek

Posodobite obstoječo podatkovno povezavo s tabelami skupnega podatkovnega modela in se premaknite na tabele v obliki Delta, ne da bi odstranili in znova ustvarili obstoječo konfiguracijo, ki je odvisna od podatkovne povezave.

Ključni razlogi za povezavo s podatki, shranjenimi v formatu Delta:

  • Neposredno uvozite podatke v obliki Delta, da prihranite čas in trud.
  • Odpravite stroške računanja in shranjevanja, povezane s preoblikovanjem in shranjevanjem kopije vaših podatkov lakehouse.
  • Samodejno izboljšajte zanesljivost vnosa podatkov, ki jih Customer Insights - Data zagotavlja različica Delta.

Delta je izraz, uveden z Delta Lake, osnovo za shranjevanje podatkov in tabel v Databricks Lakehouse Platform. Delta Lake je odprtokodna shramba sloj, ki prinaša transakcije ACID (atomičnost, doslednost, izolacija in vzdržljivost) v velike podatkovne delovne obremenitve. Za več informacij glejte Stran z dokumentacijo Delta Lake.

Zahteve

  • Azure Data Lake Storage mora biti v istem najemniku in regiji Azure kot Customer Insights - Data.

  • Glavni Customer Insights - Data storitev mora imeti za dostop do računa za shranjevanje dovoljenja Storage Blob Data sodelavec. Za več informacij glejte Dodelitev dovoljenj glavnemu servisu za dostop do računa za shranjevanje.

  • Uporabnik, ki nastavi ali posodobi vir podatkov, potrebuje vsaj dovoljenja za shranjevanje podatkov blob Uporabnik z dovoljenjem za branje za Azure Data Lake Storage račun.

  • Podatki, shranjeni v spletnih storitvah, so lahko shranjeni na drugem mestu kot tam, kjer se podatki obdelujejo ali shranjujejo. Z uvozom ali povezovanjem s podatki, shranjenimi v spletnih storitvah, se strinjate, da se podatki lahko prenašajo.  Več o tem v Microsoftovem središču zaupanja.

  • Customer Insights - Data podpira Databricks Uporabnik z dovoljenjem za branje različico 2. Delta tabele, ki uporabljajo funkcije, ki zahtevajo Databricks Uporabnik z dovoljenjem za branje različice 3 ali novejše, niso podprte. Več o tem: Podprte funkcije Databricks.

  • Tabele Delta morajo biti v mapi v vsebniku za shranjevanje in ne morejo biti v korenskem imeniku vsebnika. Primer:

    storageaccountcontainer/
    DeltaDataRoot/
       ADeltaTable/
             _delta_log/
                 0000.json
                 0001.json
             part-0001-snappy.parquet
             part-0002-snappy.parquet

  • Tabele Delta in njihova shema se morajo ujemati s tabelami v obstoječem skupnem podatkovnem modelu vir podatkov in biti v istem vsebniku za shranjevanje. Tabele v novi podatkovni mapi se morajo natančno ujemati z izbranimi tabelami v skupnem podatkovnem modelu vir podatkov. Imena tabel in njihove sheme se morajo natančno ujemati. V Delti so imena tabel enaka imenu mape, kjer so shranjeni podatki. Zato se morajo imena map natančno ujemati z izbranimi tabelami v skupnem podatkovnem modelu vir podatkov. V nasprotnem primeru posodobitev ne uspe.

    Na primer, če sta izbrani tabeli skupnega podatkovnega modela vir podatkov Tabela1 in Tabela2, mora mapa, ki jo izberete za posodobitev, v hierarhiji prikazati Tabelo1 in Tabelo2.

    storageaccountroot/
DeltaDataRoot/
    Table1/
    Table2/

Posodobite podatkovne tabele skupnega podatkovnega modela v tabele Delta

  1. Pojdite na Podatki>Viri podatkov.

  2. Izberite skupni podatkovni model Azure Data Lake vir podatkov in nato izberite Posodobi na tabele Delta. Ali pa izberite Začni posodobitev na strani Dodaj tabele če urejate skupni podatkovni model vir podatkov.

    Stran z viri podatkov, ki prikazuje skupni podatkovni model vir podatkov z označeno posodobitvijo na tabele Delta.

  3. Izberite Prebrskaj in se pomaknite do mape, ki vsebuje podatke v formatu Delta in točno ustreza izbranemu podatkovnemu jezeru Azure vir podatkov tabela. Izberite ga in nato izberite Posodobi vir podatkov.

    Odpre se stran Viri podatkov , ki prikazuje novo stanje vir podatkov v Osveževanje .

    Pomembno

    Ne ustavite postopka osveževanja, saj lahko negativno vpliva na posodabljanje vir podatkov.

    Nasvet

    Obstajajo statusi za naloge in procese. Večina procesov je odvisnih od drugih predhodnih procesov, kot so viri podatkov in profiliranje podatkov osvežitve.

    Izberite stanje, da odprete podokno Podrobnosti o napredku in si ogledate napredek opravil. Če želite preklicati opravilo, izberite Prekliči opravilo na dnu podokna.

    Pod vsakim opravilom lahko izberete Oglejte si podrobnosti za več informacij o napredku, kot so čas obdelave, zadnji datum obdelave in morebitne ustrezne napake in opozorila, povezana z opravilom ali postopkom. Izberite Ogled statusa sistema na dnu plošče, da vidite druge procese v sistemu.

Priporočamo, da nadaljujete s pretakanjem podatkov na lokacijo Data Lake Storage prek obstoječega cevovoda ter vzdržujete manifeste in sheme, dokler ne ugotovite, da je bila posodobitev uspešna in da vse deluje po pričakovanjih.

Razveljavi pretvorbo iz tabel skupnega podatkovnega modela v tabele Delta

Če ste poskušali posodobiti skupni podatkovni model Azure Data Lake vir podatkov v tabele Delta in postopek ne uspe, izvedite naslednje korake.

Zahteve

  • Vaša organizacija je še naprej pretakala podatke Data Lake Storage prek vašega cevovoda.
  • Vaša organizacija je vzdrževala manifeste in sheme Data Lake Storage.

Vrnite se nazaj na skupni podatkovni model Azure Data Lake vir podatkov

  1. Pojdite na Podatki>Viri podatkov.

  2. Izberite skupni podatkovni model Azure Data Lake vir podatkov in nato izberite Povrni tabele skupnega podatkovnega modela.

  3. Potrdite, da se želite vrniti. Odpre se stran Viri podatkov , ki prikazuje novo stanje vir podatkov v Osveževanje .

    Pomembno

    Ne ustavite postopka osveževanja, saj lahko negativno vpliva na povrnitev vir podatkov.