Prisijungimas prie delta lentelių Azure Data Lake Storage
Prisijunkite prie duomenų Delta lentelėse ir perkelkite juos į vidų Dynamics 365 Customer Insights - Data.
Pagrindinės priežastys prisijungti prie duomenų, saugomų delta formatu:
- Tiesiogiai importuokite "Delta" suformatuotus duomenis, kad sutaupytumėte laiko ir pastangų.
- Pašalinkite skaičiavimo ir saugojimo išlaidas, susijusias su jūsų ežero namo duomenų kopijos transformavimu ir saugojimu.
- Automatiškai pagerinkite duomenų įsisavinimo patikimumą, kurį Customer Insights - Data teikia "Delta" versijų kūrimas.
Palaikomos "Databricks" funkcijos ir versijos
Customer Insights - Data palaiko Databricks funkcijas su 2 ar senesne "minReaderVersion". "Databricks" funkcijos, kurioms reikalinga "Databricks Reader" 3 arba naujesnė versija, nepalaikomos. Lentelėje pateikiamos palaikomos ir nepalaikomos "Databricks" funkcijos.
| Palaikomos funkcijos | Nepalaikomos funkcijos |
|---|---|
| Pagrindinės funkcijos | Delecijos vektoriai |
| Duomenų informacijos santraukos keitimas | Skysčių grupavimas |
| Patikrinkite apribojimus | Lentelės funkcijos rašo |
| Stulpelių susiejimas | Laiko žymaNTZ |
| Stulpelių generavimas | Tipo išplėtimas |
| Tapatybės stulpeliai | Variantas |
| Eilučių sekimas | |
| Lentelės funkcijos skaitomos | |
| Vienodas |
Sužinokite daugiau: Kaip "Databricks" valdo "Delta Lake" funkcijų suderinamumą?.
Būtinosios sąlygos
Turi Azure Data Lake Storage būti tame pačiame nuomotojuje ir "Azure" regione kaip ir Customer Insights - Data.
Paslaugos Customer Insights - Data vykdytojas turi turėti didelių saugyklos duomenų bendradarbio teises, kad galėtų pasiekti saugyklos paskyrą. Daugiau informacijos ieškokite Teisių suteikimas pagrindinei tarnybos įstaigai, kad ji galėtų pasiekti saugyklos abonementą.
Vartotojui, kuris nustato arba atnaujina duomenų šaltinis, reikia bent saugyklos didelių dvejetainių objektų duomenų skaitytuvo Azure Data Lake Storage leidimų paskyroje.
Internete teikiamose paslaugose saugomi duomenys gali būti saugomi kitoje vietoje nei ta, kurioje duomenys apdorojami ar saugomi. Importuodami internete teikiamose paslaugose saugomus duomenis arba prisijungdami prie jų sutinkate, kad duomenys gali būti perduodami. Sužinokite daugiau apsilankę "Microsoft" patikimumo centre.
Customer Insights - Data palaiko "Databricks Reader" 2 versiją. Delta lentelės, kuriose naudojamos funkcijos, kurioms reikalinga 3 ar naujesnės versijos "Databricks Reader", nepalaikomos. Sužinokite daugiau: Palaikomos "Databricks" funkcijos.
Deltos lentelės turi būti saugojimo konteinerio aplanke ir negali būti konteinerio šakniniame kataloge. Pavyzdys.
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
- Jūsų Azure Data Lake Storage duomenys turi būti "Delta" lentelėse. Customer Insights - Data Remiasi versijos ypatybe lentelės retrospektyvoje, kad identifikuotų naujausius papildomo apdorojimo pakeitimus.
Prisijungimas prie "Delta" duomenų iš Azure Data Lake Storage
Eikite į Duomenų>šaltiniai.
Pasirinkite Įtraukti duomenų šaltinis.
Pasirinkite Azure Data Lake Delta lentelės.
Įveskite duomenų šaltinio pavadinimas ir pasirinktinį aprašą. Pavadinimas nurodomas tolesniuose procesuose ir sukūrus duomenų šaltinis jo pakeisti neįmanoma.
Pasirinkite vieną iš šių parinkčių Saugyklos prijungimas naudojant.
- "Azure" prenumerata: pasirinkite Prenumerata , tada išteklių grupė ir saugyklos paskyra.
- "Azure" išteklius: įveskite ištekliaus ID.
Pasirinktinai, jei norite perkelti duomenis iš saugyklos paskyros naudodami "Azure Private" susieti, pasirinkite Įgalinti privatų susieti. Norėdami gauti daugiau informacijos, žiūrėkite Privatūs saitai.
Pasirinkite konteinerio , kuriame yra jūsų duomenų aplankas, pavadinimą ir pasirinkite Pirmyn.
Eikite į aplanką, kuriame yra delta lentelių duomenys, ir pasirinkite jį. Tada pasirinkite Pirmyn. Rodomas galimų lentelių sąrašas.
Pasirinkite lenteles, kurias norite įtraukti.
Pasirinktose lentelėse, kuriose pirminis raktas nėra apibrėžtas, būtina rodoma dalyje Pirminis raktas. Kiekvienai iš šių lentelių:
- Pasirinkite Būtina. Rodomas skydelis Redaguoti lentelę .
- Pasirinkite pirminį raktą. Pirminis raktas yra unikalus lentelės atributas. Kad atributas būtų tinkamas pirminis raktas, jame neturėtų būti pasikartojančių reikšmių, trūkstamų reikšmių arba neapibrėžtų reikšmių. Eilutės, sveikojo skaičiaus ir GUID duomenų tipo atributai palaikomi kaip pirminiai raktai.
- Pasirinkite Uždaryti , kad išsaugotumėte ir uždarytumėte skydelį.
Norėdami įgalinti duomenų profiliavimą bet kuriame stulpelyje, pasirinkite lentelės stulpelių skaičių . Rodomas puslapis Tvarkyti atributus .
- Pasirinkite Duomenų profiliavimas visai lentelei arba konkretiems stulpeliams. Pagal numatytuosius nustatymus jokia lentelė neįjungta duomenų profiliavimui.
- Pasirinkite Atlikta.
Pasirinkite Įrašyti. Atidaromas puslapis Duomenų šaltiniai , kuriame naujas duomenų šaltinis rodomas būsenoje Atnaujinimas .
Arbatpinigiai
Yra užduočių ir procesų būsenos . Dauguma procesų priklauso nuo kitų pirminių procesų, pvz., duomenų šaltinių ir duomenų profiliavimo atnaujinimų.
Pasirinkite būseną, kad atidarytumėte sritį Eigos informacija ir peržiūrėtumėte užduočių eigą. Norėdami atšaukti užduotį, srities apačioje pasirinkite Atšaukti užduotį .
Po kiekviena užduotimi galite pasirinkti Peržiūrėti išsamią informaciją , kad gautumėte daugiau informacijos apie eigą, pvz., apdorojimo laiką, paskutinę apdorojimo datą ir visas taikomas klaidas bei įspėjimus, susijusius su užduotimi ar procesu. Pasirinkite Peržiūrėti sistemos būseną skydelio apačioje, kad pamatytumėte kitus sistemos procesus.
Duomenų įkėlimas gali užtrukti. Sėkmingai atnaujinus, suvartotus duomenis galima peržiūrėti puslapyje Lentelės .
Schemos keitimų valdymas
Kai stulpelis įtraukiamas arba pašalinamas iš delta aplankų schemos duomenų šaltinis, sistema vykdo visišką duomenų atnaujinimą. Visiškas atnaujinimas užtrunka ilgiau, kol apdorojami visi duomenys, nei laipsniški atnaujinimai.
Stulpelio įtraukimas
Kai stulpelis įtraukiamas į duomenų šaltinis, informacija automatiškai pridedama prie duomenų Customer Insights - Data , kai tik įvyksta atnaujinimas. Jei lentelės suvienijimas jau sukonfigūruotas, naujas stulpelis turi būti įtrauktas į suvienijimo procesą.
Atlikdami veiksmą Kliento duomenys pasirinkite Pasirinkti lenteles ir stulpelius ir pasirinkite naują stulpelį.
Atlikdami vieningo duomenų rodinio veiksmą įsitikinkite, kad stulpelis nėra išskirtas iš kliento profilio. Pasirinkite Išskirta ir perskaitykite stulpelį.
Atlikdami vieningo profilio veiksmo naujinimus pasirinkite Suvienodinti klientų profilius ir priklausomybes.
Stulpelio keitimas arba šalinimas
Kai stulpelis pašalinamas iš duomenų šaltinis, sistema tikrina, ar nėra priklausomybių kituose procesuose. Jei yra priklausomybė nuo stulpelių, sistema sustabdo atnaujinimą ir pateikia klaidą, nurodančią, kad priklausomybės turi būti pašalintos. Šios priklausomybės rodomos pranešime, kad būtų lengviau jas rasti ir pašalinti.
Schemos pakeitimo tikrinimas
Kai duomenų šaltinis bus atnaujintas, eikite į puslapį Duomenų>lentelės . Pasirinkite duomenų šaltinis lentelę ir patikrinkite schemą.
Deltos ežero kelionės laiku ir duomenų atnaujinimas
Kelionė laiku Deltos ežere yra galimybė pateikti užklausą per lentelės versijas pagal laiko žymą arba versijos numerį. Delta aplankų keitimai yra sukurti ir naudoja delta aplankų versijas, kad galėtų sekti, Customer Insights - Data kokius duomenis apdoroti. Reguliariai atnaujinant delta lentelę, duomenys paimami iš visų duomenų lentelės versijų nuo paskutinio atnaujinimo. Kol yra visos versijos, Customer Insights - Data gali apdoroti tik pakeistus elementus ir pateikti greitesnius rezultatus. Sužinokite daugiau apie keliones laiku.
Pavyzdžiui, jei "Customer Insights" – duomenys paskutinį kartą sinchronizuoti su jūsų delta aplanko duomenų 23 versija, tikimasi rasti 23 versiją ir galbūt vėlesnes galimas versijas. Jei numatomos duomenų versijos nepasiekiamos, duomenų sinchronizavimas nepavyksta ir reikia rankiniu būdu atnaujinti visus duomenis. Duomenų sinchronizavimas gali nepavykti, jei aplanko "Delta" duomenys buvo panaikinti ir sukurti iš naujo. Arba, jei Customer Insights - Data ilgą laiką nepavyko prisijungti prie delta aplankų, kol versijos buvo patobulintos.
Kad nereikėtų atnaujinti visų duomenų, rekomenduojame išlaikyti pagrįstą istorijos atsilikimą, pvz., 15 dienų.
Neautomatinis visų duomenų atnaujinimo paleidimas delta lentelės aplanke
Visiškas atnaujinimas paima visus duomenis iš lentelės delta formatu ir iš naujo įkelia juos iš Delta lentelės versijos nulis (0). Delta aplanko schemos pakeitimai suaktyvina automatinį visišką atnaujinimą. Norėdami rankiniu būdu suaktyvinti visą atnaujinimą, atlikite šiuos veiksmus.
Eikite į Duomenų>šaltiniai.
Pasirinkite "Azure Data Lake Delta" lenteles duomenų šaltinis.
Pasirinkite lentelę, kurią norite atnaujinti. Rodoma sritis Redaguoti lentelę .
Pasirinkite Vykdyti vienkartinį pilną atnaujinimą.
Pasirinkite Įrašyti , kad paleistumėte atnaujinimą. Atidaromas puslapis Duomenų šaltiniai , kuriame duomenų šaltinis rodoma atnaujinimo būsenoje, bet atnaujinama tik pasirinkta lentelė.
Pakartokite procesą su kitomis lentelėmis, jei taikoma.
Duomenų sinchronizavimo klaida
Duomenų sinchronizavimas gali nepavykti, jei aplanko "Delta" duomenys buvo panaikinti ir sukurti iš naujo. Arba, jei Customer Insights - Data ilgą laiką nepavyko prisijungti prie delta aplankų, kol versijos buvo patobulintos. Norėdami sumažinti poveikį, kai dėl nutrūkstančio duomenų srauto gedimo reikia visiškai atnaujinti, rekomenduojame išlaikyti pagrįstą istorijos atsilikimą, pvz., 15 dienų.