Csatlakozás Delta-táblákhoz a Azure Data Lake Storage
Csatlakozzon a különbözeti táblákban lévő adatokhoz, és hozza be őket Dynamics 365 Customer Insights - Data.
A különbözeti formátumban tárolt adatokhoz való csatlakozás fő okai:
- A különbözeti formátumú adatok közvetlen importálásával időt és energiát takaríthat meg.
- Kiküszöbölheti a tóház-adatok másolatának átalakításával és tárolásával kapcsolatos számítási és tárolási költségeket.
- Automatikusan javíthatja a változásverzió-kezelés által Customer Insights - Data biztosított adatbetöltés megbízhatóságát.
Támogatott Databricks-funkciók és -verziók
Customer Insights - Data támogatja Databricks 2-es vagy korábbi "minReaderVersion" funkciókkal rendelkező funkciókat. A Databricks 3 olvasó es vagy újabb verzióját igénylő Databricks-funkciók nem támogatottak. A táblázat a támogatott és nem támogatott Databricks funkciókat mutatja be.
| Támogatott funkciók | Nem támogatott funkciók |
|---|---|
| Alapvető funkciók | Törlési vektorok |
| Adatcsatorna módosítása | Folyadékklaszterezés |
| Kényszerek ellenőrzése | Táblázat jellemzői írás |
| Oszlopleképezés | IdőbélyegNTZ |
| Oszlopok létrehozása | Típusszélesítés |
| Azonosító oszlopok | Változat |
| Sorkövetés | |
| A táblázat jellemzői olvashatók | |
| Egyenruha |
További információ: Hogyan kezeli a Databricks a Delta Lake funkciók kompatibilitását?.
Előfeltételek
A Azure Data Lake Storage bérlőnek és Azure-régiónak kell lennie, mint a bérlőnek Customer Insights - Data.
A Customer Insights - Data szolgáltatásnévnek Storage blobadatok közreműködő engedélyekkel kell rendelkeznie a tárfiók eléréséhez. További információ: Engedélyek megadása a szolgáltatásnévnek a tárfiók eléréséhez.
A adatforrás beállító vagy frissítő felhasználónak legalább Storage blobadatokra olvasó engedélyekre van szüksége a Azure Data Lake Storage fiókhoz.
Előfordulhat, hogy az online szolgáltatásokban tárolt adatok tárolása az adatok feldolgozásának vagy tárolásának helyétől eltérő helyen történik. Az online szolgáltatásokban tárolt adatok importálásával vagy az azokhoz való csatlakozással Ön elfogadja az adatok átvitelét. További információt a Microsoft Adatvédelmi központban talál.
Customer Insights - Data támogatja Databricks olvasó 2-es verzióját. A Databricks 3 olvasó es vagy újabb verzióját igénylő funkciókat használó különbözeti táblák nem támogatottak. További információ: Támogatott Databricks-funkciók.
A különbözeti tábláknak a tárolóban lévő mappában kell lenniük, és nem lehetnek a tároló gyökérkönyvtárában. Például:
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
- A adatállománynak Azure Data Lake Storage különbözeti táblákban kell lennie. Customer Insights - Data A tábla előzményeinek Version tulajdonságára támaszkodik a növekményes feldolgozás legújabb módosításainak azonosításához.
Csatlakozás különbözeti adatokhoz innen: Azure Data Lake Storage
Ugrás az Adatforrások > elemre.
Válassza a adatforrás hozzáadása lehetőséget.
Válassza Azure Data Lake Delta táblák lehetőséget.
Adjon meg egy adatforrásnév és egy opcionális leírást. A névre az alsóbb rétegbeli folyamatokban hivatkoznak, és a adatforrás létrehozása után nem módosítható.
Válasszon az alábbi lehetőségek közül a Tárhely csatlakoztatása a következő használatával beállításnál.
- Azure-előfizetés: Válassza ki az előfizetést , majd az erőforráscsoportot és a Storage fiókot.
- Azure-erőforrás: Adja meg az erőforrás-azonosítót.
Ha egy tárfiókból szeretne adatokat betölteni egy Azure Private Link keresztül, válassza az Enable Private Link lehetőséget. További információ: Privát hivatkozások.
Válassza ki az adatok mappáját tartalmazó tároló nevét, majd kattintson a Tovább gombra.
Keresse meg a különbözeti táblákban lévő adatokat tartalmazó mappát, és jelölje ki. Ezután válassza a Tovább lehetőséget. Megjelenik az elérhető táblák listája.
Jelölje ki a felvenni kívánt táblákat.
Azoknál a kiválasztott tábláknál, ahol nincs megadva elsődleges kulcs, a Kötelező felirat az Elsődleges kulcs alattjelenik meg. Mindegyik táblázat esetében:
- Válassza a Szükséges lehetőséget. Megjelenik a Táblázat szerkesztése panel.
- Válassza ki az elsődleges kulcsot. Az elsődleges kulcs a tábla egyedi attribútuma. Ahhoz, hogy egy attribútum érvényes elsődleges kulcs legyen, az ne tartalmazzon ismétlődő értékeket, a hiányzó értékeket vagy a null értékeket. A sztring, egész szám és GUID adattípus-attribútumok elsődleges kulcsként támogatottak.
- Válassza a Bezárás lehetőséget a panel mentéséhez és bezárásához.
Ha bármelyik oszlopon engedélyezni szeretné az adatprofil-készítést, válassza ki a tábla oszlopainak számát. Megjelenik az Attribútumok kezelése lap.
- Válassza az Adatprofil-készítés lehetőséget a teljes táblához vagy adott oszlopokhoz. Alapértelmezés szerint nincs engedélyezve tábla az adatprofil-készítéshez.
- Válassza a Kész lehetőséget.
Válassza a Mentés parancsot. Megnyílik az Adatforrások lap, amelyen az új adatforrás Frissítés állapotban van .
Tipp.
A feladatoknak és folyamatoknak vannak állapotai . A legtöbb folyamat más felsőbb rétegbeli folyamatoktól, például az adatforrásoktól és az adatprofil-készítés frissítéseitől függ.
Válassza ki az állapotot a Folyamat részletei ablaktábla megnyitásához és a tevékenységek előrehaladásának megtekintéséhez. A feladat megszakításához válassza a panel alján található Feladat megszakítása lehetőséget .
Az egyes feladatok alatt kiválaszthatja a Részletek megtekintése lehetőséget további előrehaladási információkért, például a feldolgozási időért, az utolsó feldolgozási dátumért, valamint a feladathoz vagy folyamathoz kapcsolódó hibákért és figyelmeztetésekért. Válassza a panel alján található Rendszerállapot megtekintése lehetőséget a rendszer egyéb folyamatainak megtekintéséhez.
Az adatok betöltése időbe telhet. A sikeres frissítés után a betöltött adatok áttekinthetők a Táblák oldalon.
Sémamódosítások kezelése
Amikor oszlopot adnak hozzá vagy távolítanak el egy Delta mappák sémájából adatforrás, a rendszer az adatok teljes frissítését futtatja. A teljes frissítések feldolgozása hosszabb időt vesz igénybe, mint a növekményes frissítések.
Oszlop hozzáadása
Amikor oszlopot ad hozzá a adatforrás, az információ automatikusan hozzáfűződik az adatokhoz Customer Insights - Data a frissítés után. Ha az egyesítés már konfigurálva van a táblához, az új oszlopot hozzá kell adni az egyesítési folyamathoz.
Az Ügyféladatok lépés válassza a Táblák és oszlopok kiválasztása lehetőséget , majd válassza ki az új oszlopot.
Az Egyesített adatnézetben győződjön meg arról lépés hogy az oszlop nincs kizárva az ügyfélprofilból. Válassza a Kizárt lehetőséget , és adja hozzá újra az oszlopot.
Az egyesített profil frissítéseinek futtatása lépés területen válassza az Ügyfélprofilok és függőségek egyesítése lehetőséget.
Oszlop módosítása vagy eltávolítása
Amikor eltávolít egy oszlopot egy adatforrás, a rendszer ellenőrzi a függőségeket más folyamatokban. Ha függőség van az oszlopoktól, a rendszer leállítja a frissítést, és hibaüzenetet jelenít meg, amely jelzi, hogy a függőségeket el kell távolítani. Ezek a függőségek egy értesítésben jelennek meg, hogy könnyebben megtalálják és eltávolítsák őket.
Sémamódosítás ellenőrzése
A adatforrás frissítése után lépjen az >Adattáblák lapra. Válassza ki a adatforrás tábláját, és ellenőrizze a sémát.
Delta Lake időutazás és adatfrissítések
A Delta Lake időutazás a táblaverziók lekérdezésének képessége időbélyeg vagy verziószám alapján. A különbözeti mappák módosításai verziószámmal vannak ellátva, és Customer Insights - Data a különbözeti mappaverziók segítségével követik nyomon, hogy milyen adatokat kell feldolgozni. A különbözeti tábla rendszeres frissítésekor a rendszer az utolsó frissítés óta az összes adattábla-verzióból lekéri az adatokat. Mindaddig, amíg az összes verzió jelen van, csak a megváltozott elemeket tudja feldolgozni, Customer Insights - Data és gyorsabb eredményeket tud elérni. További információ az időutazásról.
Ha például a Customer Insights – Adatok utoljára szinkronizálva vannak a különbözeti mappa adatainak 23-as verziójával, akkor várhatóan a 23-as verziót és esetleg a későbbi verziókat is elérhetővé teszi. Ha a várt adatverziók nem érhetők el, az adatszinkronizálás sikertelen lesz, és manuális teljes adatfrissítést igényel. Az adatszinkronizálás sikertelen lehet, ha a különbözeti mappa adatait törölték, majd újra létrehozták. Vagy ha Customer Insights - Data hosszabb ideig nem tudott csatlakozni a különbözeti mappákhoz, amíg a verziók előrehaladtak.
A teljes adatfrissítés szükségességének elkerülése érdekében javasoljuk, hogy ésszerű előzményhátralékot tartson fenn, például 15 napot.
Teljes adatfrissítés manuális futtatása különbözeti táblamappán
A teljes frissítés egy különbözeti formátumú tábla összes adatát átveszi, és újratölti a különbözeti tábla nulla (0) verziójából. A különbözeti mappaséma módosításai automatikus teljes frissítést váltanak ki. A teljes frissítés manuális aktiválásához hajtsa végre a következő lépéseket.
Ugrás az Adatforrások > elemre.
Válassza ki az Azure Data Lake Delta táblákat adatforrás.
Jelölje ki a frissíteni kívánt táblát. Megjelenik a Táblázat szerkesztése panel.
Válassza az Egyszeri teljes frissítés futtatása lehetőséget.
Válassza a Mentés lehetőséget a frissítés futtatásához. Megnyílik az Adatforrások lap, amelyen a adatforrás látható a Frissítés állapotban , de csak a kijelölt tábla frissül.
Ismételje meg a folyamatot más táblák esetében is, ha vannak ilyenek.
Adatszinkronizálási hiba
Az adatszinkronizálás sikertelen lehet, ha a különbözeti mappa adatait törölték, majd újra létrehozták. Vagy ha Customer Insights - Data hosszabb ideig nem tudott csatlakozni a különbözeti mappákhoz, amíg a verziók előrehaladtak. Annak érdekében, hogy minimalizálja azt a hatást, ha egy időszakos adatfolyamat-hiba teljes frissítést tesz szükségessé, javasoljuk, hogy tartson fenn ésszerű előzmény-hátralékot, például 15 napot.