Azure Synapse Data Explorer adatbetöltés áttekintése (előzetes verzió)
Az adatbetöltés egy vagy több forrásból származó adatrekordok betöltésére szolgáló folyamat, amellyel adatokat importálhat Azure Synapse Data Explorer készlet táblájába. A betöltés után az adatok elérhetővé válnak a lekérdezéshez.
Az adatbetöltésért felelős Azure Synapse Data Explorer adatkezelési szolgáltatás a következő folyamatot valósítja meg:
- Kötegekben vagy külső forrásból streamelt adatokat kér le, és egy függőben lévő Azure-üzenetsorból olvassa be a kérelmeket.
- Az ugyanarra az adatbázisra és táblára irányuló kötegelt adatforgalom a betöltési átviteli sebességre van optimalizálva.
- A rendszer ellenőrzi a kezdeti adatokat, és szükség esetén átalakítja a formátumot.
- További adatkezelés, beleértve a séma egyeztetését, rendszerezését, indexelését, kódolását és tömörítését.
- Az adatok a beállított adatmegőrzési szabályzatnak megfelelően tárolóban maradnak.
- A betöltött adatok le lesznek véglegesítve a motorban, ahol az elérhető a lekérdezéshez.
Támogatott adatformátumok, tulajdonságok és engedélyek
Betöltési tulajdonságok: Azok a tulajdonságok, amelyek befolyásolják az adatok betöltésének módját (például címkézés, leképezés, létrehozás időpontja).
Engedélyek: Az adatok betöltéséhez a folyamathoz adatbázis-betöltési szintű engedélyek szükségesek. Más műveletekhez, például a lekérdezéshez adatbázis-rendszergazdai, adatbázis-felhasználói vagy tábla-rendszergazdai engedélyekre lehet szükség.
Kötegelés és streamelési betöltések
A kötegelt betöltés adatkötegelést végez, és a nagy betöltési sebességre van optimalizálva. Ez a módszer a betöltés előnyben részesített és legteljesítőbb típusa. Az adatok kötegelése a betöltési tulajdonságok alapján történik. A rendszer kis adatkötegeket egyesít és optimalizál a gyors lekérdezési eredményekhez. A betöltési kötegelési szabályzat beállítható adatbázisokon vagy táblákon. Alapértelmezés szerint a kötegelés maximális értéke 5 perc, 1000 elem vagy 1 GB teljes méret. A kötegbetöltési parancs adatméretkorlátja 4 GB.
A streambetöltés folyamatos adatbetöltés egy streamelési forrásból. A streambetöltés közel valós idejű késést tesz lehetővé a táblánkénti kis adatkészletek esetében. Az adatok kezdetben sortárolóba kerülnek, majd az oszloptárolókba kerülnek.
Betöltési módszerek és eszközök
Azure Synapse Data Explorer számos betöltési módszert támogat, amelyek mindegyike saját célforgatókönyvekkel rendelkezik. Ezek a módszerek közé tartoznak a betöltési eszközök, a különböző szolgáltatások összekötői és beépülő moduljai, a felügyelt folyamatok, az SDK-k használatával végzett programozott betöltés, valamint a betöltéshez való közvetlen hozzáférés.
Betöltés felügyelt folyamatokkal
Azoknak a szervezeteknek, amelyek külső szolgáltatás által végzett felügyeletet (szabályozást, újrapróbálkozást, monitorozást, riasztásokat stb.) szeretnének végezni, valószínűleg az összekötő használata a legmegfelelőbb megoldás. A várólistán lévő adatbetöltés nagy adatmennyiségekhez megfelelő. Azure Synapse Data Explorer a következő Azure Pipelines-folyamatokat támogatja:
- Event Hub: Egy folyamat, amely eseményeket továbbít a szolgáltatásokból a Azure Synapse Data Explorer. További információ: Adatok betöltése az Event Hubból Azure Synapse Data Explorer.
- Synapse-folyamatok: A Synapse-folyamatok elemzési számítási feladatainak teljes körűen felügyelt adatintegrációs szolgáltatása több mint 90 támogatott forrással csatlakozik a hatékony és rugalmas adatátvitel érdekében. A Synapse-folyamatok előkészítik, átalakítják és bővítik az adatokat, hogy különböző módokon monitorozható megállapításokat adjanak. Ez a szolgáltatás használható egyszeri megoldásként, rendszeres időközönként, vagy adott események által aktiválva.
Programozott betöltés SDK-k használatával
Azure Synapse Data Explorer lekérdezésekhez és adatbetöltéshez használható SDK-kat biztosít. A programozott betöltés a betöltési költségek (COG-k) csökkentésére van optimalizálva a tárolási tranzakciók minimalizálásával a betöltési folyamat során és után.
Mielőtt elkezdené, az alábbi lépésekkel kérje le a Data Explorer készletvégpontokat a programozott betöltés konfigurálásához.
A Synapse Studio bal oldali ablaktábláján válassza a Kezelés>Data Explorer készletek lehetőséget.
Válassza ki azt a Data Explorer készletet, amelyet a részletek megtekintéséhez használni szeretne.
Jegyezze fel a lekérdezési és adatbetöltési végpontokat. A lekérdezési végpontot használja fürtként a Data Explorer készlethez való kapcsolatok konfigurálásakor. Az SDK-k adatbetöltésre való konfigurálásakor használja az adatbetöltési végpontot.
Rendelkezésre álló SDK-k és nyílt forráskódú projektek
Eszközök
- Egykattintásos betöltés: Lehetővé teszi az adatok gyors betöltését azáltal, hogy táblákat hoz létre és módosít számos forrástípusból. Az egykattintásos betöltés automatikusan táblákat és leképezési struktúrákat javasol az Azure Synapse Data Explorer adatforrása alapján. Az egy kattintással történő betöltés használható egyszeri betöltéshez, vagy a folyamatos betöltés definiálásához az Event Grid használatával azon a tárolón, amelybe az adatokat betöltötték.
Kusto lekérdezésnyelv betöltési vezérlőparancsok
Számos módszer létezik, amellyel az adatok közvetlenül a motorba betölthetők Kusto lekérdezésnyelv (KQL) parancsokkal. Mivel ez a módszer megkerüli a adatkezelés szolgáltatásokat, csak feltáráshoz és prototípus-íráshoz használható. Éles vagy nagy volumenű forgatókönyvekben ne használja ezt a módszert.
Beágyazott betöltés: A rendszer a .ingest beágyazott vezérlőparancsot küldi el a motornak, és a betöltendő adatok a parancs szövegének részét képezik. Ez a módszer improvizált tesztelési célokra szolgál.
Betöltés a lekérdezésből: A rendszer a .set, .append, .set-or-append vagy .set-or-replace vezérlőparancsot küldi el a motornak, a lekérdezés vagy parancs eredményeiként közvetetten megadott adatokkal.
Betöltés a tárolóból (lekérés): A rendszer egy .ingest vezérlőparancsot küld a motornak, amely a motor által elérhető külső tárolóban (például Azure Blob Storage) tárolt adatokat tárolja, és a parancs mutat rá.
A betöltési vezérlési parancsok használatára példa: Elemzés Data Explorer.
Betöltési folyamat
Miután kiválasztotta az igényeinek leginkább megfelelő betöltési módszert, hajtsa végre a következő lépéseket:
Adatmegőrzési szabályzat beállítása
Az Azure Synapse Data Explorer táblába betöltött adatokra a tábla érvényes adatmegőrzési szabályzata vonatkozik. Ha egy táblázatra vonatkozóan nincs explicit módon beállítva, a hatályos adatmegőrzési szabályzat az adatbázis adatmegőrzési szabályzatából származik. A gyakori megőrzés a fürt méretének és a megőrzési szabályzatnak a függvénye. Ha több adatot foglal be, mint amennyi szabad területtel rendelkezik, az adatok első részének ritka megőrzésre lesz kényszerítve.
Győződjön meg arról, hogy az adatbázis adatmegőrzési szabályzata megfelel az igényeinek. Amennyiben nem felel meg, explicit módon bírálja azt felül a táblázat szintjén. További információ: Adatmegőrzési szabályzat.
Tábla létrehozása
Az adatok betöltéséhez előzetesen létre kell hozni egy táblát. Használja az alábbi lehetőségek egyikét:
Hozzon létre egy táblát egy paranccsal. Példa a tábla létrehozása parancs használatára: Elemzés Data Explorer.
Hozzon létre egy táblát az Egykattintásos betöltés paranccsal.
Megjegyzés
Ha egy rekord hiányos, vagy egy mező nem elemezhető kötelező adattípusként, a megfelelő táblaoszlopok null értékekkel lesznek kitöltve.
Sémaleképezés létrehozása
A sémaleképezés segít a forrásadatmezők céltáblaoszlopokhoz kötésében. A leképezés lehetővé teszi, hogy a különböző forrásokból származó adatokat ugyanabba a táblába vigye a megadott attribútumok alapján. A különböző típusú leképezések támogatottak, sororientált (CSV, JSON és AVRO) és oszloporientált (Parquet). A legtöbb metódusban a leképezések előre is létrehozhatók a táblában , és hivatkozhatók a betöltési parancsparaméterből.
Frissítési szabályzat beállítása (nem kötelező)
Egyes adatformátum-leképezések (Parquet, JSON és Avro) egyszerű és hasznos betöltési idejű átalakításokat támogatnak. Ha a forgatókönyv betöltésekor összetettebb feldolgozásra van szükség, használjon frissítési szabályzatot, amely lehetővé teszi az egyszerű feldolgozást Kusto lekérdezésnyelv parancsokkal. A frissítési szabályzat automatikusan futtat kinyeréseket és átalakításokat az eredeti táblába betöltött adatokon, és az eredményül kapott adatokat egy vagy több céltáblába betölti. Állítsa be a frissítési szabályzatot.