Folyamatos adatexportálás áttekintése
Ez a cikk az adatok Kusto-ból egy rendszeresen futtatott lekérdezéssel történő külső táblába történő folyamatos exportálását ismerteti. Az eredmények tárolása a külső táblában történik, amely meghatározza az exportált adatok célhelyét , például Azure Blob Storage és sémáját. Ez a folyamat garantálja, hogy az összes rekord exportálása "pontosan egyszer" történik, néhány kivétellel. Alapértelmezés szerint a folyamatos exportálás elosztott módban fut, ahol az összes csomópont egyidejűleg exportálódik, így az összetevők száma a fürt csomópontjainak számától függ. A folyamatos exportálás nem a fürtből kifelé irányuló alacsony késésű streamelési adatokhoz készült.
A folyamatos adatexportálás engedélyezéséhez hozzon létre egy külső táblát , majd hozzon létre egy folyamatos exportálási definíciót , amely a külső táblára mutat.
Bizonyos esetekben felügyelt identitást kell használnia a folyamatos exportálási feladat sikeres konfigurálásához. További információ: Felügyelt identitás használata folyamatos exportálási feladat futtatásához.
Engedélyek
Minden folyamatos exportálási parancshoz legalább adatbázis-Rendszergazda engedély szükséges.
Folyamatos exportálási irányelvek
Kimeneti séma:
- Az exportálási lekérdezés kimeneti sémájának meg kell egyeznie annak a külső táblának a sémával, amelybe exportál.
Gyakoriság:
A folyamatos exportálás a tulajdonságban
intervalBetweenRuns
konfigurált időszaknak megfelelően fut. Az intervallum ajánlott értéke legalább néhány perc, attól függően, hogy milyen késéseket szeretne elfogadni. Az időintervallum akár egy perc is lehet, ha a betöltési sebesség magas.Megjegyzés
A
intervalBetweenRuns
csak javaslatként szolgál, és nem garantált, hogy pontos. A folyamatos exportálás nem alkalmas időszakos összesítések exportálására. Például egy óránkéntiintervalBetweenRuns
=1h
összesítéssel (T | summarize by bin(Timestamp, 1h)
) rendelkező konfiguráció nem a várt módon működik, mivel a folyamatos exportálás nem fog pontosan az órán belül futni. Ezért minden óránkénti intervallum több bejegyzést fog kapni az exportált adatokban.
Fájlok száma:
- Az egyes folyamatos exportálási iterációkban exportált fájlok száma a külső tábla particionálásától függ. További információ: Exportálás külső táblába parancs. Minden folyamatos exportálási iteráció mindig új fájlokba ír, és soha nem fűz hozzá meglévőket. Ennek eredményeképpen az exportált fájlok száma attól is függ, hogy a folyamatos exportálás milyen gyakorisággal fut. A frequency paraméter a következő
intervalBetweenRuns
: .
- Az egyes folyamatos exportálási iterációkban exportált fájlok száma a külső tábla particionálásától függ. További információ: Exportálás külső táblába parancs. Minden folyamatos exportálási iteráció mindig új fájlokba ír, és soha nem fűz hozzá meglévőket. Ennek eredményeképpen az exportált fájlok száma attól is függ, hogy a folyamatos exportálás milyen gyakorisággal fut. A frequency paraméter a következő
Külső táblatárfiókok:
- A legjobb teljesítmény érdekében a fürtöt és a tárfiókot ugyanabban az Azure-régióban kell áthelyezni.
- A folyamatos exportálás elosztott módon működik, így a fürt összes csomópontja egyidejűleg exportál. Nagy fürtökön, és ha az exportált adatkötet nagy, ez tárhelyszabályozáshoz vezethet. Javasoljuk, hogy több tárfiókot konfiguráljon a külső táblához. További részletekért tekintse meg az exportálási parancsok során fellépő tárolási hibákat .
Pontosan egyszer exportálás
A "pontosan egyszer" exportálás garantálásához a folyamatos exportálás adatbázis-kurzorokat használ. A folyamatos exportálási lekérdezés nem tartalmazhat időbélyeg-szűrőt – az adatbázis-kurzorok mechanizmusa biztosítja, hogy a rekordok feldolgozása ne történjen meg többször. Az időbélyeg-szűrő lekérdezésben való hozzáadása hiányzó adatokhoz vezethet az exportált adatokban.
Az IngestionTime szabályzatot engedélyezni kell a lekérdezésben hivatkozott összes olyan táblán, amelyet "pontosan egyszer" kell feldolgozni az exportálásban. A szabályzat alapértelmezés szerint engedélyezve van az összes újonnan létrehozott táblában.
A "pontosan egyszer" exportálásra vonatkozó garancia csak az exportált összetevők megjelenítése parancsban jelentett fájlokra vonatkozik. A folyamatos exportálás nem garantálja, hogy minden rekord csak egyszer lesz megírva a külső táblába. Ha az exportálás megkezdése után hiba történik, és néhány összetevő már meg lett írva a külső táblába, előfordulhat, hogy a külső tábla ismétlődő elemeket tartalmaz. Ha a befejezés előtt megszakított egy írási műveletet, előfordulhat, hogy a külső tábla sérült fájlokat tartalmaz. Ilyen esetekben az összetevők nem törlődnek a külső táblából, de nem jelennek meg az exportált összetevők megjelenítése parancsban. Ha az exportált fájlokat a használatával használja, az nem garantálja a show exported artifacts command
duplikációkat és a sérüléseket.
Exportálás tény- és dimenziótáblákból
Alapértelmezés szerint a rendszer az exportálási lekérdezésben hivatkozott összes táblát ténytábláknak tekinti. Így a hatókörük az adatbázis-kurzorra van korlátozva. A szintaxis explicit módon deklarálja, hogy mely táblák hatóköre (tény), és melyek nincsenek hatókörben (dimenzió). A részletekért tekintse meg a over
paramétert a create parancsban .
Az exportálási lekérdezés csak azokat a rekordokat tartalmazza, amelyek az előző exportálás végrehajtása óta csatlakoztak. Az exportálási lekérdezés tartalmazhat dimenziótáblákat , amelyekben a dimenziótábla összes rekordja szerepel az összes exportálási lekérdezésben. Ha tény- és dimenziótáblák közötti illesztéseket használ a folyamatos exportálás során, ne feledje, hogy a ténytábla rekordjai csak egyszer lesznek feldolgozva. Ha az exportálás úgy fut, hogy a dimenziótáblák rekordjai hiányoznak néhány kulcsból, akkor a megfelelő kulcsok rekordjai kimaradnak, vagy null értékeket tartalmaznak az exportált fájlok dimenzióoszlopaihoz. A kihagyott vagy null rekordok visszaadása attól függ, hogy a lekérdezés belső vagy külső illesztést használ-e. A forcedLatency
folyamatos exportálás definíciójában szereplő tulajdonság olyan esetekben lehet hasznos, amikor a tény- és dimenziótáblák ugyanabban az időben vannak betöltve a rekordok egyeztetéséhez.
Megjegyzés
Csak a dimenziótáblák folyamatos exportálása nem támogatott. Az exportálási lekérdezésnek legalább egyetlen ténytáblát kell tartalmaznia.
Folyamatos exportálás monitorozása
Monitorozza a folyamatos exportálási feladatok állapotát az alábbi exportálási metrikák használatával:
Continuous export max lateness
– A fürt folyamatos exportálásainak maximális késése (percekben). Ez a fürtben lévő összes folyamatos exportálási feladat minimálisExportedTo
ideje között eltelt idő. További információ:.show continuous export
parancs.Continuous export result
- Az egyes folyamatos exportálási végrehajtások sikerességének/sikertelenségének eredménye. Ez a metrika felosztható a folyamatos exportálás nevével.
.show continuous export failures
Az paranccsal megtekintheti a folyamatos exportálási feladat konkrét hibáit.
Figyelmeztetés
Ha egy folyamatos exportálás egy állandó hiba miatt több mint 7 napig meghiúsul, a rendszer automatikusan letiltja az exportálást.
Állandó hibák: a külső tábla nem található, a folyamatos exportálási lekérdezés sémája és a külső táblaséma közötti eltérés, a tárfiók nem érhető el.
A hiba kijavítása után újra engedélyezheti a folyamatos exportálást az .enable continuous export
paranccsal.
Erőforrás-felhasználás
- A folyamatos exportálás fürtre gyakorolt hatása attól függ, hogy a folyamatos exportálás melyik lekérdezést futtatja. A legtöbb erőforrást, például a processzort és a memóriát a lekérdezés végrehajtása használja fel.
- Az egyidejűleg futtatható exportálási műveletek számát a fürt adatexportálási kapacitása korlátozza. További információ: Felügyeleti parancsok szabályozása. Ha a fürt nem rendelkezik elegendő kapacitással az összes folyamatos exportálás kezeléséhez, néhány késni kezd.
- A show commands-and-queries paranccsal megbecsülhető az erőforrások kihasználtsága.
- Szűrés a
| where ClientActivityId startswith "RunContinuousExports"
folyamatos exportáláshoz társított parancsok és lekérdezések megtekintéséhez.
- Szűrés a
Előzményadatok exportálása
A folyamatos exportálás csak a létrehozási ponttól kezdi meg az adatok exportálását. Az ezt az időpontot megelőzően betöltött rekordokat külön kell exportálni a nem folyamatos exportálási paranccsal. Előfordulhat, hogy az előzményadatok túl nagyok ahhoz, hogy egyetlen exportálási parancsban exportálhatók legyenek. Szükség esetén particionálja a lekérdezést több kisebb kötegre.
A folyamatos exportálással exportált adatok ismétlődésének elkerülése érdekében használja StartCursor
a show continuous export parancs által visszaadott parancsot, és az exportálás csak a kurzorértéket rögzíti where cursor_before_or_at
. Például:
.show continuous-export MyExport | project StartCursor
StartCursor |
---|
636751928823156645 |
Ezt követi:
.export async to table ExternalBlob
<| T | where cursor_before_or_at("636751928823156645")
Folyamatos exportálás táblázatból sorszintű biztonsággal
Ha egy sorszintű biztonsági házirendet tartalmazó táblára hivatkozó lekérdezéssel szeretne folyamatos exportálási feladatot létrehozni, a következőket kell tennie:
- Adjon meg egy felügyelt identitást a folyamatos exportálási konfiguráció részeként. További információ: Felügyelt identitás használata folyamatos exportálási feladat futtatásához.
- Használjon megszemélyesítési hitelesítést ahhoz a külső táblához, amelybe az adatokat exportálja.
Folyamatos exportálás Delta-táblába – Előzetes verzió
A deltatáblába való folyamatos exportálás jelenleg előzetes verzióban érhető el.
Fontos
A Delta-tábla particionálása nem támogatott a folyamatos adatexportálásban.
A Kusto nem ír meglévő deltatáblákba, ha a deltaprotokoll-író verziója 1-nél nagyobb.
A folyamatos exportálás delta táblába való definiálásához hajtsa végre az alábbi lépéseket:
Hozzon létre egy külső különbözeti táblát az Azure Storage-ban a Delta külső tábláinak létrehozása és módosítása című cikkben leírtak szerint.
Megjegyzés
Ha a séma nincs megadva, a Kusto automatikusan megpróbálja kikövetkeztetni, ha már van definiálva deltatábla a céltárolóban.
A Delta-tábla particionálása nem támogatott.A folyamatos exportálás definiálása a táblába a Folyamatos exportálás létrehozása vagy módosítása című témakörben ismertetett parancsokkal.
Fontos
A deltatábla sémájának szinkronban kell lennie a folyamatos exportálási lekérdezéssel. Ha a mögöttes különbözeti tábla megváltozik, előfordulhat, hogy az exportálás váratlan működéssel kezd meghiúsulni.
Korlátozások
Általános:
- A céltáblákon a következő formátumok engedélyezettek:
CSV
,TSV
,JSON
ésParquet
. - A folyamatos exportálás nem alkalmas a materializált nézeteken való munkára, mivel a materializált nézet frissíthető, míg a tárolóba exportált adatok mindig csak hozzáfűzhetők, és soha nem frissülnek.
- A követő adatbázisokon nem hozható létre folyamatos exportálás, mivel a követő adatbázisok írásvédettek, és a folyamatos exportálás írási műveleteket igényel.
- A forrástábla rekordjait közvetlenül, frissítési szabályzattal vagy lekérdezési parancsokból való betöltéssel kell a táblába beszúrni. Ha a rekordokat .move extents vagy .rename tábla használatával helyezi át a táblába, előfordulhat, hogy a folyamatos exportálás nem dolgozza fel ezeket a rekordokat. Tekintse meg az Adatbázis-kurzorok lapon leírt korlátozásokat .
- Ha a folyamatos exportálás által használt összetevők az Event Grid-értesítések aktiválására szolgálnak, tekintse meg az Event Grid dokumentációjának ismert problémák szakaszát.
Adatbázisközi és fürtök közötti:
- A folyamatos exportálás nem támogatja a fürtök közötti hívásokat.
- A folyamatos exportálás csak dimenziótáblák esetében támogatja az adatbázisközi hívásokat. Minden ténytáblának a helyi adatbázisban kell lennie. További részletek: Exportálás tény- és dimenziótáblákból.
- Ha a folyamatos exportálás adatbázisközi hívásokat is tartalmaz, felügyelt identitással kell konfigurálni.
Szabályzatok:
- A folyamatos exportálás nem engedélyezhető a sorszintű biztonsági szabályzattal rendelkező táblákon, kivéve, ha adott feltételek teljesülnek. További információ: Folyamatos exportálás sorszintű biztonsággal rendelkező táblából.
- A folyamatos exportálás nem konfigurálható korlátozott nézethozzáférés-szabályzattal rendelkező táblán.
Kapcsolódó tartalom
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: