Folyamatos adatexportálás áttekintése

Ez a cikk az adatok Kusto-ból egy rendszeresen futtatott lekérdezéssel történő külső táblába történő folyamatos exportálását ismerteti. Az eredmények tárolása a külső táblában történik, amely meghatározza az exportált adatok célhelyét , például Azure Blob Storage és sémáját. Ez a folyamat garantálja, hogy az összes rekord exportálása "pontosan egyszer" történik, néhány kivétellel. Alapértelmezés szerint a folyamatos exportálás elosztott módban fut, ahol az összes csomópont egyidejűleg exportálódik, így az összetevők száma a fürt csomópontjainak számától függ. A folyamatos exportálás nem a fürtből kifelé irányuló alacsony késésű streamelési adatokhoz készült.

A folyamatos adatexportálás engedélyezéséhez hozzon létre egy külső táblát , majd hozzon létre egy folyamatos exportálási definíciót , amely a külső táblára mutat.

Bizonyos esetekben felügyelt identitást kell használnia a folyamatos exportálási feladat sikeres konfigurálásához. További információ: Felügyelt identitás használata folyamatos exportálási feladat futtatásához.

Engedélyek

Minden folyamatos exportálási parancshoz legalább adatbázis-Rendszergazda engedély szükséges.

Folyamatos exportálási irányelvek

• Kimeneti séma:

  • Az exportálási lekérdezés kimeneti sémájának meg kell egyeznie annak a külső táblának a sémával, amelybe exportál.

• Gyakoriság:

  • A folyamatos exportálás a tulajdonságban intervalBetweenRuns konfigurált időszaknak megfelelően fut. Az intervallum ajánlott értéke legalább néhány perc, attól függően, hogy milyen késéseket szeretne elfogadni. Az időintervallum akár egy perc is lehet, ha a betöltési sebesség magas.

    Megjegyzés

    A intervalBetweenRuns csak javaslatként szolgál, és nem garantált, hogy pontos. A folyamatos exportálás nem alkalmas időszakos összesítések exportálására. Például egy óránkénti intervalBetweenRuns=1h összesítéssel (T | summarize by bin(Timestamp, 1h)) rendelkező konfiguráció nem a várt módon működik, mivel a folyamatos exportálás nem fog pontosan az órán belül futni. Ezért minden óránkénti intervallum több bejegyzést fog kapni az exportált adatokban.

• Fájlok száma:

  • Az egyes folyamatos exportálási iterációkban exportált fájlok száma a külső tábla particionálásától függ. További információ: Exportálás külső táblába parancs. Minden folyamatos exportálási iteráció mindig új fájlokba ír, és soha nem fűz hozzá meglévőket. Ennek eredményeképpen az exportált fájlok száma attól is függ, hogy a folyamatos exportálás milyen gyakorisággal fut. A frequency paraméter a következő intervalBetweenRuns: .

• Külső táblatárfiókok:

  • A legjobb teljesítmény érdekében a fürtöt és a tárfiókot ugyanabban az Azure-régióban kell áthelyezni.
  • A folyamatos exportálás elosztott módon működik, így a fürt összes csomópontja egyidejűleg exportál. Nagy fürtökön, és ha az exportált adatkötet nagy, ez tárhelyszabályozáshoz vezethet. Javasoljuk, hogy több tárfiókot konfiguráljon a külső táblához. További részletekért tekintse meg az exportálási parancsok során fellépő tárolási hibákat .

Pontosan egyszer exportálás

A "pontosan egyszer" exportálás garantálásához a folyamatos exportálás adatbázis-kurzorokat használ. A folyamatos exportálási lekérdezés nem tartalmazhat időbélyeg-szűrőt – az adatbázis-kurzorok mechanizmusa biztosítja, hogy a rekordok feldolgozása ne történjen meg többször. Az időbélyeg-szűrő lekérdezésben való hozzáadása hiányzó adatokhoz vezethet az exportált adatokban.

Az IngestionTime szabályzatot engedélyezni kell a lekérdezésben hivatkozott összes olyan táblán, amelyet "pontosan egyszer" kell feldolgozni az exportálásban. A szabályzat alapértelmezés szerint engedélyezve van az összes újonnan létrehozott táblában.

A "pontosan egyszer" exportálásra vonatkozó garancia csak az exportált összetevők megjelenítése parancsban jelentett fájlokra vonatkozik. A folyamatos exportálás nem garantálja, hogy minden rekord csak egyszer lesz megírva a külső táblába. Ha az exportálás megkezdése után hiba történik, és néhány összetevő már meg lett írva a külső táblába, előfordulhat, hogy a külső tábla ismétlődő elemeket tartalmaz. Ha a befejezés előtt megszakított egy írási műveletet, előfordulhat, hogy a külső tábla sérült fájlokat tartalmaz. Ilyen esetekben az összetevők nem törlődnek a külső táblából, de nem jelennek meg az exportált összetevők megjelenítése parancsban. Ha az exportált fájlokat a használatával használja, az nem garantálja a show exported artifacts command duplikációkat és a sérüléseket.

Exportálás tény- és dimenziótáblákból

Alapértelmezés szerint a rendszer az exportálási lekérdezésben hivatkozott összes táblát ténytábláknak tekinti. Így a hatókörük az adatbázis-kurzorra van korlátozva. A szintaxis explicit módon deklarálja, hogy mely táblák hatóköre (tény), és melyek nincsenek hatókörben (dimenzió). A részletekért tekintse meg a overparamétert a create parancsban .

Az exportálási lekérdezés csak azokat a rekordokat tartalmazza, amelyek az előző exportálás végrehajtása óta csatlakoztak. Az exportálási lekérdezés tartalmazhat dimenziótáblákat , amelyekben a dimenziótábla összes rekordja szerepel az összes exportálási lekérdezésben. Ha tény- és dimenziótáblák közötti illesztéseket használ a folyamatos exportálás során, ne feledje, hogy a ténytábla rekordjai csak egyszer lesznek feldolgozva. Ha az exportálás úgy fut, hogy a dimenziótáblák rekordjai hiányoznak néhány kulcsból, akkor a megfelelő kulcsok rekordjai kimaradnak, vagy null értékeket tartalmaznak az exportált fájlok dimenzióoszlopaihoz. A kihagyott vagy null rekordok visszaadása attól függ, hogy a lekérdezés belső vagy külső illesztést használ-e. A forcedLatency folyamatos exportálás definíciójában szereplő tulajdonság olyan esetekben lehet hasznos, amikor a tény- és dimenziótáblák ugyanabban az időben vannak betöltve a rekordok egyeztetéséhez.

Megjegyzés

Csak a dimenziótáblák folyamatos exportálása nem támogatott. Az exportálási lekérdezésnek legalább egyetlen ténytáblát kell tartalmaznia.

Folyamatos exportálás monitorozása

Monitorozza a folyamatos exportálási feladatok állapotát az alábbi exportálási metrikák használatával:

• Continuous export max lateness – A fürt folyamatos exportálásainak maximális késése (percekben). Ez a fürtben lévő összes folyamatos exportálási feladat minimális ExportedTo ideje között eltelt idő. További információ: .show continuous export parancs.
• Continuous export result - Az egyes folyamatos exportálási végrehajtások sikerességének/sikertelenségének eredménye. Ez a metrika felosztható a folyamatos exportálás nevével.

.show continuous export failures Az paranccsal megtekintheti a folyamatos exportálási feladat konkrét hibáit.

Figyelmeztetés

Ha egy folyamatos exportálás egy állandó hiba miatt több mint 7 napig meghiúsul, a rendszer automatikusan letiltja az exportálást. Állandó hibák: a külső tábla nem található, a folyamatos exportálási lekérdezés sémája és a külső táblaséma közötti eltérés, a tárfiók nem érhető el. A hiba kijavítása után újra engedélyezheti a folyamatos exportálást az .enable continuous export paranccsal.

Erőforrás-felhasználás

• A folyamatos exportálás fürtre gyakorolt hatása attól függ, hogy a folyamatos exportálás melyik lekérdezést futtatja. A legtöbb erőforrást, például a processzort és a memóriát a lekérdezés végrehajtása használja fel.
• Az egyidejűleg futtatható exportálási műveletek számát a fürt adatexportálási kapacitása korlátozza. További információ: Felügyeleti parancsok szabályozása. Ha a fürt nem rendelkezik elegendő kapacitással az összes folyamatos exportálás kezeléséhez, néhány késni kezd.
• A show commands-and-queries paranccsal megbecsülhető az erőforrások kihasználtsága.
  • Szűrés a | where ClientActivityId startswith "RunContinuousExports" folyamatos exportáláshoz társított parancsok és lekérdezések megtekintéséhez.

Előzményadatok exportálása

A folyamatos exportálás csak a létrehozási ponttól kezdi meg az adatok exportálását. Az ezt az időpontot megelőzően betöltött rekordokat külön kell exportálni a nem folyamatos exportálási paranccsal. Előfordulhat, hogy az előzményadatok túl nagyok ahhoz, hogy egyetlen exportálási parancsban exportálhatók legyenek. Szükség esetén particionálja a lekérdezést több kisebb kötegre.

A folyamatos exportálással exportált adatok ismétlődésének elkerülése érdekében használja StartCursor a show continuous export parancs által visszaadott parancsot, és az exportálás csak a kurzorértéket rögzíti where cursor_before_or_at . Például:

.show continuous-export MyExport | project StartCursor

StartCursor
636751928823156645

Ezt követi:

.export async to table ExternalBlob
<| T | where cursor_before_or_at("636751928823156645")

Folyamatos exportálás táblázatból sorszintű biztonsággal

Ha egy sorszintű biztonsági házirendet tartalmazó táblára hivatkozó lekérdezéssel szeretne folyamatos exportálási feladatot létrehozni, a következőket kell tennie:

• Adjon meg egy felügyelt identitást a folyamatos exportálási konfiguráció részeként. További információ: Felügyelt identitás használata folyamatos exportálási feladat futtatásához.
• Használjon megszemélyesítési hitelesítést ahhoz a külső táblához, amelybe az adatokat exportálja.

Folyamatos exportálás Delta-táblába – Előzetes verzió

A deltatáblába való folyamatos exportálás jelenleg előzetes verzióban érhető el.

Fontos

A Delta-tábla particionálása nem támogatott a folyamatos adatexportálásban.

A Kusto nem ír meglévő deltatáblákba, ha a deltaprotokoll-író verziója 1-nél nagyobb.

A folyamatos exportálás delta táblába való definiálásához hajtsa végre az alábbi lépéseket:

1. Hozzon létre egy külső különbözeti táblát az Azure Storage-ban a Delta külső tábláinak létrehozása és módosítása című cikkben leírtak szerint.

   Megjegyzés

   Ha a séma nincs megadva, a Kusto automatikusan megpróbálja kikövetkeztetni, ha már van definiálva deltatábla a céltárolóban.
   A Delta-tábla particionálása nem támogatott.

2. A folyamatos exportálás definiálása a táblába a Folyamatos exportálás létrehozása vagy módosítása című témakörben ismertetett parancsokkal.

   Fontos

   A deltatábla sémájának szinkronban kell lennie a folyamatos exportálási lekérdezéssel. Ha a mögöttes különbözeti tábla megváltozik, előfordulhat, hogy az exportálás váratlan működéssel kezd meghiúsulni.

Korlátozások

Általános:

• A céltáblákon a következő formátumok engedélyezettek: CSV, TSV, JSONés Parquet.
• A folyamatos exportálás nem alkalmas a materializált nézeteken való munkára, mivel a materializált nézet frissíthető, míg a tárolóba exportált adatok mindig csak hozzáfűzhetők, és soha nem frissülnek.
• A követő adatbázisokon nem hozható létre folyamatos exportálás, mivel a követő adatbázisok írásvédettek, és a folyamatos exportálás írási műveleteket igényel.
• A forrástábla rekordjait közvetlenül, frissítési szabályzattal vagy lekérdezési parancsokból való betöltéssel kell a táblába beszúrni. Ha a rekordokat .move extents vagy .rename tábla használatával helyezi át a táblába, előfordulhat, hogy a folyamatos exportálás nem dolgozza fel ezeket a rekordokat. Tekintse meg az Adatbázis-kurzorok lapon leírt korlátozásokat .
• Ha a folyamatos exportálás által használt összetevők az Event Grid-értesítések aktiválására szolgálnak, tekintse meg az Event Grid dokumentációjának ismert problémák szakaszát.

Adatbázisközi és fürtök közötti:

• A folyamatos exportálás nem támogatja a fürtök közötti hívásokat.
• A folyamatos exportálás csak dimenziótáblák esetében támogatja az adatbázisközi hívásokat. Minden ténytáblának a helyi adatbázisban kell lennie. További részletek: Exportálás tény- és dimenziótáblákból.
• Ha a folyamatos exportálás adatbázisközi hívásokat is tartalmaz, felügyelt identitással kell konfigurálni.

Szabályzatok:

• A folyamatos exportálás nem engedélyezhető a sorszintű biztonsági szabályzattal rendelkező táblákon, kivéve, ha adott feltételek teljesülnek. További információ: Folyamatos exportálás sorszintű biztonsággal rendelkező táblából.
• A folyamatos exportálás nem konfigurálható korlátozott nézethozzáférés-szabályzattal rendelkező táblán.

Kapcsolódó tartalom

• Folyamatos exportálás létrehozása vagy módosítása
• Folyamatos exportálási feladat futtatása felügyelt identitással