Běžné dotazy k příjmu dat azure Data Explorer

Správce dávek v závislosti na nastavení příjmu dat v zásadách dávkování příjmu dat ukládání do vyrovnávací paměti a dávkuje data příchozího přenosu dat. Zásady dávkování příjmu dat nastavují limity dávek podle tří omezujících faktorů, podle toho, co je dosaženo poprvé: doba uplynulá od vytvoření dávky, kumulovaný počet položek (objektů blob) nebo celková velikost dávky. Výchozí nastavení dávkování je 5 minut / 1 GB / 1000 objektů blob, což znamená, že při vkládání ukázkových dat do fronty pro příjem dat bude trvat alespoň 5 minut.

Příjem dat ve frontě je optimalizovaný pro vysokou propustnost příjmu dat a je upřednostňovaným a nejvýkonnějším typem příjmu dat. Naproti tomu příjem dat streamování je optimalizovaný pro nízkou latenci příjmu dat. Přečtěte si další informace o příjmu dat ve frontě a streamování.

Pokud výchozí nastavení pro zásady dávkování příjmu dat nevyhovuje vašim potřebám, můžete zkusit snížit zásadu timedávkování . Viz Optimalizace propustnosti. Při vertikálním navýšení kapacity příjmu dat byste měli také aktualizovat nastavení. Když změníte nastavení zásad dávkování, může trvat až 5 minut, než se projeví.

Latence příjmu dat může být výsledkem nastavení zásad dávkování příjmu dat nebo sestavení backlogu dat. Pokud to chcete vyřešit, upravte nastavení zásad dávkování. Latence, které jsou součástí procesu příjmu dat, je možné monitorovat.

Pokud chcete zobrazit metriky latence příjmu dat ve frontě, přečtěte si téma Monitorování latence příjmu dat. Metriky Stage Latency a Discovery Latency zobrazují latence v procesu příjmu dat a ukazují, jestli existují nějaké dlouhé latence.

Informace o latencích a úpravě nastavení v zásadách dávkování můžete vyřešit problémy, které způsobují latence, jako jsou například backlogy dat, neefektivní dávkování, dávkování velkých objemů nekomprimovaných dat nebo příjem velmi malých objemů dat.

Pro nekomprimovaná data se nastaví velikost dat zásad dávkování. Při ingestování komprimovaných dat se velikost nekomprimovaných dat vypočítá z parametrů dávkování příjmu dat, metadat souborů ZIP nebo faktoru nad komprimovanou velikostí souboru.

Příjem dat můžete monitorovat pomocí metrik a nastavením a používáním diagnostických protokolů příjmu dat pro podrobné monitorování na úrovni tabulky, zobrazením podrobných kódů chyb příjmu atd. Můžete vybrat konkrétní metriky, které chcete sledovat, zvolit způsob agregace výsledků a vytvořit grafy metrik pro zobrazení na řídicím panelu. Přečtěte si další informace o metrikách streamování a monitorování příjmu dat ve frontě.

Přehledy služby Azure Monitor na portálu vám pomůžou pochopit, jak azure Data Explorer funguje a jak se používá. Zobrazení Přehled je založené na metrikách a diagnostických protokolech , které je možné streamovat do pracovního prostoru služby Log Analytics. Pomocí příkazu .dup-next-ingest duplikujte další příjem dat do kontejneru úložiště a zkontrolujte podrobnosti a metadata příjmu dat.

Úplný proces příjmu dat je možné monitorovat pomocí metrik příjmu dat a diagnostických protokolů. Selhání příjmu dat je možné monitorovat pomocí metriky IngestionResult nebo diagnostického FailedIngestion protokolu. Příkaz .show ingestion failures zobrazuje chyby příjmu dat související s příkazy pro správu příjmu dat a nedoporučuje se pro monitorování chyb. Příkaz .dup-next-failed-ingest poskytuje informace o dalším neúspěšném příjmu dat tím, že nahraje soubory a metadata příjmu dat do kontejneru úložiště. To může být užitečné pro kontrolu toku příjmu dat, ale nedoporučuje se pro stabilní monitorování.

Metriky , které obsahují RetryAttemptsExceeded stav metriky, často značí, že příjem dat překročil limit počtu pokusů o opakování nebo limit časového rozsahu po opakované přechodné chybě. Pokud se tato chyba zobrazí také v diagnostickém protokolu s kódemGeneral_RetryAttemptsExceeded chyby a podrobnostmi "Nepodařilo se získat přístup k úložišti a získání informací o objektu blob", znamená to problém s přístupem k úložišti s vysokým zatížením. Během příjmu dat služby Event Grid si Azure Data Explorer vyžádá podrobnosti o objektu blob z účtu úložiště. Pokud je zatížení účtu úložiště příliš vysoké, může dojít k selhání přístupu k úložišti a nelze načíst informace potřebné pro příjem dat. Pokud pokusy projdou maximálním počtem definovaných opakování, Azure Data Explorer přestane zkoušet ingestovat neúspěšný objekt blob. Pokud chcete zabránit problému s načítáním, použijte účet úložiště Premium nebo rozdělte ingestované data na více účtů úložiště. Pokud chcete zjistit související chyby, zkontrolujte FailedIngestion kódy chyb a cesty všech neúspěšných objektů blob v diagnostických protokolech.

Pokud chcete efektivně ingestovat velké množství historických dat, použijte LightIngest. Další informace najdete v tématu ingestování historických dat. Pokud chcete zlepšit výkon mnoha malých souborů, upravte zásady dávkování, změňte podmínky dávkování a vyřešte latence. Pomocí Průvodce zásadami dávkování můžete rychle změnit nastavení zásad. Pokud chcete zvýšit výkon příjmu dat při příjmu extrémně velkých datových souborů, použijte službu Azure Data Factory (ADF), cloudovou službu pro integraci dat.

Chybně formátovaná data, která se nedají zjistit, příliš velká nebo neodpovídají schématu, se nemusí podařit správně ingestovat. Další informace najdete v tématu Příjem neplatných dat.

Při ingestování prostřednictvím sady SDK můžete ke zlepšení výkonu použít nastavení zásad dávkování příjmu dat. Zkuste postupně snížit velikost ingestovaných dat v zásadách dávkování tabulek nebo databáze směrem k 250 MB a zkontrolujte, jestli nedošlo k vylepšení.

Uživatelé jímky Kafka by měli konektor vyladit tak, aby spolupracoval se zásadami dávkování příjmu dat tím, že vyladí dobu dávkování, velikost a číslo položky.