Sdílet prostřednictvím

Osvědčené postupy pro knihovnu Kusto Ingest

  • Článek

Tento článek vysvětluje osvědčené postupy pro příjem dat pomocí knihovny Kusto Ingest.

Preferovat frontu před přímým příjmem dat

V produkčních scénářích použijte klienta ingestovaného ve frontě. Další informace najdete v tématu Příjem dat ve frontě a Přímý příjem dat.

Použití jedné instance klienta ingestování

Implementace klienta Kusto Ingest jsou bezpečné a opakovaně použitelné. Pro každý cílový cluster použijte jednu instanci buď ve frontě, nebo přímé ingestování klienta na proces. Spuštění více instancí může cluster přetížit, což způsobí, že přestane reagovat nebo zpomalí reagovat na platné požadavky.

Omezení stavu operace sledování

U velkých objemových datových proudů omezte použití kladných oznámení pro žádosti o příjem dat. Nadměrné sledování může vést ke zvýšení latence příjmu dat a dokonce k úplnému nedokončování clusteru. Další informace najdete v tématu Stav operace.

Optimalizace propustnosti

Při plánování kanálu příjmu dat zvažte následující faktory, protože mohou mít významný vliv na propustnost příjmu dat.

Faktor Popis
Velikost dat Příjem dat je efektivnější, když se provádí ve velkých blocích. Doporučujeme odesílat data v dávkách o velikosti 100 MB až 1 GB (nekomprimované).
Formát dat Csv je nejrychlejší formát ingestování. U stejného objemu dat může json trvat 2x nebo 3x déle. Další informace najdete v tématu Formáty dat podporované pro příjem dat.
Šířka tabulky Pouze ingestovat základní data. Každý sloupec musí být kódovaný a indexovaný, což znamená, že širší tabulky můžou mít nižší propustnost. Určete, která pole se ingestují, tím, že poskytnete mapování příjmu dat.
Umístění zdrojových dat Vyhněte se čtení mezi oblastmi, aby se urychlil příjem dat.
Načtení clusteru Když cluster zaznamená vysoké zatížení dotazů, trvá příjem dat delší dobu.

Poznámka:

Klient ingestovaný ve frontě rozdělí velké datové sady na bloky dat a agreguje je, což je užitečné, když se data před příjmem dat nedají dávkovat.

Optimalizace nákladů

Použití klientských knihoven Kusto k ingestování dat do clusteru zůstává nejlevnější a nej robustnější možností. Vyzýváme naše zákazníky, aby zkontrolovali své metody příjmu dat, aby optimalizovali náklady a využili ceny služby Azure Storage, díky kterým budou transakce objektů blob výrazně nákladově efektivní.

Nákladově efektivní příjem dat:

  • Omezte počet přijatých bloků dat, jako jsou soubory, objekty blob a datové proudy.
  • Ingestuje velké bloky až 1 GB nekomprimovaných dat.
  • Rozhodněte se pro dávkování.
  • Zadejte přesnou nekomprimovanou velikost dat, abyste se vyhnuli dodatečným transakcím úložiště.
  • Vyhněte se truenastavení FlushImmediately .
  • Vyhněte se odesílání malých objemů dat se značkami ingest-by rozsahu.drop-by

Poznámka:

Nadměrné využití posledních dvou metod může narušit agregaci dat, vést k dodatečným transakcím úložiště a poškodit příjem dat a výkon dotazů.

Související obsah