Osvědčené postupy pro knihovnu Kusto Ingest

  • Článek

Tento článek vysvětluje osvědčené postupy pro příjem dat pomocí knihovny Kusto Ingest.

Preferovat frontu před přímým příjmem dat

V produkčních scénářích použijte klienta ingestování ve frontě. Další informace najdete v tématech Příjem dat ve frontě a Přímý příjem dat.

Použití jedné instance klienta ingestování

Implementace klienta Ingestu Kusto jsou bezpečné pro přístup z více vláken a opakovaně použitelné. Pro každý cílový cluster použijte pro každý proces jednu instanci klienta zařazeného do fronty nebo přímého ingestování. Spuštění více instancí může cluster přetížit, což způsobí, že přestane reagovat nebo zpomalí reagovat na platné požadavky.

Omezit stav operace sledování

V případě velkých datových proudů omezte použití pozitivních oznámení pro žádosti o příjem dat. Nadměrné sledování může vést ke zvýšení latence příjmu dat a dokonce i ke úplné nereagování clusteru. Další informace najdete v tématu Stav operace.

Optimalizace propustnosti

Při plánování kanálu příjmu dat zvažte následující faktory, protože můžou mít významný vliv na propustnost příjmu dat.

Faktor Description
Velikost dat Příjem dat je efektivnější, pokud se provádí ve velkých blocích. Doporučujeme odesílat data v dávkách od 100 MB do 1 GB (nekomprimovaná).
Formát dat Soubor CSV je nejrychlejším formátem pro příjem dat. U stejného objemu dat může JSON trvat 2krát nebo 3krát déle. Další informace najdete v tématu Formáty dat podporované pro příjem dat.
Šířka tabulky Ingestují se jenom základní data. Každý sloupec musí být kódovaný a indexovaný, což znamená, že širší tabulky můžou mít nižší propustnost. Pomocí mapování příjmu dat můžete řídit, která pole se budou ingestovat.
Umístění zdrojových dat Pokud chcete zrychlit příjem dat, vyhněte se čtení mezi oblastmi.
Zatížení clusteru Když u clusteru dochází k vysokému zatížení dotazů, dokončení příjmu dat trvá déle.

Poznámka

Klient ingestování ve frontě rozdělí velké datové sady na bloky dat a agreguje je, což je užitečné, když data před příjmem dat nejde zařadit do dávek.

Optimalizace nákladů

Použití klientských knihoven Kusto k příjmu dat do clusteru zůstává nejlevnější a nejrobustnější možností. Apelujeme na naše zákazníky, aby zkontrolovali své metody příjmu dat, aby optimalizovali náklady a využili ceny služby Azure Storage, díky kterým budou transakce objektů blob výrazně nákladově efektivní.

Pro nákladově efektivní příjem dat:

  • Omezte počet přijatých datových bloků, jako jsou soubory, objekty blob a streamy.
  • Ingestuje velké bloky nekomprimovaných dat o velikosti až 1 GB.
  • Vyberte dávkování.
  • Zadejte přesnou nekomprimovanou velikost dat, abyste se vyhnuli dodatečným transakcím úložiště.
  • Vyhněte se nastavení FlushImmediately na true.
  • Vyhněte se odesílání malých objemů dat se značkami ingest-byrozsahu nebo drop-by .

Poznámka

Nadměrné využití posledních dvou metod může narušit agregaci dat, vést k dalším transakcím úložiště a poškodit příjem dat a výkon dotazů.

Související obsah