Režim v reálném čase ve strukturovaném streamování

Co je režim v reálném čase?

Režim v reálném čase je typ triggeru pro strukturované streamování, který umožňuje zpracování dat s ultra-nízkou latencí s latencí na konci až do pěti milisekund. Pro provozní úlohy, které vyžadují okamžitou reakci na streamovaná data, jako je detekce podvodů a přizpůsobení v reálném čase, použijte režim v reálném čase.

Režim v reálném čase je také k dispozici v kanálech Lakeflow. Viz Použití režimu v reálném čase v kanálech Lakeflow.

Jak režim v reálném čase dosahuje nízké latence

Režim v reálném čase vylepšuje architekturu provádění pomocí následujících možností:

  • Spouštění dlouhotrvajících úloh (výchozí hodnota je pět minut), ve kterých systém zpracovává data, jakmile jsou ve zdroji k dispozici.
  • Plánování všech fází dotazu současně To vyžaduje, aby počet dostupných úkolových slotů byl roven nebo větší než počet úkolů ve všech fázích dávky.
  • Předávání dat mezi fázemi, jakmile se vytvoří, pomocí streamování shuffle.

Mezi dávkami Structured Streaming ukládá průběh pomocí kontrolních bodů a publikuje metriky. Doba trvání dávky má vliv na frekvenci kontrolních bodů:

  • U delších dávek dochází k vytváření kontrolních bodů méně často, což znamená delší replay při selhání a zpožděnou přístupnost metrik.
  • U kratších dávek dochází k vytváření kontrolních bodů častěji, což může mít vliv na latenci.

Azure Databricks doporučuje porovnávat režim v reálném čase s vaší cílovou úlohou, aby zjistil příslušný interval aktivační události.

Kdy použít režim v reálném čase

Pokud váš případ použití vyžaduje, vyberte režim v reálném čase:

  • Podsekundová latence: Aplikace, které potřebují reagovat na data v milisekundách. Například blokování nebo označení transakce platební kartou v reálném čase, pokud skóre podvodu překročí prahovou hodnotu na základě neobvyklého umístění, velké velikosti transakcí nebo vzorce rychlé útraty.
  • Provozní rozhodování: Systémy, které aktivují okamžité akce na základě příchozích dat. Například doručení propagační zprávy, když clickstreamová data ukazují, že uživatel prochází produkt, a nabízí slevu, pokud si koupí během dalších 15 minut.
  • Průběžné zpracování: Úlohy, ve kterých se data musí zpracovávat hned po doručení, a ne v pravidelných dávkách.

Pokud váš případ použití vyžaduje, použijte mikrodávkový režim (výchozí spouštěč strukturovaného streamování):

  • Analytické zpracování: Kanály ETL, transformace dat a implementace architektury medallion, kde se požadavky na latenci měří v sekundách nebo minutách.
  • Optimalizace nákladů: Úlohy, u kterých není vyžadována latence podsekundy, protože režim v reálném čase vyžaduje vyhrazené výpočetní prostředky.
  • Rychlejší obnovení: Úlohy, které potřebují časté kontrolní body, aby se minimalizovala doba přehrávání po selhání.

Podpora a omezení funkcí

Úplný seznam podporovaných prostředí, jazyků, typů výpočetních prostředků, zdrojů, jímek, operátorů a známých omezení najdete v referenčních informacích k režimu v reálném čase.

Dodatečné zdroje

  • Last updated on