Omezení konektoru Zerobus Ingest

Tato stránka uvádí omezení při použití konektoru Zerobus Ingest v Lakeflow Connect.

dostupnost

Konektor Zerobus Ingest je dostupný jenom v některých oblastech. Seznam podporovaných oblastí najdete v tématu Dostupnost příjmu dat.

Všechny dostupné oblasti poskytují dostupnost více zónových služeb, s výjimkou westus a northcentralus, které poskytují dostupnost jedné zóny.

Latency

Latence odráží potvrzení odolnosti i čas materializace záznamů do cílové tabulky Delta. Skutečné časy se liší v závislosti na zarovnání oblastí a charakteristikách úloh.

• Čas do dosažení odolnosti
  • P50 ≤ 150 ms
• Čas v tabulce
  • P50 ≤ 5 sekund

Výchozí limity propustnosti

Na konektor Zerobus Ingest se vztahují následující výchozí omezení.

• 100 MB/s na datový tok (testováno s 1KB zprávami)
• 10 GB/sekundu pro každou cílovou tabulku

Aby se dosáhlo maximální propustnosti, klientská aplikace a koncový bod by měly být ve stejné geografické oblasti. Pokud potřebujete vyšší propustnost, obraťte se na zástupce účtu Databricks.

Záruky doručení

Konektor Zerobus Ingest poskytuje alespoň jednou záruky.

Uchovávání dat uložených ve vyrovnávací paměti

Pokud služba Zerobus Ingest nemůže zapsat data z vyrovnávací paměti do vaší tabulky Delta, uchovává je v trvalém úložišti spravovaném službou a občas generuje výstražné události pro jednotlivé streamy.

Pokud data zůstanou ve vyrovnávací paměti nevyprázdněná po dobu 31 dnů, služba data uložená ve vyrovnávací paměti odstraní a vygeneruje pro každý proud událost o zahození, která zaznamená počet zahozených záznamů a bajtů. Po odstranění nelze obnovit data.

Kvóty

Níže jsou uvedeny výchozí kvóty konektoru Zerobus Ingest. Pokud potřebujete vyšší výkon, obraťte se na zástupce účtu Databricks.

gRPC

• Propustnost 100 MB za sekundu na datový proud
• Propustnost 10 GB za sekundu na každou cílovou tabulku

REST

• 10 000 požadavků za sekundu

Dělené tabulky

Při zápisu do particionovaných tabulek Zerobus Ingest nepodporuje zápis do více než 100 particí v jakémkoli pětisekundovém intervalu. Pro dosažení co nejlepší propustnosti minimalizujte počet oddílů v každém pětisekundovém intervalu.

Databricks doporučuje místo particionování používat se Zerobus Ingest tabulky s liquid clusteringem.

Potvrzení katalogu

Zerobus Ingest nepodporuje potvrzení katalogu. Nepoužívejte Zerobus Ingest pro tabulky Delta s povolenými potvrzeními katalogu.

Pracovní prostor a cílová tabulka

Pro příjem dat jsou vyžadovány následující podmínky pracovního prostoru a cílové tabulky.

• Konektor podporuje zápis pouze do spravovaných tabulek Delta. Zápis do výchozího úložiště není podporován.
• Konektor nepodporuje zápis do úložiště zabezpečený prostřednictvím privátního koncového bodu.
• Konektor nepodporuje opětovné vytvoření cílové tabulky.
• Konektor podporuje pouze názvy tabulek s písmeny ASCII, číslicemi a podtržítky.
• Pracovní prostor i cílová tabulka musí být v jedné z dostupných oblastí a obě ve stejné oblasti.

Liquidní clusterované tabulky

Důležité

Zápis do skupinových tabulek s kapalinou pomocí konektoru Zerobus Ingest je v beta verzi.

Při použití konektoru Zerobus Ingest s tabulkami s kapalinou v clusterovaných tabulkách se doporučuje udržovat prediktivní optimalizaci povolenou pro cílovou tabulku. Konektor zapisuje data do tabulky, ale optimální clustering dat je aplikován asynchronně pomocí prediktivní optimalizační služby. Zakázání prediktivní optimalizace může vést k neoptimálnímu výkonu dotazů na přijatých datech.

Vývoj schématu

Zerobus Ingest nikdy automaticky nevyvíjí cílovou tabulku.

Zerobus Ingest podporuje průběžný příjem dat při přidání volitelných sloupců Delta do cílové tabulky. Chybějící sloupce jsou vyplněné NULL hodnotami, které umožňují odesílat záznamy s chybějícími poli.

Schéma Protobuf

Definice schématu protobuf musí přesně odpovídat schématu tabulky Delta (kromě dodatečných rozdílových sloupců, které mohou obsahovat hodnotu null a jsou považovány za nezásadní změnu schématu). Pokud se schéma neshoduje, rozhraní API vrátí chybu. Sem patří:

• Jiný počet sloupců

• Různé názvy sloupců

• Volitelnost sloupce (povolené hodnoty null a nepovolené hodnoty null)

• Konektor nepodporuje proto schémata s více než 2000 sloupci.

• Konektor podporuje pouze názvy tabulek a sloupců s písmeny ASCII, číslicemi a podtržítky.

• Konektor nepodporuje použití jiného schématu proto pro operace vytváření datových proudů a ingestování záznamů.

Velikost záznamu

Každá zpráva je omezená na 10 MB. Maximální velikost záznamu je 10 485 760 bajtů. Hlavičky vyžadované pro komunikaci zabírají 19 bajtů.

Podpora typů

Následující tabulka uvádí podporované typy Delta a jejich odpovídající typy Protobuf pro ingestování.

Typy Delta	Typy Protobuf
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE Měla by být převedena na int32 (počet dnů od epochy).	int32
TIMESTAMP Měla by být převedena na int64 (epocha v mikrosekundách).	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> Protobuf map syntaktický cukr je k dispozici pouze pro kompilátory Protobuf verze 3 a vyšší.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Varianta se musí ingestovat jako řetězec kódovaný ve formátu JSON s klíči typu STRING. Konektor zapíše data nepřipravená do sloupce. Mezi podporované formáty patří: Objekty: "{\"id\":0,\"example\":\"this is variant example\"}" Primitiva: "5", "3.14", "\"string\"" Pole: "[1,2,3]"	string