Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Toky kanálu ve výchozím nastavení zapisují výsledky do tabulek Delta spravovaných službou Unity Catalog, obvykle do streamovacích tabulek nebo materializovaných zobrazení. Jímky jsou alternativní cíl výstupu, který umožňuje zapisovat transformovaná data do cílů mimo úložiště spravovaného službou Databricks, jako jsou služby streamování událostí nebo vlastní úložiště dat.
Jímky se používají s doplňovacími toky. Sink definujete pomocí některého ze sink API a pak na něj ve vaší definici target odkazujete jako na append_flow.
Kdy použít jímky
Databricks doporučuje používat jímky, když potřebujete:
- Sestavte provozní případy použití s nízkou latencí, jako je detekce podvodů, analýza v reálném čase nebo doporučení zákazníků, kde data musí probíhat do sběrnice zpráv místo cloudového úložiště. Úlohy, které vyžadují latenci milisekund, najdete v tématu Použití režimu v reálném čase v kanálech Lakeflow.
- Zapisujte transformovaná data do tabulek spravovaných externí instancí Delta, včetně spravovaného katalogu Unity a externích tabulek.
- Proveďte reverzní ETL do externích systémů, jako je zápis zpracovaných dat zpět do témat Apache Kafka pro použití mimo Azure Databricks.
- Zapisování do formátu, který Azure Databricks nativně nepodporuje, pomocí vlastních zdrojů dat v Pythonu.
Typy jímky
Kanály podporují následující typy jímek:
| Typ jímky | Description |
|---|---|
| Jímky tabulky Delta | Zapisujte do spravovaných nebo externích tabulek Delta v katalogu Unity Catalog. Zadejte cestu k souboru nebo plně kvalifikovaný název tabulky. |
| Jímky Apache Kafka | Zapisujte do témat Apache Kafka pomocí konektoru Kafka, který je součástí běhového prostředí kanálu. |
| Jímky služby Azure Event Hubs | Zápis do Azure Event Hubs pomocí rozhraní Kafka Používá stejné možnosti jako jímky Kafka. |
| Python vlastní sinky | Zapisovat do libovolného úložiště dat pomocí vlastního zdroje dat v Pythonu zaregistrovaného v spark.dataSource.register. |
| Umyvadla ForEachBatch | Použití vlastní logiky Python u každé mikrosádky streamovaných dat Použijte, když potřebujete zapisovat do více cílů, provádět operace upsert nebo pracovat s cíli, které nativně nepodporují streamované zápisy. |
Cílová rozhraní API
Kanály poskytují dvě rozhraní API pro vytváření jímek:
-
create_sink(): Vytvoří pojmenovanou jímku podporovaného typu (Delta, Kafka, AEH nebo Python vlastní zdroj dat). K dispozici pouze v Python. Viz Použití jímek v kanálech. -
foreach_batch_sink(): Ozdobí Python funkci, která běží pro každou mikrodávku streamovaných dat. Poskytuje maximální flexibilitu pro vlastní logiku zápisu. Viz Použijte ForEachBatch k zápisu do libovolných úložišť dat v kanálech.
Oba typy sinků se označují jako target prvku append_flow.
Omezení
- Umyvadla jsou k dispozici pouze v Python. SQL není podporován.
- Podporují se jenom dotazy streamování. Dávkové dotazy nejsou podporovány.
- Pouze
append_flowmůže zapisovat do cílů;create_auto_cdc_flowa další typy toků nejsou podporovány. - Očekávání kanálu nejsou pro jímky podporována.
- Spuštění úplné aktualizace nevyčistí dříve zapsaná data v jímkách.