Co je Lakeflow Connect?

Lakeflow Connect nabízí jednoduché a efektivní konektory pro příjem dat z místních souborů, oblíbených podnikových aplikací, databází, cloudového úložiště, sběrnic zpráv a dalších. Tato stránka popisuje některé způsoby, jak může Lakeflow Connect zlepšit výkon ETL. Zabývá se také běžnými případy použití a celou řadou podporovaných nástrojů pro příjem dat, od plně spravovaných konektorů po plně přizpůsobitelné architektury.

Flexibilní modely služeb

Lakeflow Connect nabízí širokou škálu konektorů pro podnikové aplikace, cloudové úložiště, databáze, sběrnice zpráv a další. Nabízí také flexibilitu při výběru mezi následujícími možnostmi:

Možnost	Popis
Plně spravovaná služba	Hotové konektory, které demokratizují přístup k datům pomocí jednoduchých uživatelských rozhraní a výkonných API. Díky tomu můžete rychle vytvářet robustní kanály příjmu dat a minimalizovat tak dlouhodobé náklady na údržbu.
Vlastní kanál	Pokud potřebujete další přizpůsobení, můžete použít kanály Lakeflow nebo strukturované streamování. Tato všestrannost nakonec umožňuje službě Lakeflow Connect splnit konkrétní potřeby vaší organizace.

Sjednocení se základními nástroji Databricks

Lakeflow Connect využívá základní funkce Databricks k zajištění komplexní správy dat. Nabízí například správu pomocí katalogu Unity, orchestraci pomocí úloh Lakeflow a holistické monitorování v rámci vašich datových toků. To pomáhá vaší organizaci spravovat zabezpečení dat, kvalitu a náklady a současně sjednotit procesy příjmu dat s dalšími nástroji pro přípravu dat. Lakeflow Connect je založená na otevřené platformě Data Intelligence Platform s plnou flexibilitou, která umožňuje začlenit preferované nástroje třetích stran. Tím zajistíte přizpůsobené řešení, které odpovídá vaší stávající infrastruktuře a budoucím strategiím dat.

Rychlý a škálovatelný příjem dat

Lakeflow Connect používá přírůstkové čtení a zápisy k zajištění efektivního příjmu dat. V kombinaci s přírůstkovými transformacemi v podřízené fázi to může výrazně zlepšit výkon ETL.

Běžné případy použití

Zákazníci zpracovávají data, aby vyřešili ty nejnáročnější problémy svých organizací. Ukázkové případy použití zahrnují následující:

Případ použití	Popis
360° pohled na zákazníka	Měření výkonu kampaní a bodování zákaznických leadů
Správa portfolia	Maximalizace NÁVRATNOSTI s využitím historických modelů a modelů prognóz
Analýza spotřebitelů	Přizpůsobení nákupních prostředí vašich zákazníků
Centralizované lidské zdroje	Podpora pracovníků vaší organizace
Digitální dvojčata	Zvýšení efektivity výroby
Chatovací roboti RAG	Vytváření chatovacích robotů, které uživatelům pomůžou pochopit zásady, produkty a další

Vrstvy zásobníku ETL

Některé konektory fungují na jedné úrovni zásobníku ETL. Databricks například nabízí plně spravované konektory pro podnikové aplikace, jako jsou Salesforce a databáze, jako je SQL Server. Ostatní konektory fungují v jiné vrstvě ETL stacku. Pro další možnosti přizpůsobení můžete například použít standardní konektory v kanálech Lakeflow. Podobně můžete zvolit svou úroveň přizpůsobení pro streamování dat z Apache Kafka, Amazon Kinesis, Google Pub/Sub a Apache Pulsear.

Databricks doporučuje začít s nejvíce spravovanou vrstvou. Pokud nevyhovuje vašim požadavkům (například pokud nepodporuje váš zdroj dat), přejděte na další vrstvu.

Následující tabulka popisuje vrstvy produktů pro příjem dat:

Vrstva	Popis
Kanály Lakeflow	Kanály Lakeflow nabízejí deklarativní architekturu pro vytváření datových kanálů. Definujte transformace a kanály Lakeflow spravují orchestraci, monitorování, kvalitu dat, chyby a další. Vycházejí ze strukturovaného streamování pro streamování a podporují většinu funkcí strukturovaného streamování. Pro všechny funkce strukturovaného streamování, které ještě nejsou k dispozici v kanálech Lakeflow, můžete použít přímo rozhraní API strukturovaného streamování.
Plně spravované konektory	Plně spravované konektory vycházejí z kanálů Lakeflow a nabízejí ještě větší automatizaci pro nejoblíbenější zdroje dat. Rozšiřují funkce kanálů Lakeflow, aby zahrnovaly také ověřování specifické pro zdroj, CDC, zpracování hraničních případů, dlouhodobou údržbu rozhraní API, automatizované opakování, vývoj automatizovaného schématu atd. Proto nabízejí ještě větší automatizaci pro všechny podporované zdroje dat.

Spravované konektory

Plně spravované konektory můžete použít k ingestování z podnikových aplikací a databází. Úplný seznam podporovaných konektorů najdete v tématu Spravované konektory ve službě Lakeflow Connect .

Mezi podporovaná rozhraní patří:

• Uživatelské rozhraní Databricks
• Deklarativní balíčky automatizace
• Rozhraní API Databricks
• SDK Databricks
• Příkazové rozhraní Databricks

Konektory komunity

Komunitní konektory rozšiřují připojení Lakeflow ke zdrojům bez podpory spravovaných konektorů. Jsou vytvářeny a udržovány komunitou a nejsou podporovány smlouvami SLA společnosti Databricks. Můžete použít existující konektor nebo si vytvořit vlastní. Viz komunitní konektory v Lakeflow Connect.

Standardní konektory

Kromě spravovaných konektorů nabízí Databricks přizpůsobitelné konektory pro cloudové úložiště objektů a sběrnice zpráv. Viz standardní konektory v Lakeflow Connect.

Vytvoření nebo úprava tabulky z nahrání souboru (uživatelské rozhraní pro přidání dat)

Můžete ingestovat soubory, které se nacházejí v místní síti, soubory nahrané na svazek nebo soubory stažené z umístění na internetu. Viz Vytvoření nebo úprava tabulky pomocí nahrání souboru.

Partneři pro zpracování dat

Mnoho nástrojů třetích stran podporuje dávkové nebo streamování příjmu dat do Databricks. Databricks ověřuje různé integrace třetích stran, i když se postup konfigurace přístupu ke zdrojovým systémům a ingestování dat liší podle nástroje. Seznam ověřených nástrojů najdete v tématu partneři pro příjem dat. Někteří technologickí partneři jsou také součástí databricks Partner Connect, která má uživatelské rozhraní, které zjednodušuje připojení nástrojů třetích stran k datům Lakehouse.

DIY zpracování dat

Databricks poskytuje obecnou výpočetní platformu. V důsledku toho můžete vytvořit vlastní konektory pro příjem dat pomocí libovolného programovacího jazyka, který podporuje Databricks, jako je Python nebo Java. Můžete také importovat a používat oblíbené opensourcové knihovny konektorů, jako je nástroj pro načítání dat, Airbyte a Debezium.

alternativy požití

Databricks doporučuje příjem dat pro většinu případů použití, protože se škáluje tak, aby vyhovoval vysokým objemům dat, dotazům s nízkou latencí a omezením rozhraní API třetích stran. Ingestování dat kopíruje data ze zdrojových systémů do Azure Databricks, což vede k duplicitním datům, která mohou časem zastarat. Pokud nechcete kopírovat data, můžete použít následující nástroje:

Nástroj	Popis
Lakehouse Federace	Umožňuje dotazovat se na externí zdroje dat bez přesunu dat.
OpenSharing	Umožňuje bezpečně sdílet data napříč platformami, cloudy a oblastmi.