Referenční architektury Databricks (stažení)

Tento článek obsahuje pokyny k architektuře pro Databricks, které se týkají zdrojů dat, příjmu dat, transformace, dotazování a zpracování, obsluhy, analýzy a úložiště.

Každá referenční architektura má ke stažení PDF ve formátu 11 x 17 (A3).

Databricks je otevřená platforma, která se integruje s velkým ekosystémem partnerských nástrojů, ale referenční architektury se zaměřují pouze na Azure služby a platformu Databricks. Zobrazené služby poskytovatele cloudu jsou vybrány k ilustraci konceptů a nejsou vyčerpávající.

Download: Referenční architektura pro platformu Azure Databricks

Referenční architektura Azure ukazuje následující služby specifické pro Azure pro příjem dat, ukládání, zpracování a analýzu:

• Azure Synapse a SQL Server jako zdrojové systémy pro Federaci Lakehouse
• Azure IoT Hub a Azure Event Hubs pro příjem datového toku
• Azure Data Factory pro dávkové načítání
• Azure Data Lake Storage Gen2 (ADLS) jako úložiště objektů pro data a prostředky AI
• Azure SQL DB a Azure Cosmos DB jako provozní databáze
• Azure Purview jako podnikový katalog, do kterého UC exportuje informace o schématu a rodokmenu
• Power BI jako nástroj BI
• Model Serving může používat Azure OpenAI jako externí LLM.

Uspořádání referenčních architektur

Referenční architektura je strukturovaná v úrovních Zdroj, Příjem, Transformace, Dotaz/Proces, Obsluha, Analýza a Úložiště:

• Source

  Existují tři způsoby integrace externích dat do platformy Data Intelligence:

  • ETL: Platforma umožňuje integraci se systémy, které poskytují částečně strukturovaná a nestrukturovaná data (jako jsou senzory, zařízení IoT, média, soubory a protokoly), a také strukturovaná data z relačních databází nebo obchodních aplikací.
  • Lakehouse Federation: Zdroje SQL, jako jsou relační databáze, je možné integrovat do Databricks a Unity Catalog bez ETL. V tomto případě se zdrojová systémová data řídí katalogem Unity a dotazy se odsílají do zdrojového systému.
  • Federace katalogu: Katalogy metastoru Hive je také možné integrovat do katalogu Unity prostřednictvím federace katalogu, což umožňuje katalogu Unity řídit tabulky uložené v metastoru Hive.

• Ingest

  Načítání dat do Databricks dávkově nebo streamováním:

  • Databricks Lakeflow Connect nabízí integrované konektory pro příjem dat z podnikových aplikací a databází. Výsledný kanál příjmu dat se řídí katalogem Unity a je poháněn bezserverovým výpočtem a pipelines.
  • Soubory doručované do cloudového úložiště lze načíst přímo pomocí Auto Loader Databricks.
  • Pro dávkový příjem dat z podnikových aplikací do Delta Lake se platforma Databricks spoléhá na partnerské nástroje pro ingestování dat se specifickými adaptéry pro tyto primární evidenční systémy.
  • Události streamování lze přijímat přímo ze systémů pro streamování událostí, jako je Kafka, pomocí strukturálního streamování Databricks. Zdroje streamování můžou být senzory, IoT nebo procesy zachytávání dat.

• Storage

  • Data jsou obvykle uložená v systému cloudového úložiště, kde ETL kanály používají architekturu medailonu k uspořádanému ukládání dat jako Delta soubory/tabulky nebo tabulky Apache Iceberg.

• Transformovat a Dotaz / zpracování

  • Platforma Databricks používá své moduly Apache Spark a Photon pro všechny transformace a dotazy.

  • Kanály jsou deklarativní rámec pro zjednodušení a optimalizaci spolehlivých, udržovatelných a testovatelných kanálů zpracování dat.

  • Platforma Databricks Data Intelligence Platform s podporou Apache Sparku a Photonu podporuje oba typy úloh: dotazy SQL prostřednictvím sql warehouse a úlohy SQL, Python a Scala prostřednictvím clusterů pracovních prostorů.

  • V případě datových věd (ML Modeling and Gen AI) poskytuje platforma Databricks AI a Machine Learning specializované moduly runtime ML pro AutoML a pro kódování úloh ML. MLflow nejlépe podporuje všechny pracovní postupy datových věd a MLOps.

• Serving

  • Pro případy použití v oblasti datových skladů (DWH) a BI poskytuje platforma Databricks Databricks SQL, datový sklad využívající sklady SQL a bezserverové sklady SQL.

  • Pro strojové učení je Model Serving škálovatelná služba pro nasazování modelů v reálném čase na podnikové úrovni hostovaná v řídicí vrstvě Databricks. Unity AI Gateway je řešení Databricks pro řízení a monitorování přístupu k podporovaným modelům generování AI a jejich přidruženým modelům obsluhující koncové body.

  • Provozní databáze:

    • Lakebase je databáze online zpracování transakcí (OLTP) založená na Postgres a plně integrovaná s platformou Databricks Data Intelligence Platform. Umožňuje vytvářet databáze OLTP v Databricks a integrovat úlohy OLTP s Databricks.
    • Externí systémy, jako jsou provozní databáze, se dají použít k ukládání a doručování konečných datových produktů uživatelským aplikacím.

• Collaboration:

  • Obchodní partneři získají zabezpečený přístup k datům, která potřebují prostřednictvím OpenSharingu.

  • Na základě OpenSharingu je Databricks Marketplace otevřeným fórem pro výměnu datových produktů.

  • Čisté místnosti jsou zabezpečená a soukromí chránící prostředí, ve kterých může více uživatelů spolupracovat na citlivých firemních datech bez přímého přístupu k datům uživatelů navzájem.

• Analysis

  • Poslední obchodní aplikace jsou v této plavecké dráze. Mezi příklady patří vlastní klienti, jako jsou aplikace AI připojené ke službě Model Serving pro odvozování v reálném čase nebo aplikace, které přistupují k datům odsílaným z Databricks do provozní databáze.

  • V případě použití BI analytici obvykle používají nástroje BI pro přístup k datovému skladu. Vývojáři SQL můžou navíc použít Editor SQL Databricks (nezobrazuje se v diagramu) pro dotazy a řídicí panely.

  • Platforma data Intelligence také nabízí řídicí panely pro vytváření vizualizací dat a sdílení přehledů.

• Integrate

  • Platforma Databricks se integruje se standardními zprostředkovateli identit pro správu uživatelů a jednotného přihlašování (SSO).

  • Externí služby AI, jako jsou OpenAI, LangGraph nebo HuggingFace , se dají používat přímo z platformy Databricks Intelligence Platform.

  • Externí orchestrátory můžou buď používat komplexní rozhraní REST API , nebo vyhrazené konektory pro externí nástroje orchestrace, jako je Apache Airflow.

  • Katalog Unity se používá pro správu všech dat a řízení umělé inteligence na platformě Databricks Intelligence Platform a může integrovat další databáze do své správy prostřednictvím Federace Lakehouse.

    Katalog Unity lze navíc integrovat do jiných podnikových katalogů, např. Purview. Podrobnosti získáte od dodavatele podnikového katalogu.

Společné funkce pro všechny úlohy

Kromě toho je platforma Databricks vybavená možnostmi správy, které podporují všechny úlohy:

• Zásady správného řízení pro data a AI

  Centrální systém správy dat a AI v platformě Databricks Data Intelligence Platform je Unity Catalog. Katalog Unity poskytuje jediné místo pro správu zásad přístupu k datům, které se vztahují ve všech pracovních prostorech, a podporuje všechny prostředky vytvořené nebo používané v Databricks, jako jsou tabulky, svazky, funkce (úložiště funkcí) a modely (registr modelů). Katalog Unity lze také použít ke zachycení sledování dat napříč dotazy běžícími v Databricks.

  Monitorování kvality dat Databricks umožňuje monitorovat kvalitu dat všech tabulek ve vašem účtu. Detekuje anomálie napříč všemi tabulkami a poskytuje úplný profil dat pro každou tabulku.

  Pro pozorovatelnost jsou systémové tabulky analytické úložiště provozních dat vašeho účtu hostované službou Databricks. Systémové tabulky se dají použít pro historickou pozorovatelnost v rámci vašeho účtu.

• Modul pro analýzu dat

  Platforma Databricks Data Intelligence umožňuje celé organizaci používat data a umělou inteligenci a kombinovat generování umělé inteligence s unifikačními výhodami Databricks, aby porozuměla jedinečné sémantice vašich dat. Zobrazit asistenční funkce AI Databricks.

  Genie Code je k dispozici v poznámkových blocích Databricks, editoru SQL, editoru souborů a jinde jako pomocník pro AI pracující s kontextem pro uživatele.

• Automatizace a orchestrace

  Úlohy Lakeflow orchestrují zpracování dat, strojové učení a analytické kanály na platformě Databricks Data Intelligence. Kanály Lakeflow umožňují vytvářet spolehlivé a udržovatelné kanály ETL s deklarativní syntaxí. Platforma také podporuje CI/CD a MLOps.

Základní případy použití platformy Data Intelligence v Azure

Integrovaný příjem dat z aplikací a databází SaaS pomocí lakeflow Connect

Ke stažení: Referenční architektura Lakeflow Connect pro Azure Databricks

Databricks Lakeflow Connect nabízí integrované konektory pro příjem dat z podnikových aplikací a databází. Výsledný kanál pro ingesti dat je spravován službou Unity Catalog a využívá bezserverové výpočetní prostředky a kanály Lakeflow.

Lakeflow Connect využívá efektivní přírůstkové čtení a zápisy k rychlejšímu, škálovatelnému a nákladově efektivnějšímu zpracování dat, zatímco vaše data zůstávají aktuální pro další zpracování.

Příjem dávek a ETL

Stáhnout: Referenční architektura Batch ETL pro Azure Databricks

Nástroje pro ingestaci dat používají adaptéry specifické pro daný zdroj ke čtení dat ze zdroje a poté je buď ukládají do cloudového úložiště, odkud je může Auto Loader načítat, nebo volají přímo Databricks (například pomocí partnerských nástrojů pro ingestaci dat integrovaných do platformy Databricks). Pokud chcete načíst data, modul ETL a zpracování Databricks spouští dotazy prostřednictvím pipelines. Orchestrace jednoúčelových úloh nebo úloh s více úkoly pomocí úloh Lakeflow a jejich řízení pomocí katalogu Unity (řízení přístupu, audit, rodokmen atd.) Pokud chcete poskytnout přístup ke konkrétním zlatým tabulkám pro provozní systémy s nízkou latencí, exportujte je do provozní databáze, jako je RDBMS nebo úložiště klíč-hodnota na konci kanálu ETL.

Streamování a zachytávání změn v datech (CDC)

Stažení: Architektura strukturovaného streamování Sparku pro Azure Databricks

Modul ETL pro Databricks používá strukturované streamování Sparku ke čtení z front událostí, jako je Apache Kafka nebo Azure Event Hub. Následující kroky se řídí přístupem výše uvedeného případu použití služby Batch.

Zachytávání dat změn v reálném čase (CDC) obvykle ukládá extrahované události do fronty událostí. Odsud se případ použití řídí případem použití streamování.

Pokud se CDC provádí dávkově, kdy jsou extrahované záznamy nejprve uloženy v cloudovém úložišti, pak je Databricks Auto Loader může číst a případ použití odpovídá dávkovému ETL.

Strojové učení a AI (tradiční)

Stáhnout: Referenční architektura strojového učení a AI pro Azure Databricks

Pro strojové učení poskytuje platforma Databricks Data Intelligence nejmodernější knihovny strojového a hlubokého učení. Poskytuje funkce, jako je úložiště funkcí a registr modelů (integrované do katalogu Unity), funkce s nízkým kódem s AutoML a integrace MLflow do životního cyklu datových věd.

Katalog Unity řídí všechny prostředky související s datovými vědami (tabulky, funkce a modely) a datoví vědci můžou pomocí úloh Lakeflow orchestrovat své úlohy.

Pokud chcete nasazovat modely škálovatelným a podnikovým způsobem, použijte funkce MLOps k publikování modelů v obsluhě modelu.

Aplikace agenta AI (Gen AI)

Stáhnout: Referenční architektura aplikace Gen AI pro Azure Databricks

Pokud chcete nasazovat modely škálovatelným a podnikovým způsobem, použijte funkce MLOps k publikování modelů v obsluhě modelu.

BI a SQL analytika

Stažení: Referenční architektura analýz BI a SQL pro Azure Databricks

V případě použití BI můžou obchodní analytici používat řídicí panely, editor SQL Databricks nebo nástroje BI , jako jsou Tableau nebo Power BI. Ve všech případech je systém Databricks SQL (bezserverový nebo nebezserverový) a katalog Unity umožňuje objevování, průzkum a správu přístupu.

Obchodní aplikace

Stáhnout: Business Apps for Databricks pro Azure Databricks

Databricks Apps umožňuje vývojářům vytvářet a nasazovat zabezpečené aplikace a aplikace umělé inteligence přímo na platformě Databricks, což eliminuje potřebu samostatné infrastruktury. Aplikace jsou hostované na bezserverové platformě Databricks a integrují se s klíčovými službami platformy. Lakebase použijte, pokud aplikace potřebuje data OLTP synchronizovaná z Databricks.

Federace datového skladu Lakehouse

Stáhnout: Referenční architektura federace Lakehouse pro Azure Databricks

Federace Lakehouse umožňuje integraci externích databází SQL dat (například MySQL, Postgres, SQL Serveru nebo Azure Synapse) s Databricks.

Všechny úlohy (AI, DWH a BI) z toho mohou těžit, aniž by bylo nutné nejprve data ETL do objektového úložiště. Externí zdrojový katalog je mapován do katalogu Unity a jemně odstupňované řízení přístupu lze použít pro přístup přes platformu Databricks.

Federace katalogu

Stažení: Referenční architektura federace katalogu pro Azure Databricks

Federace katalogu umožňuje integraci externích metastorů Hive (například MySQL, Postgres, SQL Server nebo Azure Synapse) s Databricks.

Všechny úlohy (AI, DWH a BI) z toho mohou těžit, aniž by bylo nutné nejprve data ETL do objektového úložiště. Externí zdrojový katalog se přidá do katalogu Unity, kde se provádí jemně odstupňované řízení přístupu prostřednictvím platformy Databricks.

Sdílení dat s nástroji třetích stran

Stažení: Sdílení dat s referenční architekturou nástrojů třetích stran pro Azure Databricks

Sdílení dat na podnikové úrovni se třetími stranami poskytuje OpenSharing. Umožňuje přímý přístup k datům v úložišti objektů zabezpečených katalogem Unity. Tato funkce se také používá na Webu Databricks Marketplace, což je otevřené fórum pro výměnu datových produktů.

Využívání sdílených dat z Databricks

Stažení: Využívání sdílených dat z referenční architektury Databricks pro Azure Databricks

Protokol OpenSharing Databricks-to-Databricks umožňuje uživatelům bezpečně sdílet data s libovolným uživatelem Databricks bez ohledu na účet nebo hostitele cloudu, pokud má tento uživatel přístup k pracovnímu prostoru povolenému pro Unity Catalog.