Přehled architektury Azure Databricks

Tento článek poskytuje základní přehled architektury Azure Databricks, včetně její podnikové architektury, v kombinaci s Azure.

Architektura vysoké úrovně

Azure Databricks pracuje mimo řídicí rovinu a výpočetní rovinu.

• Řídicí rovina zahrnuje back-endové služby, které Azure Databricks spravuje ve vašem účtu Azure Databricks. Webová aplikace je v řídicí rovině.

• Výpočetní rovina je místo, kde se zpracovávají vaše data. Existují dva typy výpočetních rovin v závislosti na výpočetních prostředcích, které používáte.

  • Pro bezserverové výpočetní prostředky běží v bezserverové výpočetní rovině ve vašem účtu Azure Databricks.
  • U klasických výpočetních prostředků Azure Databricks jsou výpočetní prostředky ve vašem předplatném Azure v tom, co se nazývá klasická výpočetní rovina. To se týká sítě ve vašem předplatném Azure a jejích prostředcích.

  Další informace o klasických výpočetních a bezserverových výpočetních prostředcích najdete v tématu Typy výpočetních prostředků.

Každý pracovní prostor Azure Databricks má přidružený účet úložiště označovaný jako účet úložiště pracovního prostoru. Účet úložiště pracovního prostoru je ve vašem předplatném Azure.

Následující diagram popisuje celkovou architekturu Azure Databricks.

Bezserverová výpočetní rovina

V bezserverové výpočetní rovině běží výpočetní prostředky Azure Databricks ve výpočetní vrstvě v rámci vašeho účtu Azure Databricks. Azure Databricks vytvoří bezserverovou výpočetní rovinu ve stejné oblasti Azure jako klasická výpočetní rovina vašeho pracovního prostoru. Tuto oblast vyberete při vytváření pracovního prostoru.

Kvůli ochraně zákaznických dat v bezserverové výpočetní rovině běží bezserverové výpočetní prostředí v rámci síťové hranice pracovního prostoru s různými vrstvami zabezpečení, které izolují různé zákaznické pracovní prostory Azure Databricks a další síťové ovládací prvky mezi clustery stejného zákazníka.

Další informace o sítích v bezserverové výpočetní rovině najdete v síti bezserverové výpočetní roviny.

Klasická výpočetní rovina

V klasické výpočetní rovině běží výpočetní prostředky Azure Databricks ve vašem předplatném Azure. Nové výpočetní prostředky se vytvářejí ve virtuální síti každého pracovního prostoru v předplatném Azure zákazníka.

Klasická výpočetní rovina má přirozenou izolaci, protože běží ve vlastním předplatném Azure každého zákazníka. Další informace o sítích v klasické výpočetní rovině najdete v tématu Klasické sítě výpočetní roviny.

Regionální podporu najdete v oblastech Azure Databricks.

Účet úložiště pracovního prostoru

Když vytvoříte pracovní prostor, Azure Databricks vytvoří ve vašem předplatném Azure účet, který se použije jako účet úložiště pracovního prostoru.

Účet úložiště pracovního prostoru obsahuje:

• Systémová data pracovního prostoru: Systémová data pracovního prostoru se generují, když používáte různé funkce Azure Databricks, jako je vytváření poznámkových bloků. Tento kbelík zahrnuje revize poznámkového bloku, podrobnosti o spuštění úlohy, výsledky příkazů a protokoly Sparku.
• DBFS: DBFS (Databricks File System) je distribuovaný systém souborů v prostředích Azure Databricks přístupný v rámci dbfs:/ oboru názvů. Připojení rootu DBFS i DBFS jsou v dbfs:/ oboru názvů. Ukládání a přístup k datům pomocí kořenového adresáře DBFS nebo připojení DBFS je zastaralý vzor, který databricks nedoporučuje. Další informace naleznete v tématu Co je DBFS?.
• Katalog pracovních prostorů Unity: Pokud byl váš pracovní prostor pro Katalog Unity povolen automaticky, účet úložiště pracovního prostoru obsahuje výchozí katalog pracovních prostorů. Všichni uživatelé ve vašem pracovním prostoru mohou vytvářet prostředky ve výchozím schématu v tomto katalogu. Viz Nastavení a správa katalogu Unity.

Pokud chcete omezit přístup k účtu úložiště pracovního prostoru jenom z autorizovaných prostředků a sítí, přečtěte si téma Povolení podpory brány firewall pro váš účet úložiště pracovního prostoru.