Architektura vysoké úrovně

Tento článek poskytuje základní přehled architektury Azure Databricks, včetně její podnikové architektury, v kombinaci s Azure.

Objekty Databricks

Účet Azure Databricks je konstrukce nejvyšší úrovně, kterou používáte ke správě Azure Databricks ve vaší organizaci. Na úrovni účtu spravujete:

• Identita a přístup: Uživatelé, skupiny, služební zástupci a zřizování uživatelů.

• Správa pracovních prostorů: Vytváření, aktualizace a odstraňování pracovních prostorů napříč několika oblastmi

• Správa metastoru katalogu Unity: Vytvoření a připojení metastoru k pracovním prostorům

• Správa využití: Fakturace, dodržování předpisů a zásady.

Účet může obsahovat více pracovních prostorů a metasory katalogu Unity.

• Pracovní prostory jsou prostředí pro spolupráci, ve kterém uživatelé spouštějí výpočetní úlohy, jako je příjem dat, interaktivní zkoumání, naplánované úlohy a trénování ML.

• Metastore katalogu Unity jsou centrálním systémem správy datových aktiv, jako jsou tabulky a modely strojového učení. Data můžete uspořádat v metastoru pod tříúrovňovým oborem názvů:

<catalog-name>.<schema-name>.<object-name>

Metastory jsou připojené k pracovním prostorům. Jeden metastor můžete propojit s několika pracovními prostory Azure Databricks ve stejné oblasti a poskytnout tak každému pracovnímu prostoru stejné zobrazení dat. Řízení přístupu k datům je možné spravovat ve všech propojených pracovních prostorech.

Architektura pracovního prostoru

Azure Databricks pracuje mimo řídicí rovinu a výpočetní rovinu.

• Řídicí rovina zahrnuje back-endové služby, které Azure Databricks spravuje ve vašem účtu Azure Databricks. Webová aplikace je v řídicí rovině.

• Výpočetní rovina je místo, kde se zpracovávají vaše data. Existují dva typy výpočetních rovin v závislosti na výpočetních prostředcích, které používáte.

  • Pro bezserverovou výpočetní rovinu ve vašem účtu Azure Databricks běží bezserverové výpočetní zdroje.
  • U klasických výpočetních prostředků Azure Databricks jsou výpočetní prostředky ve vašem předplatném Azure v tom, co se nazývá klasická výpočetní rovina. To se týká sítě ve vašem předplatném Azure a jejích prostředcích.

  Další informace o klasických výpočetních a bezserverových výpočetních prostředcích najdete v tématu Výpočty.

Architektura klasického pracovního prostoru

:::

Klasické pracovní prostory Azure Databricks mají přidružený účet úložiště označovaný jako účet úložiště pracovního prostoru. Účet úložiště pracovního prostoru je ve vašem předplatném Azure.

Následující diagram popisuje obecnou architekturu Azure Databricks pro klasické pracovní prostory.

Architektura bezserverového pracovního prostoru

Úložiště pracovního prostoru v bezserverových pracovních prostorech je uloženo ve výchozím úložišti pracovního prostoru. Pro přístup k datům se můžete připojit také ke svému účtu cloudového úložiště. Následující diagram popisuje obecnou architekturu pro bezserverové pracovní prostory.

Bezserverová výpočetní rovina

V bezserverové výpočetní rovině běží výpočetní prostředky Azure Databricks ve výpočetní vrstvě v rámci vašeho účtu Azure Databricks. Azure Databricks vytvoří bezserverovou výpočetní rovinu ve stejné oblasti Azure jako klasická výpočetní rovina vašeho pracovního prostoru. Tuto oblast vyberete při vytváření pracovního prostoru.

Kvůli ochraně zákaznických dat v bezserverové výpočetní rovině běží bezserverové výpočetní prostředí v rámci síťové hranice pracovního prostoru s různými vrstvami zabezpečení, které izolují různé zákaznické pracovní prostory Azure Databricks a další síťové ovládací prvky mezi clustery stejného zákazníka.

Další informace o sítích v bezserverové výpočetní rovině najdete v síti bezserverové výpočetní roviny.

Klasická výpočetní rovina

V klasické výpočetní rovině běží výpočetní prostředky Azure Databricks ve vašem předplatném Azure. Nové výpočetní prostředky se vytvářejí ve virtuální síti každého pracovního prostoru v rámci předplatného zákazníka na Azure.

Klasická výpočetní rovina má přirozenou izolaci, protože běží ve vlastním předplatném Azure každého zákazníka. Další informace o sítích v klasické výpočetní rovině najdete v tématu Klasické sítě výpočetní roviny.

Regionální podporu najdete v oblastech Azure Databricks.

Úložiště pracovního prostoru

Úložiště v pracovním prostoru se liší podle jeho typu. Další informace o typech pracovních prostorů najdete v tématu Vytvoření pracovního prostoru.

Bezserverové pracovní prostory

Bezserverové pracovní prostory používají výchozí úložiště, což je plně spravované umístění úložiště pro systémová data vašeho pracovního prostoru a katalogy Unity Catalog. Bezserverové pracovní prostory také podporují možnost připojení ke cloudovým úložištím. Viz Výchozí úložiště v Databricks.

Klasické pracovní prostory

Účet úložiště pracovního prostoru obsahuje:

• Systémová data pracovního prostoru: Systémová data pracovního prostoru se generují, když používáte různé funkce Azure Databricks, jako je vytváření poznámkových bloků. Tento kbelík zahrnuje revize poznámkového bloku, podrobnosti o spuštění úlohy, výsledky příkazů a protokoly Sparku.
• Katalog pracovních prostorů Unity: Pokud byl váš pracovní prostor pro Katalog Unity povolen automaticky, účet úložiště pracovního prostoru obsahuje výchozí katalog pracovních prostorů. Všichni uživatelé ve vašem pracovním prostoru mohou vytvářet položky ve výchozím schématu v tomto katalogu. Viz Začínáme s katalogem Unity.
• DBFS (zastaralé): Kořen DBFS a připojení DBFS jsou zastaralé a mohou být ve vašem pracovním prostoru zakázány. DBFS (Databricks File System) je distribuovaný systém souborů v prostředích Azure Databricks přístupný v rámci dbfs:/ oboru názvů. Připojení rootu DBFS i DBFS jsou v dbfs:/ oboru názvů. Ukládání a přístup k datům pomocí kořenového adresáře DBFS nebo připojení DBFS je zastaralý vzor, který databricks nedoporučuje. Další informace naleznete v tématu Co je DBFS?.

Pokud chcete omezit přístup k účtu úložiště pracovního prostoru jenom z autorizovaných prostředků a sítí, přečtěte si téma Povolení podpory brány firewall pro účet úložiště pracovního prostoru.