Omówienie architektury usługi Azure Databricks
Ten artykuł zawiera ogólne omówienie architektury usługi Azure Databricks, w tym jej architektury przedsiębiorstwa, w połączeniu z platformą Azure.
Architektura wysokiego poziomu
Usługa Azure Databricks działa poza płaszczyzną sterowania i płaszczyzną obliczeniową.
- Płaszczyzna sterowania obejmuje usługi zaplecza zarządzane przez usługę Azure Databricks na koncie usługi Azure Databricks. Aplikacja internetowa znajduje się na płaszczyźnie sterowania.
- Płaszczyzna obliczeniowa to miejsce przetwarzania danych. Istnieją dwa typy płaszczyzn obliczeniowych w zależności od używanych zasobów obliczeniowych.
- W przypadku bezserwerowych zasobów obliczeniowych bezserwerowych działają na bezserwerowej płaszczyźnie obliczeniowej na koncie usługi Azure Databricks.
- W przypadku klasycznych zasobów obliczeniowych usługi Azure Databricks zasoby obliczeniowe znajdują się w subskrypcji platformy Azure w tak zwanej klasycznej płaszczyźnie obliczeniowej. Dotyczy to sieci w ramach subskrypcji platformy Azure i jej zasobów.
Każdy obszar roboczy usługi Azure Databricks ma skojarzone konto magazynu znane jako konto magazynu obszaru roboczego. Konto magazynu obszaru roboczego znajduje się w subskrypcji platformy Azure.
Na poniższym diagramie opisano ogólną architekturę usługi Azure Databricks.
Bezserwerowa płaszczyzna obliczeniowa
Na bezserwerowej płaszczyźnie obliczeniowej zasoby obliczeniowe usługi Azure Databricks są uruchamiane w warstwie obliczeniowej na koncie usługi Azure Databricks. Usługa Azure Databricks tworzy bezserwerową płaszczyznę obliczeniową w tym samym regionie świadczenia usługi Azure co klasyczna płaszczyzna obliczeniowa obszaru roboczego.
Aby chronić dane klientów w bezserwerowej płaszczyźnie obliczeniowej, bezserwerowe obliczenia są uruchamiane w granicach sieci dla obszaru roboczego, z różnymi warstwami zabezpieczeń w celu odizolowania różnych obszarów roboczych klientów usługi Azure Databricks i dodatkowych mechanizmów kontroli sieci między klastrami tego samego klienta.
Aby dowiedzieć się więcej na temat sieci na bezserwerowej płaszczyźnie obliczeniowej, sieć bezserwerowej płaszczyzny obliczeniowej.
Klasyczna płaszczyzna obliczeniowa
W klasycznej płaszczyźnie obliczeniowej zasoby obliczeniowe usługi Azure Databricks są uruchamiane w ramach subskrypcji platformy Azure. Nowe zasoby obliczeniowe są tworzone w ramach sieci wirtualnej każdego obszaru roboczego w ramach subskrypcji platformy Azure klienta.
Klasyczna płaszczyzna obliczeniowa ma naturalną izolację, ponieważ działa we własnej subskrypcji platformy Azure klienta. Aby dowiedzieć się więcej na temat sieci w klasycznej płaszczyźnie obliczeniowej, zobacz Klasyczne sieci płaszczyzn obliczeniowych.
Aby uzyskać pomoc regionalną, zobacz Regiony usługi Azure Databricks.
Konto magazynu obszaru roboczego
Podczas tworzenia obszaru roboczego usługa Azure Databricks tworzy konto w ramach subskrypcji platformy Azure do użycia jako konto magazynu obszaru roboczego.
Konto magazynu obszaru roboczego zawiera:
- Dane systemu obszarów roboczych: dane systemowe obszaru roboczego są generowane podczas korzystania z różnych funkcji usługi Azure Databricks, takich jak tworzenie notesów. Ten zasobnik zawiera poprawki notesu, szczegóły uruchomienia zadania, wyniki poleceń i dzienniki platformy Spark
- DBFS: DBFS (System plików usługi Databricks) to rozproszony system plików w środowiskach usługi Azure Databricks dostępny w
dbfs:/
przestrzeni nazw. Instalacja systemu plików DBFS root i DBFS jest zarówno wdbfs:/
przestrzeni nazw. Przechowywanie i uzyskiwanie dostępu do danych przy użyciu instalacji root lub DBFS systemu plików DBFS jest przestarzałym wzorcem i nie jest zalecane przez usługę Databricks. Aby uzyskać więcej informacji, zobacz Co to jest system plików DBFS?. - Wykaz obszarów roboczych wykazu aparatu Unity: jeśli obszar roboczy został włączony automatycznie dla wykazu aparatu Unity, konto magazynu obszaru roboczego zawiera domyślny wykaz obszarów roboczych. Wszyscy użytkownicy w obszarze roboczym mogą tworzyć zasoby w domyślnym schemacie w tym wykazie. Zobacz Konfigurowanie wykazu aparatu Unity i zarządzanie nim.
Aby ograniczyć dostęp do konta magazynu obszaru roboczego tylko z autoryzowanych zasobów i sieci, zobacz Włączanie obsługi zapory dla konta magazynu obszaru roboczego.
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla