Azure Databricks 아키텍처 개요

이 문서에서는 Azure와 함께 엔터프라이즈 아키텍처를 포함하여 Azure Databricks 아키텍처에 대한 개략적인 개요를 제공합니다.

고급 아키텍처

Azure Databricks는 제어 평면 및 컴퓨팅 평면에서 작동합니다.

• 컨트롤 플레인에는 Azure Databricks가 Azure Databricks 계정에서 관리하는 백 엔드 서비스가 포함됩니다. 웹 애플리케이션이 컨트롤 플레인에 있습니다.
• 컴퓨팅 평면은 데이터가 처리되는 위치입니다. 사용 중인 컴퓨팅에 따라 두 가지 유형의 컴퓨팅 평면이 있습니다.
  • 서버리스 컴퓨팅의 경우 서버리스 컴퓨팅 리소스는 Azure Databricks 계정의 서버리스 컴퓨팅 평면에서 실행됩니다.
  • 클래식 Azure Databricks 컴퓨팅의 경우 컴퓨팅 리소스는 클래식 컴퓨팅 평면이라고 하는 Azure 구독에 있습니다. 이는 Azure 구독의 네트워크 및 해당 리소스를 나타냅니다.

각 Azure Databricks 작업 영역에는 작업 영역 스토리지 계정이라고 하는 연결된 스토리지 계정이 있습니다. 작업 영역 스토리지 계정은 Azure 구독에 있습니다.

다음 다이어그램에서는 전체 Azure Databricks 아키텍처를 설명합니다.

서버리스 컴퓨팅 평면

서버리스 컴퓨팅 평면에서 Azure Databricks 컴퓨팅 리소스는 Azure Databricks 계정 내의 컴퓨팅 계층에서 실행됩니다. Azure Databricks는 작업 영역의 클래식 컴퓨팅 평면과 동일한 Azure 지역에 서버리스 컴퓨팅 평면을 만듭니다.

서버리스 컴퓨팅 평면 내에서 고객 데이터를 보호하기 위해 서버리스 컴퓨팅은 작업 영역에 대한 네트워크 경계 내에서 실행되며, 다양한 보안 계층을 사용하여 서로 다른 Azure Databricks 고객 작업 영역과 동일한 고객의 클러스터 간에 추가 네트워크 제어를 격리합니다.

서버리스 컴퓨팅 평면의 네트워킹에 대해 자세히 알아보려면 서버리스 컴퓨팅 평면 네트워킹을 참조하세요.

클래식 컴퓨팅 평면

클래식 컴퓨팅 평면에서 Azure Databricks 컴퓨팅 리소스는 Azure 구독에서 실행됩니다. 새 컴퓨팅 리소스는 고객의 Azure 구독에 있는 각 작업 영역의 가상 네트워크 내에서 만들어집니다.

클래식 컴퓨팅 평면은 각 고객의 자체 Azure 구독에서 실행되므로 자연스럽게 격리됩니다. 클래식 컴퓨팅 평면의 네트워킹에 대한 자세한 내용은 클래식 컴퓨팅 평면 네트워킹을 참조 하세요.

지역별 지원은 Azure Databricks 지역을 참조 하세요.

작업 영역 스토리지 계정

작업 영역을 만들 때 Azure Databricks는 작업 영역 스토리지 계정으로 사용할 계정을 Azure 구독에 만듭니다.

작업 영역 스토리지 계정에는 다음이 포함됩니다.

• 작업 영역 시스템 데이터: Notebook 만들기와 같은 다양한 Azure Databricks 기능을 사용하면 작업 영역 시스템 데이터가 생성됩니다. 이 버킷에는 Notebook 수정 버전, 작업 실행 세부 정보, 명령 결과 및 Spark 로그가 포함됩니다.
• DBFS: DBFS(Databricks 파일 시스템)는 네임스페이스에서 액세스할 수 있는 Azure Databricks 환경의 dbfs:/ 분산 파일 시스템입니다. DBFS 루트 및 DBFS 탑재는 모두 네임스페이스에 dbfs:/ 있습니다. DBFS 루트 또는 DBFS 탑재를 사용하여 데이터를 저장하고 액세스하는 것은 사용되지 않는 패턴이며 Databricks에서 권장하지 않습니다. 자세한 내용은 DBFS란?을 참조하세요.
• Unity 카탈로그 작업 영역 카탈로그: 작업 영역이 자동으로 Unity 카탈로그에 사용하도록 설정된 경우 작업 영역 스토리지 계정에 기본 작업 영역 카탈로그가 포함됩니다. 작업 영역의 모든 사용자는 이 카탈로그의 기본 스키마에 자산을 만들 수 있습니다. Unity 카탈로그 설정 및 관리를 참조하세요.

권한 있는 리소스 및 네트워크에서만 작업 영역 스토리지 계정에 대한 액세스를 제한하려면 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.