작업 영역 스토리지 계정에 대한 방화벽 지원 사용

아티클
05/03/2024

새 Azure Databricks 작업 영역을 만들 때 Azure Storage 계정은 작업 영역 스토리지 계정이라고 하는 관리되는 리소스 그룹에 만들어집니다. 작업 영역 스토리지 계정에는 작업 영역 시스템 데이터(작업 출력, 시스템 설정 및 로그), DBFS 루트 및 경우에 따라 Unity 카탈로그 작업 영역 카탈로그가 포함됩니다. 이 문서에서는 ARM 템플릿을 사용하여 권한 있는 리소스 및 네트워크에서만 작업 영역 스토리지 계정에 대한 액세스를 제한하는 방법을 설명합니다.

작업 영역 스토리지 계정에 대한 방화벽 지원은 무엇인가요?

기본적으로 작업 영역 스토리지 계정에 대한 Azure Storage 계정은 모든 네트워크에서 인증된 연결을 허용합니다. 작업 영역 스토리지 계정에 대해 방화벽 지원을 사용하도록 설정하여 이 액세스를 제한할 수 있습니다. 이렇게 하면 공용 네트워크 액세스가 허용되지 않으며 권한 없는 네트워크에서 작업 영역 스토리지 계정에 액세스할 수 없습니다. 조직에 스토리지 계정이 비공개로 유지되도록 하는 Azure 정책이 있는 경우 이를 구성할 수 있습니다.

작업 영역 스토리지 계정에 대한 방화벽 지원을 사용하도록 설정한 경우 Azure Databricks 외부의 서비스에서 모든 액세스는 Private Link에서 승인된 프라이빗 엔드포인트를 사용해야 합니다. Azure Databricks는 Azure 관리 ID를 사용하여 스토리지에 연결하는 액세스 커넥터 를 만듭니다. Azure Databricks 서버리스 SQL 웨어하우스에서 액세스하려면 서비스 엔드포인트 또는 프라이빗 엔드포인트를 사용해야 합니다.

참고 항목

모델 제공은 작업 영역 스토리지 계정에 대한 방화벽 지원에서 지원되지 않습니다.

요구 사항

작업 영역에서 VNet 삽입을 사용하도록 설정해야 합니다.

새 작업 영역을 만드는 경우 가상 네트워크 요구 사항의 지침 에 따라 가상 네트워크와 두 개의 서브넷을 만듭니다.
작업 영역에서 보안 클러스터 연결을 사용하도록 설정 해야 합니다(공용 IP/NPIP 없음).
작업 영역은 프리미엄 플랜에 있어야 합니다.
스토리지 계정의 프라이빗 엔드포인트에 대해 별도의 서브넷이 있어야 합니다. 이는 기본 Azure Databricks 기능에 기본 두 서브넷에 추가됩니다.

서브넷은 작업 영역과 동일한 VNet 또는 작업 영역에서 액세스할 수 있는 별도의 VNet에 있어야 합니다. CIDR 표기법의 최소 크기를 /28 사용합니다.
Microsoft Fabric Power BI 서비스 Cloud Fetch를 사용하는 경우 항상 작업 영역 스토리지 계정에 대한 프라이빗 액세스를 위해 게이트웨이를 사용하거나 Cloud Fetch를 사용하지 않도록 설정해야 합니다. 3단계(권장): Cloud Fetch 클라이언트 VNet에 대한 프라이빗 엔드포인트 구성을 참조하세요.

1단계: 필요한 ARM 템플릿 배포

기존 작업 영역을 사용하는 경우 작업 영역에서 모든 컴퓨팅 리소스를 종료합니다.
Azure Portal에서 검색하여 선택합니다 Deploy a custom template.
편집기에서 사용자 고유의 템플릿을 빌드합니다.를 클릭합니다.
작업 영역 스토리지 계정에 대한 방화벽 지원을 위해 ARM 템플릿에서 ARM 템플릿을 복사하여 편집기에서 붙여넣습니다.
저장을 클릭합니다.
필드를 검토하고 편집합니다. 필드에 대한 설명은 ARM 템플릿 필드를 참조 하세요.
검토 및 만들기를 클릭한 다음 만들기를 클릭합니다.

프라이빗 엔드포인트를 만들 때까지 작업 영역에서 Notebook 또는 작업을 일시적으로 실행할 수 없습니다.

2단계: 스토리지 계정에 프라이빗 엔드포인트 만들기

대상 하위 리소스 값 dfsblob에 대해 VNet 삽입에 사용한 VNet에서 작업 영역 스토리지 계정에 두 개의 프라이빗 엔드포인트를 만듭니다.

Azure Portal에서 작업 영역으로 이동합니다.
Essentials에서 관리되는 리소스 그룹의 이름을 클릭합니다.
리소스에서 이름이 로 시작하는 Storage 계정 유형의 리소스를 dbstorage클릭합니다.
사이드바에서 네트워킹을 클릭합니다.
프라이빗 엔드포인트 연결을 클릭합니다.
+ 프라이빗 엔드포인트를 클릭합니다.
리소스 그룹 이름 필드에서 리소스 그룹을 설정합니다. 이는 작업 영역 스토리지 계정이 있는 관리되는 리소스 그룹과 동일하지 않아야 합니다.
이름 필드에 이 프라이빗 엔드포인트의 고유한 이름을 입력합니다.
- 각 원본 네트워크에 대해 만든 첫 번째 프라이빗 엔드포인트에 대해 DFS 엔드포인트를 만듭니다. Databricks는 접미사를 추가하는 것이 좋습니다. -dfs-pe
- 각 원본 네트워크에 대해 만드는 두 번째 프라이빗 엔드포인트의 경우 Blob 엔드포인트를 만듭니다. Databricks는 접미사를 추가하는 것이 좋습니다. -blob-pe
네트워크 인터페이스 이름 필드가 자동으로 채워집니다.
지역 필드를 작업 영역의 지역으로 설정합니다.
다음을 클릭합니다.
대상 하위 리소스에서 대상 리소스 종류를 클릭합니다.
- 각 원본 네트워크에 대해 만든 첫 번째 프라이빗 엔드포인트의 경우 dfs로 설정합니다.
- 각 원본 네트워크에 대해 만드는 두 번째 프라이빗 엔드포인트의 경우 Blob으로 설정합니다.
가상 네트워크 필드에서 VNet을 선택합니다.
서브넷 필드에서 스토리지 계정의 프라이빗 엔드포인트에 대해 가지고 있는 별도의 서브넷으로 서브넷을 설정합니다.

이 필드는 프라이빗 엔드포인트에 대한 서브넷으로 자동으로 채워질 수 있지만 명시적으로 설정해야 할 수도 있습니다. 일반적으로 호출 private-subnet 되는 public-subnet기본 Azure Databricks 작업 영역 기능에 사용되는 두 작업 영역 서브넷 중 하나를 사용할 수 없습니다.
다음을 클릭합니다. DNS 탭은 이전에 선택한 올바른 구독 및 리소스 그룹에 자동으로 채워집니다. 필요한 경우 변경합니다.
원하는 경우 [다음]을 클릭하고 태그를 추가합니다.
다음을 클릭하고 필드를 검토합니다.
만들기를 클릭합니다.

작업 영역 스토리지 계정에 대한 방화벽 지원을 사용하지 않도록 설정하려면 위와 동일한 프로세스를 사용하지만 템플릿의 스토리지 계정 방화벽storageAccountFirewall 매개 변수를 Disabled 설정하고 작업 영역에서 Unity 카탈로그 작업 영역 카탈로그를 사용하는지 여부에 따라 필드를 truefalse 설정합니다Workspace Catalog Enabled. 카탈로그를 참조 하세요.

3단계(권장): Cloud Fetch 클라이언트 VNet에 대한 프라이빗 엔드포인트 구성

Cloud Fetch는 데이터를 BI 도구로 더 빠르게 가져오기 위해 클라우드 스토리지를 통해 병렬로 데이터를 가져오기 위한 ODBC 및 JDBC의 메커니즘입니다. BI 도구에서 1MB보다 큰 쿼리 결과를 가져오는 경우 Cloud Fetch를 사용할 가능성이 높습니다.

참고 항목

Azure Databricks에서 Microsoft Fabric Power BI 서비스 사용하는 경우 이 기능이 Fabric Power BI에서 작업 영역 스토리지 계정에 대한 직접 액세스를 차단하므로 Cloud Fetch를 사용하지 않도록 설정해야 합니다. 또는 가상 네트워크 데이터 게이트웨이 또는 온-프레미스 데이터 게이트웨이를 구성하여 작업 영역 스토리지 계정에 대한 프라이빗 액세스를 허용할 수 있습니다. Power BI 데스크톱에는 적용되지 않습니다. Cloud Fetch를 사용하지 않도록 설정하려면 구성 EnableQueryResultDownload=0을 사용합니다.

Cloud Fetch를 사용하는 경우 Cloud Fetch 클라이언트의 VNet에서 작업 영역 스토리지 계정에 대한 프라이빗 엔드포인트를 만듭니다.

Cloud Fetch 클라이언트에 대한 각 원본 네트워크에 대해 서로 다른 두 개의 대상 하위 리소스 값을 dfs 사용하는 두 개의 프라이빗 엔드포인트를 만듭니다 blob. 자세한 단계는 2단계: 스토리지 계정에 프라이빗 엔드포인트 만들기를 참조하세요. 이러한 단계에서 프라이빗 엔드포인트를 만들 때 가상 네트워크 필드의 경우 각 Cloud Fetch 클라이언트에 대한 원본 VNet을 지정해야 합니다.

4단계: 엔드포인트 승인 확인

스토리지 계정에 대한 모든 프라이빗 엔드포인트를 만든 후 승인되었는지 검사. 자동 승인하거나 스토리지 계정에서 승인해야 할 수 있습니다.

Azure Portal에서 작업 영역으로 이동합니다.
Essentials에서 관리되는 리소스 그룹의 이름을 클릭합니다.
리소스에서 이름이 로 시작하는 Storage 계정 유형의 리소스를 dbstorage클릭합니다.
사이드바에서 네트워킹을 클릭합니다.
프라이빗 엔드포인트 연결을 클릭합니다.
커넥트 상태를 확인하여 승인됨인지 확인하거나 선택하고 승인을 클릭합니다.

5단계: 서버리스 SQL 웨어하우스 연결 권한 부여

NCC(네트워크 연결 구성)를 작업 영역에 연결하여 작업 영역 스토리지 계정에 연결하도록 서버리스 SQL 웨어하우스에 권한을 부여해야 합니다. NCC가 작업 영역에 연결되면 네트워크 규칙이 작업 영역 스토리지 계정에 대한 Azure Storage 계정에 자동으로 추가됩니다. 지침은 서버리스 컴퓨팅 평면 네트워킹을 참조 하세요.

프라이빗 엔드포인트를 사용하여 Azure Databricks 서버리스 SQL 웨어하우스에서 액세스를 사용하도록 설정하려면 Azure Databricks 계정 팀에 문의하세요.

다음을 통해 공유