SecureConnect는 데이터 공유를 위한 네트워킹을 단순화하여 데이터 제공자가 각 수신자를 저장 네트워킹 규칙에 허용 목록에 포함시키지 않고도 서로 다른 수신자에게 공유할 수 있게 합니다. 또한, SecureConnect는 제공자가 프라이빗 엔드포인트 뒤에 있는 클라우드 저장소에서 공유할 수 있도록 합니다.
SecureConnect 작동 방식
SecureConnect를 사용하려면 제공업체가 일회성 설정을 하여 Azure Databricks 수신자가 방화벽이나 프라이빗 엔드포인트 뒤에 있는 제공업체의 스토리지에 접근할 수 있게 합니다. 그런 다음 Azure Databricks 관리 프록시를 통해 받는 사람 요청을 라우팅하므로 공급자는 새 받는 사람을 추가할 때 스토리지 방화벽을 업데이트할 필요가 없습니다.
받는 사람은 기존 OpenSharing 설정을 사용하여 공유 데이터에 액세스합니다.
- Azure Databricks 수신자는 공급자별 방화벽 변경 없이 서버리스 컴퓨팅에서 공유에 액세스할 수 있습니다.
- 클래식 컴퓨트의 Azure Databricks 수신자와 오픈 수신자는 공급자 리전용 Azure Databricks 제어 플레인 IP 세트 하나를 허용 목록에 추가합니다.
성능을 최적화하기 위해 제공자의 스토리지와 동일한 리전에 있는 서버리스 컴퓨트의 수신자는 관리형 프록시를 통하는 대신 스토리지에서 직접 읽습니다. 크로스 리전 및 크로스 클라우드 수신자와 클래식 컴퓨트 수신자는 관리된 프록시를 통해 읽습니다. 이 차이는 네트워킹 사용량 청구 방식에 영향을 미칩니다. 청구를 참조하세요.
SecureConnect가 없으면 공급자는 모든 새 받는 사람에 대해 받는 사람 및 클라우드 플랫폼 관리자와 조정하여 각 받는 사람의 네트워크 식별자를 스토리지 방화벽에 추가해야 합니다.
SecureConnect를 공급자로 설정
SecureConnect를 설정하려면 액세스를 허용하도록 스토리지 방화벽을 구성하고 메타스토어 및 받는 사람에 대해 SecureConnect를 사용하도록 설정하는 작업이 포함됩니다.
1단계: 스토리지 방화벽 구성
다음 지침에서는 공유 자산 및 공급자 메타스토어가 동일한 지역에 있다고 가정합니다. 가장 낮은 네트워킹 비용의 경우 공유 자산의 지역을 공급자 메타스토어 지역과 동일하게 유지합니다.
SecureConnect는 공용 인터넷이 아닌 클라우드 제공업체 네트워크를 통한 서버리스 데이터 플레인에서 스토리지에 접근합니다. 저장소가 개인 연결을 필요로 하는지 여부에 따라 다음 설정 옵션 중 하나를 선택하세요.
옵션 1: Azure Databricks 서버리스 네트워크를 허용 목록에 추가
스토리지 방화벽에 Azure Databricks의 서버리스 네트워크 식별자를 추가하여 접근 권한을 허용하세요. 스토리지가 프라이빗 엔드포인트 뒤에 있는 경우 다음 섹션을 참조하세요.
Azure Databricks가 사용자 리소스에 액세스할 수 있도록 하려면 Azure 리소스를 전환 모드의 네트워크 보안 경계와 연결하고 AzureDatabricksServerless.{region} 서비스 태그를 허용 목록에 추가합니다. 여기서 {region}는 공급자의 컨트롤 플레인 지역입니다.
서버리스 컴퓨팅 액세스를 위한 방화벽 구성을 참조하세요.
옵션 2: 개인 연결 설정
공유 저장소가 개인 엔드포인트 뒤에 있다면 이 옵션을 사용하세요.
계정 관리자는 NCC(네트워크 연결 구성)를 구성하고 공유 데이터를 호스트하는 메타스토어에 연결해야 합니다. NCC에 대한 자세한 내용은 NCC(네트워크 연결 구성)란?을 참조하세요.
작업 영역에 연결된 NCC는 메타스토어에 연결할 수 없습니다. OpenSharing의 메타스토어에 적용되는 NCC는 메타스토어에 연결된 모든 공유에 적용됩니다.
스토리지 계정에 대한 NCC 및 프라이빗 엔드포인트 규칙을 만들지만 작업 영역에 NCC를 연결 하지 않습니다 . 또한 SecureConnect에는 프라이빗 blob 엔드포인트 규칙과 dfs 프라이빗 엔드포인트 규칙이 모두 필요하므로 각 하위 리소스 유형에 대한 프라이빗 엔드포인트 규칙을 만듭니다.
NCC 및 프라이빗 엔드포인트 설정에 대한 Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
OpenSharing 메타스토어에 NCC를 연결합니다.
- Azure Databricks 계정 관리자로 계정 콘솔로 이동합니다.
- 사이드바에서
을 클릭합니다.카탈로그. - OpenSharing 메타스토어의 이름을 클릭하여 세부 정보를 엽니다.
- OpenSharing NCC(네트워크 연결 구성)에서 편집을 클릭합니다.
- OpenSharing에 대해 만든 NCC를 검색하여 선택합니다.
- 저장을 클릭합니다.
2단계: 메타스토어에서 SecureConnect 사용
메타스토어 관리자는 새 수신자가 SecureConnect를 자동으로 사용하도록 metastore를 구성할 수 있습니다. 기본적으로 새 받는 사람과 기존 받는 사람은 SecureConnect에 등록되지 않습니다. 기존 받는 사람을 별도로 구성해야 합니다. 3단계: 개별 받는 사람에 대해 SecureConnect 사용
메타스토어에서 SecureConnect를 사용하도록 설정하려면 다음을 수행합니다.
Azure Databricks 작업 영역에서
을 클릭한 후 카탈로그를 선택하여 카탈로그 탐색기를 엽니다.카탈로그 창 위쪽에서
을 클릭합니다. 기어 아이콘을 클릭하고 OpenSharing을 선택합니다.또는 오른쪽 위 모서리에서 OpenSharing 공유 > 를 클릭합니다.
오른쪽 위 모서리에서 설정을 클릭합니다.
새 받는 사람에 대해 SecureConnect를 사용 설정을 켭니다.
저장을 클릭합니다.
3단계: 개별 받는 사람에 대해 SecureConnect 사용
받는 사람 소유자 및 권한이 있는 USE_RECIPIENT 사용자는 각 받는 사람에 대해 SecureConnect를 켜거나 끕니다. 받는 사람을 만들 때 모든 새 받는 사람에 대해 metastore를 사용하도록 설정되지 않은 한 SecureConnect는 기본적으로 받는 사람에서 사용할 수 없습니다.
받는 사람에서 SecureConnect를 구성하려면 다음을 수행합니다.
Azure Databricks 작업 영역에서
을 클릭합니다.카탈로그.카탈로그 창 위쪽에서
을 클릭합니다. 기어 아이콘을 클릭하고 OpenSharing을 선택합니다.또는 오른쪽 위 모서리에서 OpenSharing 공유 > 를 클릭합니다.
내가 공유한 항목 탭에서 수신자 탭을 클릭합니다.
원하는 각 수신자에 대해 SecureConnect를 켜세요.
(선택 사항) 4단계: IP ACL을 사용하여 열린 받는 사람 액세스 제한
열려 있는 받는 사람의 경우 IP 액세스 목록을 사용하여 SecureConnect에 연결할 수 있는 클라이언트 IP 주소를 제한할 수 있습니다. IP ACL은 열려 있는 받는 사람에게만 적용됩니다.
SecureConnect를 사용하면 IP ACL이 OpenSharing 엔드포인트 액세스 및 스토리지 액세스 모두에 적용됩니다. SecureConnect가 없으면 IP ACL은 OpenSharing 엔드포인트 액세스만 제한합니다. 스토리지 URL은 모든 클라이언트 IP에서 연결할 수 있습니다.
설정 지침은 IP 액세스 목록(Databricks-to-Open 공유)을 사용하여 OpenSharing 받는 사람 액세스 제한(Databricks-to-Open 공유)을 참조하세요.
Note
SecureConnect 사용 오픈 받는 사람에 대한 IP ACL 변경 내용을 적용하는 데 최대 10분이 걸릴 수 있습니다.
지원되는 공유 시나리오
Important
지원되지 않는 모든 기능은 받는 사람 컴퓨팅에서 스토리지로의 직접 액세스로 돌아갑니다. 공급자는 스토리지 방화벽에서 받는 사람 IP에 대한 액세스 권한을 수동으로 부여해야 합니다. OpenSharing Databricks-to-Databricks 프로토콜이란? 또는 Databricks-to-Open 공유 프로토콜이란?을(를) 참조하세요.
SecureConnect는 Databricks 간 공유와 Databricks-오픈 공유 모두에 대해, 수신자가 사용하는 클라우드와 관계없이 공유를 지원합니다.
GCP에서 제공자 지원은 프라이버릭 프리뷰에 있습니다. SecureConnect를 GCP에서 제공자로 사용하려면 Azure Databricks 계정 팀에 연락하세요.
mTLS에서 SecureConnect로는 서버 없는 컴퓨트를 사용하는 Azure Databricks 수신자만이 공유 데이터에 접근할 수 있도록 지원합니다.
기능 지원
| 특징 | D2O(토큰) | D2O(OIDC)* | D2O(빙산) | D2D(서버리스) | D2D(클래식) |
|---|---|---|---|---|---|
| 이력이 있으며 파티션이 없는 테이블 | ✓ | ✓ | ✗ | ✓** | ✓** |
| 기록이 없거나 파티션이 있는 테이블 | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✓*** | ✓ |
| 외세 테이블 | ✓ | ✓ | ✗ | ✓ | ✓ |
| 머터리얼라이즈드 뷰 | ✓ | ✓ | ✗ | ✓*** | ✓ |
| 스트리밍 테이블 | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| AI 모델 | ✗ | ✗ | ✗ | ✗ | ✗ |
* 받는 사람이 Azure Databricks 있는 경우 현재 OIDC 공유가 작동하지 않습니다.
** SecureConnect에는 클라우드 토큰 최적화를 사용할 수 없습니다.
이러한 자산은 공급자 쪽에서 구체화되고 필터링됩니다. 참조 받는 사람이 공유 뷰, 구체화된 뷰 및 스트리밍 테이블의 기본 데이터에 직접 액세스할 수 있나요?
제한점
- Cloudflare R2 스토리지에서 자산을 백업할 수 없습니다.
- SecureConnect는 SAP HANA를 사용하는 공유 데이터를 읽는 수신자와는 사용할 수 없습니다. SAP HANA는 SecureConnect가 공유 데이터를 전달할 때 사용하는 Azure Databricks 사전 서명 URL을 지원하지 않기 때문입니다.
mTLS 지원 및 Databricks-to-Open 공유 제한과 같은 받는 사람 쪽 제한 사항은 제한 사항을 참조하세요.
지원되지 않는 지역
SecureConnect는 Azure 중국, Azure Government 또는 다음 Azure 지역에서 사용할 수 없습니다.
australiacentralaustraliacentral2japanwestqatarcentralsouthindiaswitzerlandwestukwestwestindia
결제
수신자가 SecureConnect를 통해 공유 데이터에 접근할 때 제공자는 데이터 전송(이그레스) 요금을 청구합니다. 요금은 데이터 전송 및 연결 요금제를 참조하시거나 Azure Databricks 계정 팀에 문의하세요.
Note
Azure Databricks는 SecureConnect 네트워킹 청구를 더 다양한 요금 유형과 접근 시나리오, 수신자에 대한 요금 등 다양한 방식으로 확장하고 있습니다. 청구 방식을 이해하려면 OpenSharing SecureConnect의 확장 네트워킹 청구를 참조하세요.
받는 사람당 사용량은 청구 시스템 테이블의 recipient_id 필드를 통해 제공되므로 공급자는 청구 가능한 SecureConnect 사용량을 받는 사람별로 세분화할 수 있습니다.
청구 가능한 사용량 시스템 테이블 참조.
다음 쿼리는 지난 7일 동안 각 받는 사람에 대한 SecureConnect 데이터 송신(GB)을 반환합니다.
SELECT
usage_records.usage_metadata.recipient_id,
SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
usage_records.billing_origin_product = 'NETWORKING'
AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
usage_records.usage_metadata.recipient_id
ORDER BY
total_usage_gb DESC
사용량을 비용으로 변환하려면 가격 책정 시스템 테이블에 조인합니다. 시스템 가격 책정 테이블 참조를 참조하세요.