이 문서에서는 Azure Databricks 클러스터 또는 SQL 웨어하우스와 Lakehouse Federation을 사용하여 연결하는 외부 데이터베이스 시스템 간에 실행 가능한 네트워크 경로를 설정하기 위한 지침을 제공합니다.
Lakehouse 페더레이션에 대한 네트워크 연결을 설정할 때 다음을 고려합니다.
- 페더레이션된 쿼리에 대한 모든 네트워크 트래픽은 Azure Databricks 클러스터(또는 SQL 웨어하우스)와 외부 데이터베이스 시스템 간에 직접 발생합니다. Unity 카탈로그나 Azure Databricks 컨트롤 플레인은 네트워크 경로에 없습니다.
- OAuth를 사용하는 연결에는 추가 요구 사항이 있습니다. OAuth로 연결이 인증되면 OAuth 토큰 교환은 컴퓨팅 평면이 아닌 Azure Databricks 컨트롤 플레인에서 발생합니다. 컨트롤 플레인은 외부 시스템의 OAuth 엔드포인트에 연결할 수 있어야 합니다. 컴퓨팅 평면만 허용 목록에 추가하는 것만으로는 이러한 연결에 충분하지 않습니다. 커넥터 관련 지침은 Snowflake(OAuth)에서 페더레이션 쿼리 실행 또는 Microsoft SQL Server 페더레이션 쿼리 실행과 같은 관련 연결 페이지의 네트워킹 또는 제한 사항 섹션을 참조하세요. HTTP 연결은 예외입니다. 컨트롤 플레인 대신 서버리스 컴퓨팅 평면을 통해 OAuth를 라우팅합니다.
- Azure Databricks 컴퓨팅(즉, 클러스터 및 SQL 웨어하우스)은 항상 클라우드에 배포되지만, Azure Databricks 컴퓨팅과 외부 데이터베이스 사이에 실행 가능한 네트워크 경로가 있는 한 외부 데이터베이스 시스템은 온-프레미스 또는 모든 클라우드 공급자에서 호스트될 수 있습니다.
- Azure Databricks 컴퓨팅 또는 외부 데이터베이스 시스템에 인바운드 또는 아웃바운드 네트워크 제한이 있는 경우 실행 가능한 네트워크 경로를 만드는 데 도움이 되는 일반적인 지침은 다음 섹션을 참조하세요.
Azure Databricks 작업 영역의 네트워킹에 대한 자세한 내용은 네트워킹을 참조 하세요.
인터넷에서 모두 액세스할 수 있는 데이터베이스 시스템과 Azure Databricks의 컴퓨팅 기능
연결은 구성 없이 작동해야 합니다.
데이터베이스 시스템에 네트워크 액세스 제한이 있습니다.
외부 데이터베이스 시스템에 인바운드 또는 아웃바운드 네트워크 액세스 제한이 있고 인터넷에서 Azure Databricks 클러스터 또는 SQL 웨어하우스에 액세스할 수 있는 경우 클래식 컴퓨팅 리소스에서 연결하도록 다음 네트워크 솔루션 중 하나를 구성합니다.
Azure Databricks 컴퓨팅의 안정적인 출구 IP.
클래식 컴퓨팅 평면에서 부하 분산 장치, NAT 게이트웨이, 인터넷 게이트웨이 등을 사용하여 안정적인 IP 주소를 설정하고 Azure Databricks 컴퓨팅이 배포된 서브넷에 연결합니다. 이렇게 하면 컴퓨팅 리소스가 외부 데이터베이스 쪽에서 허용 목록에 포함할 수 있는 안정적인 공용 IP 주소를 공유할 수 있습니다.
Private Link(외부 데이터베이스가 Azure Databricks 컴퓨팅과 동일한 클라우드에 있는 경우에만)
클래식 컴퓨팅 평면에서 데이터베이스가 배포된 네트워크와 Azure Databricks 컴퓨팅이 배포된 네트워크 간에 Private Link 연결을 구성합니다.
서버리스 컴퓨팅 평면에서 SQL Server 커넥터용 Azure Private Link가 지원됩니다. 프라이빗 엔드포인트 규칙 만들기를 참조하세요.
Azure Databricks 컴퓨팅에는 네트워크 액세스 제한이 있습니다.
인터넷에서 외부 데이터베이스 시스템에 액세스할 수 있고 Azure Databricks 컴퓨팅에 인바운드 또는 아웃바운드 네트워크 액세스 제한(고객 관리형 네트워크에 있는 경우에만 가능)이 있는 경우 다음 구성 중 하나를 수행합니다.
Azure Databricks 컴퓨팅이 배포된 서브넷의 방화벽 규칙에서 외부 데이터베이스의 호스트 이름을 허용 목록에 추가합니다.
호스트 이름이 아닌 외부 데이터베이스 IP 주소를 허용 목록에 추가하도록 선택한 경우 외부 데이터베이스에 안정적인 IP 주소가 있는지 확인합니다.
Private Link(외부 데이터베이스가 Azure Databricks 컴퓨팅과 동일한 클라우드에 있는 경우에만)
데이터베이스가 배포된 네트워크와 Azure Databricks 컴퓨팅이 배포된 네트워크 간에 Private Link 연결을 구성합니다.
Azure Databricks 컴퓨팅에 사용자 지정 DNS 서버가 있습니다.
외부 데이터베이스 시스템에 인터넷에서 액세스할 수 있고 Azure Databricks 컴퓨팅에 사용자 지정 DNS 서버(고객 관리형 네트워크에 있는 경우에만 가능)가 있는 경우 데이터베이스 시스템의 호스트 이름을 사용자 지정 DNS 서버에 추가하여 확인할 수 있습니다.
Snowflake 네트워킹 고려 사항
- Azure Databricks 컴퓨팅이 Snowflake OCSP 응답자에 연결할 수 없는 경우 인증서 유효성 검사 중에 연결 시도가 실패할 수 있습니다. Snowflake OCSP 응답자에게 아웃바운드 트래픽을 허용하는 것을 선호합니다.
제한된 아웃바운드 또는 프라이빗 연결 설정에서 해당 트래픽을 허용할 수 없는 경우
disableOCSPChecksSnowflake 연결 옵션을true로 설정하세요. 고급 연결 옵션을 참조하세요.