다음을 통해 공유

레이크하우스 페더레이션이란?

레이크하우스 페더레이션은 Databricks에 대한 쿼리 페더레이션 플랫폼입니다. 쿼리 페더레이션이라는 용어는 모든 데이터를 통합 시스템으로 마이그레이션할 필요 없이 사용자와 시스템이 여러 데이터 원본에 대해 쿼리를 실행할 수 있도록 하는 기능 컬렉션을 설명합니다.

페더레이션에는 쿼리 페더레이션과 카탈로그 페더레이션의 두 가지 유형이 있습니다. 이 페이지에서는 형식 간의 차이점을 다룹니다.

카탈로그 페더레이션과 비교한 쿼리 페더레이션

다음 표에서는 쿼리 페더레이션과 카탈로그 페더레이션 간의 주요 차이점을 요약합니다.

Attribute 쿼리 페더레이션 카탈로그 페더레이션
쿼리 경로 Unity 카탈로그 쿼리는 JDBC를 사용하여 외부 데이터베이스로 푸시다운됩니다. 쿼리는 Databricks에서 실행되고 원격 컴퓨팅을 사용합니다. Unity 카탈로그 쿼리는 개체 스토리지의 외세 테이블에 직접 액세스합니다. 카탈로그 페더레이션은 카탈로그 및 스토리지 서비스에 대한 직접 액세스를 지원하는 플랫폼에 사용할 수 있습니다. 쿼리는 Databricks 컴퓨팅에서만 실행되므로 카탈로그 페더레이션이 쿼리 페더레이션보다 비용 효율적이고 성능 최적화가 더 효율적입니다.
사용 사례
  • 외부 데이터베이스에 저장된 운영 데이터에 대한 임시 보고 또는 개념 증명 액세스가 필요합니다.
  • 데이터 이동을 최소화하고 외부 시스템에 대한 라이브 액세스를 유지하려고 합니다.

원본이 레이크하우스 페더레이션 및 Lakeflow Connect를 모두 지원하는 경우 Databricks는 더 높은 데이터 볼륨과 낮은 대기 시간에 대한 성능이 우선 순위인 경우 Lakeflow Connect를 권장합니다.
  • Unity 카탈로그로 마이그레이션하고 있지만 외부 카탈로그에서 관리되는 데이터를 순차적으로 통합해야 합니다.
  • 일부 데이터가 외부 카탈로그에 유지되고 일부 데이터가 Unity 카탈로그에서 관리되는 장기 하이브리드 모델을 원합니다.
단계 개요
  • 액세스 자격 증명 및 JDBC URL을 사용하여 Unity 카탈로그에서 연결을 만듭니다.
  • 연결을 사용하여 외국 카탈로그를 만듭니다.
  • 외신 카탈로그의 테이블에 대한 권한을 사용자에게 부여합니다.
  • 쿼리를 실행합니다. 이러한 항목은 외부 데이터베이스로 푸시다운됩니다.
  • 외부 카탈로그에 액세스하기 위한 연결을 Unity 카탈로그에 만듭니다.
  • 테이블 경로에 대한 스토리지 자격 증명 및 외부 위치를 만듭니다.
  • 연결과 외부 위치를 사용하여 외부 카탈로그를 만듭니다.
  • 외신 카탈로그의 테이블에 대한 권한을 사용자에게 부여합니다.
  • 쿼리를 실행합니다. 오브젝트 스토리지를 대상으로 직접 실행됩니다.

지원되는 데이터 원본

쿼리 페더레이션을 사용하여 다음 원본에 연결합니다.

카탈로그 페더레이션을 사용하여 다음 원본에 연결합니다.

추가 리소스

  • Last updated on