구조적 스트리밍과 함께 Unity 카탈로그 사용

Unity 카탈로그에 구조적 스트리밍을 사용하여 Azure Databricks에서 증분 및 스트리밍 워크로드에 대해 데이터 거버넌스를 관리합니다. 이 문서에서는 지원되는 기능을 간략하게 설명하고 Unity 카탈로그 및 구조적 스트리밍을 함께 사용하기 위한 모범 사례를 제안합니다.

Unity 카탈로그에서 지원하는 구조적 스트리밍 기능은 무엇인가요?

Unity 카탈로그는 Azure Databricks에서 사용할 수 있는 구조적 스트리밍 원본 및 싱크에 대해 명시적 제한을 추가하지 않습니다. Unity 카탈로그 데이터 거버넌스 모델을 사용하면 Unity 카탈로그의 관리 테이블 및 외부 테이블에서 데이터를 스트리밍할 수 있습니다. Unity 카탈로그에서 관리되는 외부 위치를 사용하고 개체 스토리지 URI를 사용해서 데이터와 상호 작용할 수도 있습니다. 테이블 이름 또는 파일 경로를 사용하여 외부 테이블에 쓸 수 있습니다. 테이블 이름을 사용하여 Unity 카탈로그에서 관리되는 테이블과 상호 작용해야 합니다.

구조적 스트리밍 체크포인트의 경로를 지정할 때 Unity 카탈로그에서 관리되는 외부 위치를 사용합니다. Unity 카탈로그를 사용하여 스토리지를 안전하게 연결하는 방법에 대한 자세한 내용은 Unity 카탈로그를 사용하여 클라우드 개체 스토리지에 커넥트 참조하세요.

구조적 스트리밍 기능 지원은 실행 중인 Databricks 런타임 버전과 할당된 클러스터 액세스 모드 또는 공유 클러스터 액세스 모드를 사용하는지 여부에 따라 다릅니다. 자세한 내용은 Unity 카탈로그의 스트리밍 제한을 참조 하세요.

Unity 카탈로그에서 구조적 스트리밍을 사용하는 엔드투엔드 데모는 자습서: 엔드투엔드 레이크하우스 분석 파이프라인 실행을 참조하세요.

Unity 카탈로그에서 지원되지 않는 구조적 스트리밍 기능은 무엇인가요?

Unity 카탈로그에서 지원되지 않는 구조적 스트리밍 기능 목록은 Unity 카탈로그의 스트리밍 제한을 참조하세요.