Cloudflare R2에 연결하기 위한 스토리지 자격 증명 만들기
이 문서에서는 Cloudflare R2에 연결하기 위해 Unity 카탈로그에서 스토리지 자격 증명을 만드는 방법을 설명합니다. Cloudflare R2 개체 스토리지에는 송신 비용이 발생하지 않습니다. R2에 공유하는 데이터를 복제하거나 마이그레이션하면 송신 비용 없이 클라우드 및 지역 간에 데이터를 공유할 수 있습니다.
참고 항목
Unity Catalog는 Azure Databricks에 대한 두 가지 클라우드 스토리지 옵션인 Azure Data Lake Storage Gen2 컨테이너 및 Cloudflare R2 버킷을 지원합니다. Cloudflare R2는 클라우드 공급자 데이터 송신 요금을 방지하려는 델타 공유 사용 사례에 주로 사용됩니다. Azure Data Lake Storage Gen2는 대부분의 다른 사용 사례에 적합합니다. 공급자의 경우 델타 공유 송신 비용 모니터링 및 관리 및 Azure Data Lake Storage Gen2에 연결하기 위한 스토리지 자격 증명 만들기를 참조하세요.
Unity 카탈로그에서 관리하는 데이터의 스토리지 위치로 R2 버킷을 사용하려면 R2 버킷에 대한 액세스 권한을 부여하는 스토리지 자격 증명을 만들고 스토리지 자격 증명 및 버킷 경로를 참조하는 외부 위치를 만들어야 합니다.
- 스토리지 자격 증명은 클라우드 스토리지에 대한 액세스를 제공하는 장기 클라우드 자격 증명을 캡슐화합니다.
- 외부 위치에는 스토리지 자격 증명 및 클라우드 스토리지 경로에 대한 참조가 포함됩니다.
이 문서에서는 스토리지 자격 증명을 만드는 데 중점을 둡니다.
자세한 내용은 Unity 카탈로그를 사용하여 클라우드 스토리지에 대한 액세스 관리를 참조 하세요.
요구 사항
Unity 카탈로그를 사용하도록 설정된 Databricks 작업 영역.
Databricks Runtime 14.3 이상 또는 SQL Warehouse 2024.15 이상
오류 메시지가
No FileSystem for scheme "r2”표시되면 컴퓨팅이 지원되지 않는 버전에 있는 것일 수 있습니다.Cloudflare 계정. https://dash.cloudflare.com/sign-up을 참조하세요.
Cloudflare R2 관리자 역할. Cloudflare 역할 설명서를 참조하세요.
작업 영역에 연결된 Unity 카탈로그 메타스토어에 대한
CREATE STORAGE CREDENTIAL권한 계정 관리자 및 메타스토어 관리자는 기본적으로 이러한 권한을 가집니다.
R2 버킷 구성
Cloudflare R2 버킷을 만듭니다.
Cloudflare 대시보드 또는 Cloudflare 랭글러 도구를 사용할 수 있습니다.
R2 API 토큰을 만들고 버킷에 적용합니다.
Cloudflare R2 API 인증 설명서를 참조하세요.
다음 토큰 속성을 설정합니다.
사용 권한: 개체 읽기 및 쓰기.
이 권한은 Cloudflare R2 복제본 사용 또는 R2로 스토리지 마이그레이션에 설명된 대로 R2 스토리지를 복제 대상으로 사용할 때 필요한 읽기 및 쓰기 액세스 권한을 부여합니다.
Azure Databricks에서 R2 버킷으로 읽기 전용 액세스를 적용하려는 경우 읽기 권한만 부여하는 토큰을 대신 만들 수 있습니다. 그러나 스토리지 자격 증명을 읽기 전용으로 표시할 수 있고 이 권한으로 부여된 쓰기 액세스는 무시되므로 불필요할 수 있습니다.
(선택 사항) TTL: 버킷 데이터를 데이터 받는 사람과 공유하려는 시간입니다.
(선택 사항) 클라이언트 IP 주소 필터링: 지정된 받는 사람 IP 주소로 네트워크 액세스를 제한할지 선택합니다. 이 옵션을 사용하는 경우 받는 사람의 IP 주소를 지정해야 하며 작업 영역 영역에 대한 Databricks 컨트롤 플레인 NAT IP 주소를 허용 목록에 추가해야 합니다.
Azure Databricks 컨트롤 플레인 주소를 참조 하세요.
R2 API 토큰 값을 복사합니다.
- 액세스 키 ID
- 비밀 액세스 키
Important
토큰 값은 한 번만 표시됩니다.
R2 홈페이지에서 계정 세부 정보로 이동하여 R2 계정 ID를 복사합니다.
스토리지 자격 증명 만들기
Azure Databricks에서 작업 영역에 로그인합니다.
카탈로그를 클릭합니다.빠른 액세스 페이지에서 외부 데이터 > 단추를 클릭하고 자격 증명 탭으로 이동하여 자격 증명 만들기를 선택합니다.
스토리지 자격 증명을 선택합니다.
Cloudflare API 토큰의 자격 증명 유형을 선택합니다.
R2 버킷을 구성할 때 복사한 자격 증명의 이름과 다음 값을 입력합니다.
- 계정 ID
- 액세스 키 ID
- 비밀 액세스 키
(선택 사항) 사용자가 이 스토리지 자격 증명을 사용하는 외부 위치에 대한 읽기 전용 액세스 권한을 갖도록 하려면 고급 옵션에서 읽기 전용을 선택합니다.
Cloudflare R2 복제본 사용 또는 R2로 스토리지 마이그레이션에 설명된 대로 스토리지 자격 증명을 사용하여 복제 대상으로 사용하는 R2 스토리지에 액세스하려면 이 옵션을 선택하지 마세요.
자세한 내용은 스토리지 자격 증명을 읽기 전용으로 표시를 참조하세요.
만들기를 클릭합니다.
스토리지 자격 증명 생성 대화 상자에서 외부 ID를 복사합니다.
(선택 사항) 스토리지 자격 증명을 특정 작업 영역에 바인딩합니다.
기본적으로 메타스토어에 연결된 모든 작업 영역에서 권한 있는 사용자가 스토리지 자격 증명을 사용할 수 있습니다. 특정 작업 영역에서만 액세스를 허용하려면 작업 영역 탭으로 이동하여 작업 영역을 할당합니다. (선택 사항) 특정 작업 영역에 스토리지 자격 증명 할당을 참조 하세요.