Azure Data Lake Storage Gen2 URI 사용

  • 아티클

Azure Data Lake Storage Gen2와 호환되는 Hadoop 파일 시스템 드라이버는 해당 체계 식별자 abfs(Azure Blob 파일 시스템)로 인식됩니다. 다른 Hadoop 파일 시스템 드라이버와 일치하는 ABFS 드라이버는 Data Lake Storage Gen2 지원 계정 내에서 파일 및 디렉터리의 주소를 지정하기 위해 URI 형식을 사용합니다.

URI 구문

Azure Blob File System 드라이버는 해당 계정에 계층 구조 네임스페이스를 사용하도록 설정하지 않은 경우에도 계정의 Data Lake Storage 엔드포인트와 함께 사용할 수 있습니다. 스토리지 계정에 계층 구조 네임스페이스가 없는 경우 약식 URI 구문은 다음과 같습니다.

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. 체계 식별자: abfs 프로토콜이 체계 식별자로 사용됩니다. 끝에 s를 추가하면(abfss) ABFS Hadoop 클라이언트 드라이버가 선택한 인증 방법에 관계없이 항상 TLS(전송 계층 보안)를 사용합니다. OAuth를 인증으로 선택하는 경우 OAuth가 TLS 계층만 사용하므로 abfss 대신 abfs를 지정하는 경우에도 클라이언트 드라이버는 항상 TLS를 사용합니다. 마지막으로, 스토리지 계정 키의 이전 메서드를 사용하도록 선택하는 경우 클라이언트 드라이버는 TLS를 사용하지 않으려는 것으로 abfs를 해석합니다.

  2. 파일 시스템: 파일 및 폴더를 포함하는 부모 위치입니다. Azure Storage Blob 서비스의 컨테이너와 동일합니다.

  3. 계정 이름: 만드는 동안 스토리지 계정에 지정된 이름입니다.

  4. 경로: 디렉터리 구조의 슬래시 구분 기호(/) 표시입니다.

  5. 파일 이름: 개별 파일의 이름입니다. 이 매개 변수는 디렉터리의 주소를 지정하는 경우, 선택 사항입니다.

그러나 주소 지정하려는 계정에 계층 구조 네임스페이스가 있는 경우 약식 URI 구문은 다음과 같습니다.

/<path>1/<file_name>2

  1. 경로: 디렉터리 구조의 슬래시 구분 기호(/) 표시입니다.

  2. 파일 이름: 개별 파일의 이름입니다.

다음 단계