Поделиться через

Использование URI в Azure Data Lake Storage Gen2

  • Статья

Драйвер файловой системы Hadoop, совместимый с Azure Data Lake Storage 2-го поколения, обозначается идентификатором схемы abfs (файловая система BLOB-объектов Azure). В соответствии с другими драйверами файловой системы Hadoop драйвер ABFS использует формат URI для обращения к файлам и каталогам в учетной записи с поддержкой Data Lake Storage 2-го поколения.

Синтаксис URI

Драйвер файловой системы BLOB-объектов Azure можно использовать с конечной точкой Data Lake Storage учетной записи, даже если в этой учетной записи не включено иерархическое пространство имен. Если учетная запись хранения не имеет иерархического пространства имен, то сокращенный синтаксис URI:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Scheme identifier (Идентификатор схемы) — указывает протокол abfs. При добавлении в s конце (abfss) драйвер клиента ABFS Hadoop всегда будет использовать протокол TLS независимо от выбранного метода проверки подлинности. Если вы выберете OAuth в качестве проверки подлинности, драйвер клиента всегда будет использовать TLS, даже если вы укажете abfs вместо abfss , так как OAuth использует только уровень TLS. Наконец, если вы решили использовать старый метод ключа учетной записи хранения, драйвер клиента интерпретирует abfs как означает, что вы не хотите использовать TLS.

  2. File system (Файловая система) — указывает на родительское расположение, в котором хранятся все файлы и папки. Это то же самое, что и контейнеры в службе BLOB-объектов службы хранилища Azure.

  3. Account name (Имя учетной записи) — содержит имя, которое вы присвоили учетной записи хранения при ее создании.

  4. Paths (Пути) — содержит представление структуры каталогов, в котором сегменты разделяются косыми чертами (/).

  5. File Name (Имя файла) — содержит имя конкретного файла. Этот параметр является необязательным, если вы обращаетесь к каталогу.

Однако если учетная запись, к которой вы хотите обратиться, имеет иерархическое пространство имен, то синтаксис сокращенного URI:

/<path>1/<file_name>2

  1. Path (Путь) — содержит представление структуры каталогов, в котором сегменты разделяются косыми чертами (/).

  2. File Name (Имя файла) — содержит имя конкретного файла.

Дальнейшие действия