Поделиться через


Начало работы с Azure Data Lake Storage 1-го поколения с помощью Azure CLI

Примечание.

Azure Data Lake Storage Gen1 теперь выведено из эксплуатации. Ознакомьтесь с объявлением о выходе на пенсию здесь. Ресурсы Data Lake Storage Gen1 больше не доступны.

Узнайте, как использовать Azure CLI для создания учетной записи Azure Data Lake Storage 1-го поколения и выполнения основных операций, таких как создание папок, отправка и загрузка файлов данных, удаление вашей учетной записи и т. д. Дополнительные сведения о Data Lake Storage 1-го поколения см. в этой статье.

Azure CLI — это интерфейс командной строки Azure для управления ресурсами Azure. Его можно использовать в Windows, Linux и macOS. Дополнительные сведения см. в статье Обзор Azure CLI. Полный список команд и синтаксис см. в справочнике интерфейса командной строки Azure Data Lake Storage 1-го поколения.

Предварительные условия

Перед началом работы с этой статьей необходимо иметь следующее:

Проверка подлинности

В этой статье используется более простой подход к аутентификации с помощью службы Data Lake Storage первого поколения (Gen1), где вы входите как конечный пользователь. Уровень доступа к учетной записи Data Lake Storage 1-го поколения и файловой системе зависит от уровня доступа пользователя, который вошел в систему. Существуют разные способы аутентификации в Data Lake Storage 1-го поколения, включая аутентификацию пользователей и аутентификацию между службами. Инструкции и дополнительные сведения об аутентификации см. в разделах Аутентификация пользователей и Аутентификация между службами.

Вход в подписку Azure

  1. Войдите в подписку Azure.

    az login
    

    Получите код для использования на следующем шаге. Откройте браузер и перейдите на страницу https://aka.ms/devicelogin. Введите код аутентификации. Вам будет предложено выполнить вход с использованием учетных данных.

  2. После входа вы увидите список всех подписок Azure, связанных с вашей учетной записи. Чтобы выбрать определенную подписку, выполните следующую команду.

    az account set --subscription <subscription id> 
    

Создание учетной записи Azure Data Lake Storage 1-го поколения

  1. Создание группы ресурсов В следующей команде укажите значения параметров, которые требуется использовать. Если имя расположения содержит пробелы, заключите его в кавычки. Например, "East US 2".

    az group create --location "East US 2" --name myresourcegroup
    
  2. Создайте учетную запись Data Lake Storage 1-го поколения.

    az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup
    

Создание папок в учетной записи Data Lake Storage 1-го поколения

Чтобы хранить данные и управлять ими, вы можете создать папки в своей учетной записи Azure Data Lake Storage 1-го поколения. Используйте следующую команду, чтобы создать папку с именем mynewfolder в корневом каталоге Data Lake Storage 1-го поколения.

az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder

Примечание.

Команда создаст папку, используя параметр --folder. Если этот параметр отсутствует, команда создаст пустой файл с именем mynewfolder в корневом каталоге учетной записи Data Lake Storage 1-го поколения.

Отправка данных в учетную запись Data Lake Storage 1-го поколения

Вы можете передавать данные в Data Lake Storage Gen1 непосредственно в корневой каталог или в папку, созданную в учетной записи. Фрагменты кода ниже показывают, как передать некоторые примеры данных в папку (mynewfolder), которая была создана в предыдущем шаге.

Если вы ищете пример данных для загрузки, можно получить папку Ambulance Data из репозитория Git озера данных Azure. Скачайте файл и сохраните его в локальном каталоге на компьютере, например C:\sampledata.

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Примечание.

Укажите полный путь в качестве назначения, включая имя файла.

Список файлов в учетной записи Data Lake Storage 1-го поколения.

Чтобы вывести список файлов в учетной записи Data Lake Storage 1-го поколения, используйте следующую команду.

az dls fs list --account mydatalakestoragegen1 --path /mynewfolder

Результат должен быть аналогичен следующему:

[
    {
        "accessTime": 1491323529542,
        "aclBit": false,
        "blockSize": 268435456,
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "length": 1589881,
        "modificationTime": 1491323531638,
        "msExpirationTime": 0,
        "name": "mynewfolder/vehicle1_09142014.csv",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "pathSuffix": "vehicle1_09142014.csv",
        "permission": "770",
        "replication": 1,
        "type": "FILE"
    }
]

Переименование, скачивание и удаление данных из учетной записи Data Lake Storage 1-го поколения

  • Чтобы переименовать файл, используйте следующую команду:

    az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csv
    
  • Чтобы загрузить файл, используйте следующую команду. Убедитесь, что указанный конечный путь уже существует.

    az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"
    

    Примечание.

    Команда создаст целевую папку, если она не существует.

  • Чтобы удалить файл, используйте следующую команду:

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csv
    

    Если вы хотите удалить папку mynewfolder и файл vehicle1_09142014_copy.csv с помощью одной команды, используйте параметр --recurse.

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse
    

Работа с разрешениями и списками управления доступом для учетной записи Azure Data Lake Storage 1-го поколения

Из этого раздела вы узнаете, как управлять списками ACL и разрешениями с помощью Azure CLI. Подробные сведения о реализации списков ACL в Azure Data Lake Storage 1-го поколения см. в статье Контроль доступа в Azure Data Lake Storage 1-го поколения.

  • Чтобы обновить владельца файла или папки, используйте следующую команду:

    az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323
    
  • Чтобы обновить разрешения для файла или папки, используйте следующую команду:

    az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777
    
  • Чтобы получить списки ACL для определенного пути, используйте следующую команду:

    az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv
    

    Результат выполнения должен быть аналогичен следующему:

    {
        "entries": [
        "user::rwx",
        "group::rwx",
        "other::---"
        ],
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "permission": "770",
        "stickyBit": false
    }
    
  • Чтобы создать запись для ACL, используйте следующую команду:

    az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-
    
  • Чтобы удалить запись для ACL, используйте следующую команду:

    az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323
    
  • Чтобы удалить весь стандартный список ACL, используйте следующую команду:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-acl
    
  • Чтобы удалить весь несистемный список управления доступом (ACL), используйте следующую команду:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder
    

Удаление учетной записи Data Lake Storage 1-го поколения

Чтобы удалить учетную запись Data Lake Storage 1-го поколения, используйте следующую команду.

az dls account delete --account mydatalakestoragegen1

При появлении запроса введите Y , чтобы удалить учетную запись.

Следующие шаги