Управление Azure Data Lake Analytics с помощью портала Azure

Статья
12/20/2023

Важно!

Новые учетные записи azure Data Lake Analytics больше нельзя создавать, если ваша подписка не включена. Если вам нужно включить подписку, обратитесь в службу поддержки и предоставьте свой бизнес-сценарий.

Если вы уже используете azure Data Lake Analytics, необходимо создать план миграции для Azure Synapse Analytics для вашей организации до 29 февраля 2024 г.

В этой статье описано, как управлять учетными записями, источниками данных, пользователями и заданиями Azure Data Lake Analytics с помощью портала Azure.

Управление учетными записями Data Lake Analytics

Создание учетной записи

Войдите на портал Azure.
Выберите Создать ресурс и найдите Data Lake Analytics.
Выберите значения для следующих параметров:
1. Имя: имя учетной записи Data Lake Analytics.
2. Подписка: подписка Azure, которая используется для учетной записи.
3. Группа ресурсов: группа ресурсов Azure, в которой создается учетная запись.
4. Расположение: центр обработки данных Azure для учетной записи Data Lake Analytics.
5. Data Lake Store: хранилище по умолчанию для учетной записи Data Lake Analytics. Учетная запись Azure Data Lake Store и учетная запись Data Lake Analytics должны находиться в одном расположении.
Нажмите кнопку создания.

Удаление учетной записи Data Lake Analytics

Перед удалением учетной записи Data Lake Analytics необходимо удалить учетную запись Data Lake Store по умолчанию.

На портале Azure выберите свою учетную запись Data Lake Analytics.
Выберите команду Удалить.
Введите имя учетной записи.
Выберите команду Удалить.

Управление источниками данных

Data Lake Analytics в настоящее время поддерживает следующие источники данных:

Data Lake Storage
Хранилище Azure

Вы можете использовать обозреватель данных для просмотра источников данных и выполнения основных операций управления файлами.

Добавление источника данных

На портале Azure выберите свою учетную запись Data Lake Analytics.
Выберите Обозреватель данных.
Выберите команду Добавить источник данных.
- Чтобы добавить учетную запись Data Lake Store, требуется имя учетной записи и доступ к учетной записи, чтобы отправить ей запрос.
- Чтобы добавить хранилище BLOB-объектов Azure, требуется учетная запись хранения и ключ учетной записи. Чтобы найти их, перейдите к учетной записи хранения на портале и выберите Ключи доступа.

Настройка правил брандмауэра

Data Lake Analytics позволяет дополнительно блокировать доступ к учетной записи Data Lake Analytics на уровне сети. Вы можете включить брандмауэр, указать IP-адрес или определить диапазон IP-адресов для доверенных клиентов. После этого к хранилищу смогут подключаться только клиенты с IP-адресами из определенного диапазона.

Если другие службы Azure, например Azure Data Factory или виртуальные машины, будут подключаться к учетной записи Data Lake Analytics, убедитесь, что для параметра Разрешить использование служб Azure установлено значение Вкл.

Настройка правила брандмауэра.

На портале Azure выберите свою учетную запись Data Lake Analytics.
В меню слева выберите Брандмауэр.

Добавление нового пользователя

С помощью мастера добавления пользователей можно легко создавать новых пользователей Data Lake.

На портале Azure выберите свою учетную запись Data Lake Analytics.
Слева в разделе начало работы выберите Мастер добавления пользователей.
Выберите пользователя и нажмите кнопку Выбрать.
Выберите роль и нажмите кнопку Выбрать. Чтобы добавить нового разработчика в Azure Data Lake, выберите роль Разработчик Data Lake Analytics.
Выберите списки управления доступом для баз данных U-SQL. Когда вы будете удовлетворены выбранными вариантами, нажмите кнопку Выбрать.
Выберите списки управления доступом для файлов. Чтобы использовать хранилище по умолчанию, не изменяйте списки управления доступом для корневой папки "/" и для папки /system. нажмите кнопку Выбрать.
Просмотрите все выбранные изменения и нажмите кнопку Выполнить.
Когда мастер завершит работу, нажмите кнопку Готово.

Управление контролем доступа на основе ролей в Azure

Как и другие службы Azure, вы можете использовать управление доступом на основе ролей (Azure RBAC) для управления тем, как пользователи взаимодействуют со службой.

Стандартные роли Azure имеют следующие возможности:

Владелец: может отправлять и отслеживать задания, отменять задания от любого пользователя, а также настраивать учетные записи.
Участник: может отправлять и отслеживать задания, отменять задания для любого пользователя, а также настраивать учетные записи.
Читатель: может отслеживать задания.

Чтобы предоставить разработчикам доступ к U-SQL для использования службы Data Lake Analytics, используйте роль "Разработчик Data Lake Analytics". Роль "Разработчик Data Lake Analytics" можно использовать для:

отправки заданий;
отслеживания состояния и хода выполнения отправленных пользователями заданий;
просмотра скриптов U-SQL в отправленных пользователями заданиях;
отмены собственных заданий.

Добавление пользователей или групп безопасности к учетной записи Data Lake Analytics

На портале Azure выберите свою учетную запись Data Lake Analytics.
Выберите Управление доступом (IAM) .
Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу Добавление назначения ролей.
Назначьте роль пользователю. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

Примечание

Если пользователю или группе безопасности требуется отправлять задания, они также должны иметь разрешение в учетной записи хранения. Дополнительные сведения см. в статье Защита данных, хранимых в Azure Data Lake Store.

Управление заданиями

Отправка задания

На портале Azure выберите свою учетную запись Data Lake Analytics.
Выберите Создать задание. Для каждого задания настройте:
1. Имя задания: имя задания.
2. Приоритет. Этот параметр находится в разделе Дополнительные параметры. Чем меньше число, тем выше приоритет. Если два задания поставлены в очередь, первым выполняется задание с более низким приоритетом.
3. AUS. Максимальное количество единиц аналитики или вычислительных процессов, которые необходимо зарезервировать для этого задания.
4. Среда выполнения: также в разделе Дополнительные параметры. Выберите среду выполнения по умолчанию, если вы не получили пользовательскую среду выполнения.
Добавьте скрипт.
Выберите Отправить задание.

Мониторинг заданий

На портале Azure выберите свою учетную запись Data Lake Analytics.
Выберите Просмотреть все задания в верхней части страницы. Отобразится список всех активных и недавно завершенных заданий в учетной записи.
При необходимости выберите Фильтр , чтобы найти задания по диапазону времени, состоянию, имени задания, идентификатору задания, имени конвейера или идентификатору конвейера, имени повторения или идентификатора повторения и значениям автора .

Отслеживание заданий конвейера

Задания конвейера определенного сценария выполнятся совместно в последовательном порядке. Например, вы можете иметь конвейер, который очищает, извлекает, преобразует и содержит статистические данные, используемые при работе с клиентами. Задания конвейера определяются с помощью свойства Pipeline при отправке задания. В заданиях, запланированных с помощью ADF V2, эти свойства заполняются автоматически.

Чтобы просмотреть список заданий U-SQL конвейера, сделайте следующее:

На портале Azure перейдите к своим учетным записям Data Lake Analytics.
Выберите Аналитика заданий. По умолчанию на вкладке "Все задания" можно просмотреть список выполняющихся и завершенных заданий, а также заданий, поставленных в очередь.
Перейдите на вкладку Задания конвейера . Отобразится список заданий конвейера вместе со сводной статистикой для каждого конвейера.

Отслеживание повторяющихся заданий

Повторяющиеся задания — это задания, которые имеют одинаковую бизнес-логику, но используют разные входные данные при каждом запуске. В идеале повторяющиеся задания должны всегда выполняться успешно и иметь относительно стабильное время выполнения. Отслеживание этого поведения поможет обеспечить работоспособность задания. Повторяющиеся задания определяются с помощью свойства Recurrence. В заданиях, запланированных с помощью ADF V2, эти свойства заполняются автоматически.

Чтобы просмотреть список повторяющихся заданий U-SQL, сделайте следующее:

На портале Azure перейдите к своим учетным записям Data Lake Analytics.
Выберите Аналитика заданий. По умолчанию на вкладке "Все задания" можно просмотреть список выполняющихся и завершенных заданий, а также заданий, поставленных в очередь.
Перейдите на вкладку Повторяющиеся задания . Отобразится список повторяющихся заданий вместе со сводной статистикой для каждого повторяющегося задания.