Создание политик вычислений и управление ими

В этой статье объясняется, как создавать политики и управлять ими в рабочей области. Сведения о написании определений политик см. в справочнике по политикам вычислений.

Примечание.

Для использования политик требуется план Premium.

Что такое политики вычислений?

Политика — это инструмент, который администраторы рабочей области могут использовать для ограничения разрешений пользователя или группы на создание вычислительных ресурсов на основе набора правил политики.

Политики предоставляют следующие преимущества:

• Ограничить пользователей созданием кластеров с заданными параметрами.
• Ограничить пользователей созданием определенного количества кластеров.
• Упрощение пользовательского интерфейса и предоставление пользователям возможности создавать собственные кластеры (исправляя и скрывая некоторые значения).
• Управление затратами путем ограничения максимальной стоимости для кластера (задав ограничения на атрибуты, значения которых способствуют почасовой цене).
• Применение инсталляций библиотек в пределах кластера.

Создание политики

Примечание.

Эти инструкции используют пользовательский интерфейс политики, который позволяет настраивать определения политик с помощью раскрывающихся меню и других элементов пользовательского интерфейса. Можно также изменить полное определение политики в формате JSON. Дополнительные сведения см. в разделе "Настройка определений политик с помощью элементов пользовательского интерфейса".

Чтобы создать политику, выполните следующие действия.

1. Щелкните "Вычисления" на боковой панели.
2. Перейдите на вкладку "Политики ".
3. Щелкните Create policy (Создать политику).
4. Присвойте этой политике имя. Имена политик регистронезависимы.
5. При необходимости выберите семейство политик из раскрывающегося списка Family. Это определяет шаблон, из которого вы создаете политику.
6. Введите описание политики. Это помогает другим пользователям знать цель политики.
7. В разделе "Дополнительные параметры" можно указать тип кластера, максимальное количество вычислительных ресурсов на пользователя и максимальное количество баз данных в час.
8. На вкладке "Определения" добавьте новые определения или измените унаследованные определения. Добавьте правила JSON в раздел "Дополнительные параметры " или нажмите кнопку "Изменить определение в формате JSON ", чтобы изменить все определение политики в формате JSON.
9. В разделе "Теги" определите правила для пользовательских тегов
10. На вкладке "Библиотеки" добавьте любые библиотеки, предназначенные для вычислительных ресурсов, которые вы хотите установить на вычислительных ресурсах. См. раздел "Добавление библиотек в политику".
11. Нажмите кнопку Создать.

Чтобы обновить разрешения политики, откройте страницу обзора политики и щелкните "Просмотреть все разрешения ", чтобы открыть модальные разрешения.

Использование группы политик

При создании политики можно выбрать одну из доступных семейств политик. Семейства политик Azure Databricks предоставляются шаблонами политик с предварительно заполненными правилами, предназначенными для решения распространенных вариантов использования вычислений.

При использовании семейства политик правила вашей политики наследуются от него. Выбрав семейство политик, вы можете создать политику как есть или добавить правила или переопределить заданные правила. Дополнительные сведения о семействах политик см. в разделе "Политики по умолчанию" и "Семейства политик".

Добавление библиотек в политику

Вы можете добавлять библиотеки в политику, чтобы библиотеки автоматически устанавливались на вычислительные ресурсы. В политику можно добавить не более 500 библиотек.

Примечание.

Возможно, вы ранее добавили библиотеки с областью вычислений с помощью скриптов инициализации. Databricks рекомендует использовать политики вычислений вместо скриптов инициализации для установки библиотек.

Чтобы добавить библиотеку в политику, выполните следующие действия.

1. В нижней части страницы "Создать политику " щелкните вкладку "Библиотеки ".

2. Нажмите кнопку "Добавить библиотеку".

3. Выберите один из вариантов источника библиотеки , а затем следуйте инструкциям, описанным ниже.

   Источник библиотеки	Инструкции
   Рабочая область	Выберите файл рабочей области или отправьте файл Whl, zipped wheelhouse (с расширением *.wheelhouse.whl), JAR, ZIP, tar или requirements.txt. См. статью "Установка библиотек из файлов рабочей области"
   тома	Выберите Whl, JAR или requirements.txt файл из тома. См. статью "Установка библиотек из тома".
   Путь к файлу/ADLS	Выберите тип библиотеки и укажите полный URI для объекта библиотеки (например, abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). См. статью "Установка библиотек из хранилища объектов".
   PyPI	Введите имя пакета PyPI. Смотрите пакет PyPI.
   Maven	Укажите координату Maven. См. пакет Maven или Spark.
   КРАН	Введите имя пакета. См. пакет CRAN.
   DBFS (не рекомендуется)	Загрузите JAR-файл или Whl в корневой каталог DBFS. Это устаревший и не рекомендованный шаблон.

4. Нажмите кнопку Добавить.

Эффект добавления библиотек в политики

При добавлении библиотек в политику:

• Пользователи не могут устанавливать или удалять библиотеки с ограничением вычислений на вычислительных ресурсах, которые используют эту политику.
• Библиотеки, настроенные с помощью пользовательского интерфейса, REST API или CLI на существующих вычислительных ресурсах, удаляются при следующем перезапуске вычислений.
• Библиотеки зависимостей для задач, использующих эту политику в вычислительных ресурсах для заданий, отключены.

Разрешения политики

По умолчанию администраторы рабочей области имеют разрешения на все политики. Пользователи, не являющиеся администраторами, должны быть предоставлены разрешения на доступ к политике.

Если у пользователя есть неограниченные разрешения на создание кластера, у него также будет доступ к политике Без ограничений. Это позволяет им создавать полностью настраиваемые вычислительные ресурсы.

Если у пользователя нет доступа к каким-либо политикам, раскрывающийся список политики не отображается в пользовательском интерфейсе.

Ограничение количества вычислительных ресурсов для пользователей

Разрешения политики позволяют задать максимальное количество вычислительных ресурсов на пользователя. Это определяет, сколько ресурсов пользователь может создать с помощью этой политики. Если пользователь превышает ограничение, операция завершается ошибкой.

Чтобы ограничить количество ресурсов, которые пользователь может создать с помощью политики, введите значение в параметр "Максимальное количество вычислительных ресурсов для каждого пользователя " в разделе "Дополнительные параметры".

Примечание.

Azure Databricks не завершает ресурсы заранее для поддержания лимита. Если у пользователя есть три вычислительных ресурса, работающих с политикой, а администратор рабочей области сокращает ограничение до одного, три ресурса будут продолжать выполняться. Дополнительные ресурсы должны быть прекращены вручную для соблюдения лимита.

Управление политикой

После создания политики можно изменить, клонировать и удалить ее.

Вы также можете отслеживать внедрение политики, просматривая вычислительные ресурсы, использующие политику. На странице "Политики" щелкните политику, которую вы хотите просмотреть. Затем щелкните на вкладках Вычисления или Задачи, чтобы просмотреть список ресурсов, использующих политику.

Изменение политики

Может потребоваться изменить политику, чтобы обновить ее разрешения или определения. Чтобы изменить политику, выберите политику на странице "Политики", а затем щелкните Изменить.

После обновления определений политики вычислительные ресурсы, созданные с помощью этой политики, не обновляются автоматически с помощью новых определений политик. Вы можете обновить все или некоторые из этих вычислительных ресурсов с помощью принудительного применения политик. См. Обеспечение соблюдения политик.

Клонирование политики

Вы также можете использовать функцию клонирования для создания новой политики из существующей политики. Откройте политику, которую вы хотите клонировать, затем щелкните на и выберите кнопку "Клонировать". Затем измените все значения полей, которые требуется изменить, и щелкните Создать.

Удалить политику

Выберите политику на странице "Политики", а затем щелкните и нажмите кнопку "Удалить". Если вы хотите удалить политику, нажмите кнопку "Удалить еще раз".

Все вычислительные ресурсы, управляемые удаленной политикой, по-прежнему могут выполняться, но его нельзя изменить, если пользователь не имеет неограниченных разрешений на создание кластера.

Обеспечение соблюдения политики

После изменения политики вычислительные ресурсы, созданные с помощью этой политики, не обновляются автоматически, чтобы соответствовать новым правилам политики. Чтобы просмотреть список вычислительных ресурсов, управляемых политикой, щелкните политику в пользовательском интерфейсе, чтобы просмотреть все целевые вычисления и задания, использующие политику.

Эти списки также сообщают, не соответствуют ли вычислительные ресурсы текущим определениям политик.

Чтобы обновить вычислительные ресурсы для соблюдения политики, выполните следующие действия.

1. На странице "Политики" щелкните политику, которую вы обновили.

2. Просмотрите разделы "Все назначения " или " Задания ", чтобы просмотреть список ресурсов или заданий, использующих политику. Столбец соответствия требованиям показывает, какие ресурсы соответствуют текущим определениям политики.

3. Нажмите кнопку "Применить все ", чтобы обновить все вычислительные ресурсы в списке, которые не соответствуют требованиям. Вы также можете отдельно обновить вычислительные ресурсы, нажав кнопку "Применить " в строке ресурса.

4. Для всех целевых вычислений выберите способ применения обновлений:

   • Принудительное применение при следующем перезапуске (по умолчанию): планирует обновление конфигурации при следующем завершении или перезапуске вычислений. Выполнение рабочих нагрузок не прерывается. Только администраторы рабочей области могут планировать или отменять отложенное применение.
   • Перезапуск и принудительное применение. Немедленно перезапускает вычислительные ресурсы и применяет обновленную конфигурацию.

   Вычисления заданий всегда применяются немедленно, так как принудительное применение не требует завершения выполнения задания.

5. Нажмите кнопку "Применить" , чтобы сделать обновления. После завершения операции принудительного применения вы дается сводка о внесенных изменениях.

6. Нажмите кнопку Готово.

Примечание.

При применении соответствия политик атрибуты типа массива, такие как скрипты инициализации, соответствуют позиции индекса. Если политика определяет значение в заданной позиции, существующее значение на этой позиции заменяется. Замененное значение не перемещается в другую позицию в массиве. Чтобы просмотреть изменения перед применением, нажмите кнопку "Применить рядом с отдельным ресурсом", чтобы узнать, как будут обновлены его атрибуты.

Отменить запланированное принудительное применение

Администраторы рабочего пространства могут отменить ожидающие отложенные меры принудительного применения для универсальных вычислительных ресурсов:

• Чтобы отменить все ожидающие применения политики, нажмите Отменить все применения на странице сведений политики.
• Чтобы отменить ожидающее принудительное применение для одного вычислительного ресурса, откройте меню для этого вычислительного ресурса и выберите «Отменить ожидающее принудительное применение».

Если для вычислительного ресурса запланировано отложенное принудительное исполнение, на странице сведений о вычислительном ресурсе отображается метка Обновление запланировано при следующем перезапуске. Администраторы рабочей области могут отменить ожидающее принудительное применение на этой странице, щелкнув значок , а затем выбрав «Отменить ожидающее принудительное применение».

Обеспечьте соответствие требованиям на странице сведений о вычислительном ресурсе

Вычислительные ресурсы общего назначения, не соответствующие требованиям, помечаются меткой Не соответствует требованиям в пользовательском интерфейсе сведений о вычислительном ресурсе. Пользователи с разрешением CAN MANAGE для вычислительного ресурса могут запланировать принудительное применение на этой странице, щёлкнув и затем выбрав «Исправить соответствие требованиям».

Добавить вычисления в политику

Примечание.

Вы должны быть администратором рабочего пространства, чтобы добавить вычислительные функции в политику.

Вы можете применить политику к множеству существующих универсальных вычислительных ресурсов одновременно на странице деталей политики. Использование этой функции назначает политику каждому выбранному вычислительному ресурсу и обновляет конфигурацию каждого вычислительного устройства в соответствии с этой политикой.

Чтобы добавить вычислительный ресурс в политику, нажмите значок , затем выберите «Добавить вычислительный ресурс в политику».

Это открывает модаль «Добавить вычисление в политику », который проводит вас через три шага.

Выбор вычислений

Выберите универсальные вычислительные ресурсы для добавления в политику. Список поддерживает поиск, фильтрацию и пагинацию, а выбранные элементы сохраняются при переходе между страницами и применении фильтров. Вы можете выбрать вычислительный ресурс только если он находится в состоянии Running или Terminated и не использует политику.

Выберите хотя бы один вычислительный ресурс, затем нажмите «Предварительный просмотр изменений».

Просмотр изменений

Этап предварительного просмотра обобщает изменения до того, как что-либо будет применено:

• Вычисление выбрано и будет обновлено, показывает, сколько вычислительных ресурсов вы выбрали и сколько изменятся. Если не удастся создать какие-либо предпросмотры, Не удалось выполнить предпросмотр показывает, сколько их.
• Поля, которые будут меняться , перечисляют каждое изменённое поле конфигурации, его новое значение и затронутые вычислительные ресурсы. Если изменения не требуются, шаг показывает « Нет изменений в конфигурации».

Предупреждение

Если вы выбираете любой текущий вычислительный компонент, применение политики перезапускает вычисления, чтобы политика могла вступить в силу. Шаг предварительного просмотра предупреждает, сколько запущенных вычислительных ресурсов будет перезапущено. Нет опции пропустить перезагрузку.

Чтобы продолжить, нажмите «Применить политику». Чтобы изменить выбор, нажмите «Назад».

Применение политики

Шаг Apply применяет политику к каждому выбранному вычислительному ресурсу и показывает индикатор прогресса. Когда всё заканчивается, в резюме сообщается, сколько вычислительных ресурсов было выбрано, попытано, успешно и неудачно.

Если все вычислительные ресурсы успешно обновляются, шаг показывает подтверждение применённой политики . В случае сбоя в разделе «Отказы » отображается затронутый вычислительный процесс и группируется ошибки по причинам, например, конфликт редактирования при модификации вычислительного ресурса во время операции или недостаток разрешений.

Нажмите «Готово», чтобы закрыть модаль.