Создание политик вычислений и управление ими

В этой статье объясняется, как создавать политики и управлять ими в рабочей области. Сведения о написании определений политик см. в справочнике по политикам вычислений.

Примечание.

Для использования политик требуется план Premium.

Что такое политики вычислений?

Политика — это инструмент, который администраторы рабочей области могут использовать для ограничения разрешений пользователя или группы на создание вычислительных ресурсов на основе набора правил политики.

Политики предоставляют следующие преимущества:

• Ограничить пользователей созданием кластеров с заданными параметрами.
• Ограничить пользователей созданием определенного количества кластеров.
• Упрощение пользовательского интерфейса и предоставление пользователям возможности создавать собственные кластеры (исправляя и скрывая некоторые значения).
• Управление затратами путем ограничения максимальной стоимости для кластера (задав ограничения на атрибуты, значения которых способствуют почасовой цене).
• Применение инсталляций библиотек в пределах кластера.

Создание политики

Примечание.

Эти инструкции используют пользовательский интерфейс политики, который позволяет настраивать определения политик с помощью раскрывающихся меню и других элементов пользовательского интерфейса. Можно также изменить полное определение политики в формате JSON. Дополнительные сведения см. в разделе "Настройка определений политик с помощью элементов пользовательского интерфейса".

Чтобы создать политику, выполните следующие действия.

1. Щелкните "Вычисления" на боковой панели.
2. Перейдите на вкладку "Политики ".
3. Щелкните Create policy (Создать политику).
4. Присвойте этой политике имя. Имена политик регистронезависимы.
5. При необходимости выберите семейство политик из раскрывающегося списка Family. Это определяет шаблон, из которого вы создаете политику.
6. Введите описание политики. Это помогает другим пользователям знать цель политики.
7. В разделе "Дополнительные параметры" можно указать тип кластера, максимальное количество вычислительных ресурсов на пользователя и максимальное количество баз данных в час.
8. На вкладке "Определения" добавьте новые определения или измените унаследованные определения. Добавьте правила JSON в раздел "Дополнительные параметры " или нажмите кнопку "Изменить определение в формате JSON ", чтобы изменить все определение политики в формате JSON.
9. В разделе "Теги" определите правила для пользовательских тегов
10. На вкладке "Библиотеки" добавьте любые библиотеки, предназначенные для вычислительных ресурсов, которые вы хотите установить на вычислительных ресурсах. См. раздел "Добавление библиотек в политику".
11. Нажмите кнопку Создать.

Чтобы обновить разрешения политики, откройте страницу обзора политики и щелкните "Просмотреть все разрешения ", чтобы открыть модальные разрешения.

Использование группы политик

При создании политики можно выбрать одну из доступных семейств политик. Семейства политик Azure Databricks предоставляются шаблонами политик с предварительно заполненными правилами, предназначенными для решения распространенных вариантов использования вычислений.

При использовании семейства политик правила вашей политики наследуются от него. Выбрав семейство политик, вы можете создать политику как есть или добавить правила или переопределить заданные правила. Дополнительные сведения о семействах политик см. в разделе "Политики по умолчанию" и "Семейства политик".

Добавление библиотек в политику

Вы можете добавлять библиотеки в политику, чтобы библиотеки автоматически устанавливались на вычислительные ресурсы. В политику можно добавить не более 500 библиотек.

Примечание.

Возможно, вы ранее добавили библиотеки с областью вычислений с помощью скриптов инициализации. Databricks рекомендует использовать политики вычислений вместо скриптов инициализации для установки библиотек.

Чтобы добавить библиотеку в политику, выполните следующие действия.

1. В нижней части страницы "Создать политику " щелкните вкладку "Библиотеки ".

2. Нажмите кнопку "Добавить библиотеку".

3. Выберите один из вариантов источника библиотеки , а затем следуйте инструкциям, описанным ниже.

   Источник библиотеки	Инструкции
   Рабочая область	Выберите файл рабочей области или отправьте файл Whl, zipped wheelhouse (с расширением *.wheelhouse.whl), JAR, ZIP, tar или requirements.txt. См. статью "Установка библиотек из файлов рабочей области"
   тома	Выберите Whl, JAR или requirements.txt файл из тома. См. статью "Установка библиотек из тома".
   Путь к файлу/ADLS	Выберите тип библиотеки и укажите полный URI для объекта библиотеки (например, abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). См. статью "Установка библиотек из хранилища объектов".
   PyPI	Введите имя пакета PyPI. Смотрите пакет PyPI.
   Maven	Укажите координату Maven. См. пакет Maven или Spark.
   КРАН	Введите имя пакета. См. пакет CRAN.
   DBFS (не рекомендуется)	Загрузите JAR-файл или Whl в корневой каталог DBFS. Это устаревший и не рекомендованный шаблон.

4. Нажмите кнопку Добавить.

Эффект добавления библиотек в политики

При добавлении библиотек в политику:

• Пользователи не могут устанавливать или удалять библиотеки с ограничением вычислений на вычислительных ресурсах, которые используют эту политику.
• Библиотеки, настроенные с помощью пользовательского интерфейса, REST API или CLI на существующих вычислительных ресурсах, удаляются при следующем перезапуске вычислений.
• Библиотеки зависимостей для задач, использующих эту политику в вычислительных ресурсах для заданий, отключены.

Разрешения политики

По умолчанию администраторы рабочей области имеют разрешения на все политики. Пользователи, не являющиеся администраторами, должны быть предоставлены разрешения на доступ к политике.

Если у пользователя есть неограниченные разрешения на создание кластера, у него также будет доступ к политике Без ограничений. Это позволяет им создавать полностью настраиваемые вычислительные ресурсы.

Если у пользователя нет доступа к каким-либо политикам, раскрывающийся список политики не отображается в пользовательском интерфейсе.

Ограничение количества вычислительных ресурсов для пользователей

Разрешения политики позволяют задать максимальное количество вычислительных ресурсов на пользователя. Это определяет, сколько ресурсов пользователь может создать с помощью этой политики. Если пользователь превышает ограничение, операция завершается ошибкой.

Чтобы ограничить количество ресурсов, которые пользователь может создать с помощью политики, введите значение в параметр "Максимальное количество вычислительных ресурсов для каждого пользователя " в разделе "Дополнительные параметры".

Примечание.

Azure Databricks не завершает ресурсы заранее для поддержания лимита. Если у пользователя есть три вычислительных ресурса, работающих с политикой, а администратор рабочей области сокращает ограничение до одного, три ресурса будут продолжать выполняться. Дополнительные ресурсы должны быть прекращены вручную для соблюдения лимита.

Управление политикой

После создания политики можно изменить, клонировать и удалить ее.

Вы также можете отслеживать внедрение политики, просматривая вычислительные ресурсы, использующие политику. На странице "Политики" щелкните политику, которую вы хотите просмотреть. Затем щелкните на вкладках Вычисления или Задачи, чтобы просмотреть список ресурсов, использующих политику.

Изменение политики

Может потребоваться изменить политику, чтобы обновить ее разрешения или определения. Чтобы изменить политику, выберите политику на странице "Политики", а затем щелкните Изменить.

После обновления определений политики вычислительные ресурсы, созданные с помощью этой политики, не обновляются автоматически с помощью новых определений политик. Вы можете обновить все или некоторые из этих вычислительных ресурсов с помощью принудительного применения политик. См. Обеспечение соблюдения политик.

Клонирование политики

Вы также можете использовать функцию клонирования для создания новой политики из существующей политики. Откройте политику, которую вы хотите клонировать, затем щелкните на и выберите кнопку "Клонировать". Затем измените все значения полей, которые требуется изменить, и щелкните Создать.

Удалить политику

Выберите политику на странице "Политики", а затем щелкните и нажмите кнопку "Удалить". Если вы хотите удалить политику, нажмите кнопку "Удалить еще раз".

Все вычислительные ресурсы, управляемые удаленной политикой, по-прежнему могут выполняться, но его нельзя изменить, если пользователь не имеет неограниченных разрешений на создание кластера.

Обеспечение соблюдения политики

После изменения политики вычислительные ресурсы, созданные с помощью этой политики, не обновляются автоматически, чтобы соответствовать новым правилам политики. Чтобы просмотреть список вычислительных ресурсов, управляемых политикой, щелкните политику в пользовательском интерфейсе и перейдите на вкладку "Все назначение ", чтобы просмотреть связанные вычисления всех целей или вкладку "Задания ", чтобы просмотреть список заданий, выполняемых на вычислительных ресурсах, управляемых политикой.

Эти списки также сообщают, не соответствуют ли вычислительные ресурсы текущим определениям политик.

Чтобы обновить вычислительные ресурсы для соблюдения политики, выполните следующие действия.

1. На странице "Политики" щелкните политику, которую вы обновили.
2. Щелкните вкладки "Все назначения " или " Задания ", чтобы просмотреть список ресурсов или заданий, использующих политику. Столбец соответствия требованиям показывает, какие ресурсы соответствуют текущим определениям политики.
3. Щелкните Исправить все, чтобы обновить все вычислительные ресурсы в списке, которые не соответствуют установленным требованиям. Вы также можете отдельно обновить вычислительные ресурсы, нажав кнопку "Исправить " в строке ресурса.
4. (Необязательно) Если вы хотите применить политику в текущий момент вычислений, установите флажок "Принудительное выполнение кластеров ". Это немедленно перезагрузит запущенный вычислительный ресурс.
5. Нажмите кнопку "Применить" , чтобы сделать обновления. После завершения операции принудительного применения вы дается сводка о внесенных изменениях.
6. Нажмите кнопку Готово.

Примечание.

При применении соответствия политик атрибуты типа массива, такие как скрипты инициализации, соответствуют позиции индекса. Если политика определяет значение в заданной позиции, существующее значение на этой позиции заменяется. Замененное значение не перемещается в другую позицию в массиве. Чтобы просмотреть изменения перед применением, нажмите кнопку "Исправить рядом с отдельным ресурсом", чтобы узнать, как будут обновлены его атрибуты.

Кроме того, общие вычислительные ресурсы, не соответствующие требованиям, включают метку Несоответствие требованиям в пользовательском интерфейсе сведений о вычислениях. Пользователи с разрешениями CAN MANAGE в вычислительном ресурсе могут обеспечить соблюдение требований на этой странице, щелкнув Дополнительно и затем Исправить соответствие.