Настройка репозиториев пакетов по умолчанию

Это важно

Настройка репозиториев пакетов Python по умолчанию общедоступна для бессерверных записных книжек и заданий. Для конвейеров Lakeflow и классических вычислений, созданных с помощью пользовательского интерфейса и API, он находится в общедоступной предварительной версии. Для Приложений Databricks она находится в бета-версии. Администраторы рабочей области могут управлять доступом к этим функциям на странице "Предварительные версии ", включив следующие предварительные версии:

• Репозитории пакетов по умолчанию Python в декларативных конвейерах Spark (общедоступная предварительная версия)
• Репозитории пакетов по умолчанию Python в кластерах, созданных с помощью API (общедоступная предварительная версия)
• Репозитории пакетов по умолчанию Python в кластерах, созданных с помощью пользовательского интерфейса (общедоступная предварительная версия)
• Включение конфигурации репозитория рабочей области для приложений Databricks (бета-версия)

Администраторы рабочей области могут настраивать частные или прошедшие проверку подлинности репозитории пакетов в рабочих областях в качестве репозиториев пакетов по умолчанию для записных книжек, заданий, конвейеров Lakeflow и Databricks Apps. Python репозитории применяются ко всем этим рабочим нагрузкам, но реестры npm применяются только к приложениям Databricks.

Если рабочая область настроена с репозиторием пакетов по умолчанию, пользователи в рабочей области могут устанавливать пакеты из внутренних репозиториев без явного определения index-url или extra-index-url значений для Python или реестра для npm. Если эти значения указаны в коде, записной книжке или в файле приложения app.yaml , они имеют приоритет над значениями по умолчанию рабочей области. О том, как работает порядок приоритета для приложений Databricks, см. в разделе Использование репозиториев пакетов по умолчанию на уровне рабочей области.

Эта конфигурация использует секреты Databricks для безопасного хранения URL-адресов и учетных данных репозитория и управления ими. Администраторы рабочей области могут конфигурировать параметры с помощью страницы настроек администратора рабочей области или использовать предопределенную область секретов и команды "Databricks CLI secrets" или "REST API".

Настройка зависимостей по умолчанию для рабочей области

Администраторы рабочей области могут добавлять или удалять репозитории пакетов по умолчанию с помощью страницы параметров администратора рабочей области.

1. Как администратор рабочей области войдите в рабочую область Databricks.
2. Щелкните имя пользователя в верхней строке рабочей области Databricks и выберите Настройки.
3. Перейдите на вкладку Вычисление.
4. Рядом с репозиториями пакетов по умолчаниюнажмите Управление.
5. (Необязательно) Добавьте или удалите URL-адрес индекса Python, дополнительные URL-адреса индекса, пользовательский SSL-сертификат или конфигурацию реестра npm.
6. Щелкните Сохранить, чтобы сохранить изменения.

Примечание.

Изменения или удаления секретов применяются по-разному в зависимости от типа рабочей нагрузки. Для бессерверных записных книжек и заданий изменения применяются после повторного кэширования вычислительного ресурса в записную книжку или повторного запуска задания. Для классических записных книжек и заданий изменения применяются после перезапуска вычислительного ресурса. Для конвейеров Lakeflow изменения применяются к новым запускам конвейера. Для Приложений Databricks изменения применяются при следующем построении и развертывании приложения.

Настройте с помощью CLI для секретов или REST API

Чтобы настроить репозитории пакетов по умолчанию с помощью ИНТЕРФЕЙСА командной строки или REST API, создайте предопределенную область секрета и настройте разрешения доступа, а затем добавьте секреты репозитория пакетов.

Предопределенное имя области действия секрета

Администраторы рабочих областей могут задать URL-адреса индекса pip по умолчанию, дополнительные URL-адреса индекса, SSL-сертификат и конфигурацию npm, а также маркеры проверки подлинности и секреты в указанной области секретов в соответствии с предопределенными ключами:

• Имя области секрета: databricks-package-management
• Секретный ключ для URL индекса: pip-index-url
• Секретный ключ для дополнительных URL-адресов индексов: pip-extra-index-urls
• Секретный ключ для содержимого сертификации SSL: pip-cert
• Секретный ключ для конфигурации npm: npm-rc (только для приложений Databricks)

Создайте область секрета

Секретную область можно создать с помощью команд Databricks CLI секретов или REST API. После создания области секрета настройте списки управления доступом, чтобы предоставить всем пользователям рабочей области доступ на чтение. Это гарантирует, что репозиторий остается безопасным и не может быть изменен отдельными пользователями. Область секрета должна использовать предопределенное имя области секрета databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Добавление секретов репозитория пакетов

Добавьте данные репозитория пакетов, используя заранее заданные имена секретных ключей. Python репозитории применяются только к записным книжкам, заданиям, конвейерам Lakeflow и Приложениям Databricks, но реестры npm применяются только к Приложениям Databricks.

Python

Добавьте сведения о репозитории пакетов Python с помощью предопределенных имен ключей секрета, при этом все три поля являются необязательными.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Примечание.

Если для репозитория требуется проверка подлинности, используйте один из следующих форматов для URL-адреса индекса:

• Имя пользователя и пароль: https://<username>:<password>@<index_url>
• Маркер: https://<token>@<index_url>

Node.js

Для Databricks Apps можно также настроить реестр npm по умолчанию, чтобы приложения устанавливали Node.js пакеты, включая частные пакеты, из реестра, настроенного в рабочей области. Сохраните полное содержимое файла .npmrc, включая URL-адрес реестра и любой токен аутентификации, под ключом секрета npm-rc:

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

При создании приложения в рабочей области Azure Databricks записывает это содержимое в файл приложения.npmrc. Сведения о том, как работает приоритет и как переопределить его для определенного приложения, см. вNode.js пакетах.

Изменение или удаление секретов репозитория пакетов

Чтобы изменить секреты репозитория пакетов, используйте put-secret команду. Чтобы удалить секреты репозитория пакетов, используйте delete-secret , как показано ниже:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management