Получение идентификаторов для объектов рабочей области

Статья
10/29/2024

В этой статье объясняется, как получить рабочую область, кластер, панель мониторинга, каталог, модель, записную книжку и идентификаторы заданий и URL-адреса в Azure Databricks.

Имена URL-адреса и идентификаторы экземпляров рабочей области

Каждому развертыванию Azure Databricks назначается уникальное имя экземпляра, также называемое URL-адресом рабочей области. Это полное доменное имя, используемое для входа в развертывание Azure Databricks и выполнения запросов API.

Рабочая область Azure Databricks — это место запуска платформы Azure Databricks, где можно создавать кластеры Spark и планировать рабочие нагрузки. Рабочая область имеет уникальный числовой идентификатор рабочей области.

URL-адреса рабочих областей

Уникальный URL-адрес рабочей области имеет формат adb-<workspace-id>.<random-number>.azuredatabricks.net. Идентификатор рабочей области отображается сразу после adb- и перед точкой (.). Для URL-адреса рабочей области https://adb-5555555555555555.19.azuredatabricks.net/:

Имя экземпляра – adb-5555555555555555.19.azuredatabricks.net.
Идентификатор рабочей области – 5555555555555555.

Определение URL-адреса рабочей области

Вы можете определить URL-адрес используемой рабочей области:

В браузере при входе в систему:
На портале Azure выберите ресурс и укажите значение в поле URL-адрес:
Использование API Azure. См. статью Получение URL-адреса для рабочей области с помощью API Azure.

Устаревший региональный URL-адрес

Внимание

Старайтесь не использовать нерекомендуемые региональные URL-адреса. Они могут не работать для новых рабочих областей и обеспечивать меньшую надежность и производительность по сравнению с URL-адресами рабочих областей.

Устаревший региональный URL-адрес состоит из региона, в котором развернута рабочая область Azure Databricks, а также домен azuredatabricks.net, например https://westus.azuredatabricks.net/.

При входе с использованием устаревшего регионального URL-адреса, например https://westus.azuredatabricks.net/, имя экземпляра — westus.azuredatabricks.net.
Идентификатор рабочей области отображается в URL-адресе только после входа с использованием устаревшего регионального URL-адреса. Он отображается после o=. В URL-адресе https://<databricks-instance>/?o=6280049833385130 идентификатором рабочей области является 6280049833385130.

URL-адрес кластера и идентификатор

Кластер Azure Databricks обеспечивает единую платформу для различных вариантов использования, таких как запуск производственных конвейеров ETL, аналитика потоков, специализированная аналитика и машинное обучение. Каждый кластер имеет уникальный идентификатор, называемый идентификатором кластера. Это относится как к кластерам общего назначения, так и к кластерам заданий. Чтобы получить сведения о кластере с помощью REST API, необходим идентификатор кластера.

Чтобы получить идентификатор кластера, щелкните вкладку Кластеры в боковой панели, а затем выберите имя кластера. Идентификатор кластера — это число после компонента /clusters/ в URL-адресе этой страницы

https://<databricks-instance>/#/setting/clusters/<cluster-id>

На следующем снимке экрана идентификатором кластера является 0831-211914-clean632.

URL-адрес кластера

URL-адрес панели мониторинга и идентификатор

Панель мониторинга AI/BI — это презентация визуализаций и комментариев к данным. Каждая панель мониторинга имеет уникальный идентификатор. Этот идентификатор можно использовать для создания прямых ссылок, включая предустановленные значения фильтра и параметров, или получить доступ к панели мониторинга с помощью REST API.

Пример URL-адреса панели мониторинга:

https://adb-62800498333851.30.azuredatabricks.net/sql/dashboardsv3/01ef9214fcc7112984a50575bf2b460f

Пример идентификатора панели мониторинга: 01ef9214fcc7112984a50575bf2b460f

URL-адрес и идентификатор записной книжки

Записная книжка — это веб-интерфейс для документа, который содержит готовый к выполнению код, визуализации и текстовые описания. Записные книжки представляют собой единый интерфейс для взаимодействия с Azure Databricks. Каждой записной книжке присваивается уникальный идентификатор. URL-адрес записной книжки включает идентификатор записной книжки, поэтому URL-адрес записной книжки уникален для блокнота. Для просмотра и редактирования записной книжки ее можно использовать совместно с другими пользователями на платформе Azure Databricks. Кроме того, каждая команда записной книжки (ячейка) имеет свой URL-адрес.

Чтобы найти URL-адрес или идентификатор записной книжки, откройте записную книжку. Чтобы найти URL-адрес ячейки, щелкните содержимое команды.

Пример URL-адреса записной книжки:

https://adb-62800498333851.30.azuredatabricks.net/?o=6280049833385130#notebook/1940481404050342`

Пример идентификатора записной книжки: 1940481404050342.

Пример URL-адреса команды (ячейки):

https://adb-62800498333851.30.azuredatabricks.net/?o=6280049833385130#notebook/1940481404050342/command/2432220274659491

Идентификатор папки

Папка представляет собой каталог для хранения файлов, который можно использовать в рабочей области Azure Databricks. В ней можно хранить записные книжки, библиотеки или вложенные папки. С каждой папкой и вложенной папкой связан отдельный идентификатор. API разрешений ссылается на этот идентификатор как на "directory_id". Он используется при настройке и обновлении разрешений для папки.

Чтобы получить "directory_id", используйте API рабочей области:

curl -n -X GET -H 'Content-Type: application/json' -d '{"path": "/Users/me@example.com/MyFolder"}' \
https://<databricks-instance>/api/2.0/workspace/get-status

Это пример ответа на вызов API:

{
  "object_type": "DIRECTORY",
  "path": "/Users/me@example.com/MyFolder",
  "object_id": 123456789012345
}

Model ID

Модель относится к зарегистрированной модели MLflow, которая позволяет управлять моделями MLflow в рабочей среде с помощью промежуточных переходов и управления версиями. Идентификатор зарегистрированной модели необходим для изменения разрешений модели программным способом с помощью API разрешений.

Чтобы получить идентификатор зарегистрированной модели, можно использовать конечную точку mlflow/databricks/registered-models/getAPI рабочей области. Например, следующий код возвращает объект зарегистрированной модели с ее свойствами, включая идентификатор:

curl -n -X GET -H 'Content-Type: application/json' -d '{"name": "model_name"}' \
https://<databricks-instance>/api/2.0/mlflow/databricks/registered-models/get

Возвращаемое значение имеет следующий формат:

{
  "registered_model_databricks": {
    "name":"model_name",
    "id":"ceb0477eba94418e973f170e626f4471"
  }
}

URL-адрес и идентификатор задания

Задание – это способ запуска записной книжки или файла JAR незамедлительно или по расписанию.

Чтобы получить URL-адрес задания, щелкните рабочие процессы на боковой панели и щелкните имя задания. Идентификатор задания указывается в URL-адресе после текста #job/. URL-адрес задания требуется для устранения первопричины неудачных выполнений заданий.

На следующем снимке экрана задание имеет следующий URL-адрес:

https://westus.azuredatabricks.net/?o=6280049833385130#job/1

В этом примере идентификатор задания — 1.

URL-адрес задания

Поделиться через