DatabricksCompute Класс
Управляет целевым объектом вычислений Databricks в Машинном обучении Microsoft Azure.
Azure Databricks — это среда, которая лежит в основе Apache Spark в облаке Azure. Ее можно использовать как целевой объект вычислений с помощью конвейера Машинного обучения Azure. Дополнительные сведения см. в статье о целевых объектах вычислений в Машинном обучении Azure.
Конструктор ComputeTarget класса.
Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.
- Наследование
-
DatabricksCompute
Конструктор
DatabricksCompute(workspace, name)Параметры
- workspace
- Workspace
Объект рабочей области, содержащий извлекаемый объект DatabricksCompute.
Комментарии
В следующем примере показано, как подключить Azure Databricks в качестве целевого объекта вычислений.
# Replace with your account info before running.
db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token
try:
databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
print('Compute target {} already exists'.format(db_compute_name))
except ComputeTargetException:
print('Compute not found, will use below parameters to attach new one')
print('db_compute_name {}'.format(db_compute_name))
print('db_resource_group {}'.format(db_resource_group))
print('db_workspace_name {}'.format(db_workspace_name))
print('db_access_token {}'.format(db_access_token))
config = DatabricksCompute.attach_configuration(
resource_group = db_resource_group,
workspace_name = db_workspace_name,
access_token= db_access_token)
databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
databricks_compute.wait_for_completion(True)
Полный пример можно найти по адресу: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb
Методы
| attach |
НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод Связывание существующего вычислительного ресурса Databricks с указанной рабочей областью. |
| attach_configuration |
Создание объекта конфигурации для подключения целевого объекта вычислений Databricks. |
| delete |
Удаление объекта DatabricksCompute не поддерживается. Взамен рекомендуется использовать detach. |
| deserialize |
Преобразование объекта JSON в объект DatabricksCompute. |
| detach |
Окончательное удаление объекта Databricks из связанной рабочей области. Базовые облачные объекты при этом сохраняются, удаляется только связь. |
| get_credentials |
Получение учетных данных для целевого объекта Databricks. |
| refresh_state |
Выполнение обновлений свойств объекта на месте. Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную. |
| serialize |
Преобразование объекта DatabricksCompute в сериализованный словарь JSON. |
attach
НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration.
Связывание существующего вычислительного ресурса Databricks с указанной рабочей областью.
static attach(workspace, name, resource_id, access_token)Параметры
- workspace
- Workspace
Объект рабочей области, с которым нужно связать вычислительный ресурс.
- name
- str
Имя, которое нужно связать с вычислительным ресурсом в указанной рабочей области. Не обязательно должно совпадать с именем подключаемого вычислительного ресурса.
Возвращаемое значение
Представление объекта DatabricksCompute для объекта вычислений.
Возвращаемый тип
Исключения
attach_configuration
Создание объекта конфигурации для подключения целевого объекта вычислений Databricks.
static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')Параметры
- resource_group
- str
Имя группы ресурсов, в которой находится объект Databricks.
- resource_id
- str
Идентификатор ресурса Azure для подключаемого вычислительного ресурса.
Возвращаемое значение
Объект конфигурации, который нужно использовать при подключении объекта вычислений.
Возвращаемый тип
Исключения
delete
Удаление объекта DatabricksCompute не поддерживается. Взамен рекомендуется использовать detach.
delete()Исключения
deserialize
Преобразование объекта JSON в объект DatabricksCompute.
static deserialize(workspace, object_dict)Параметры
Возвращаемое значение
Представление DatabricksCompute указанного объекта JSON.
Возвращаемый тип
Исключения
Комментарии
Генерирует ComputeTargetException, если указана не та рабочая область, с которой связано вычисление.
detach
Окончательное удаление объекта Databricks из связанной рабочей области.
Базовые облачные объекты при этом сохраняются, удаляется только связь.
detach()Исключения
get_credentials
Получение учетных данных для целевого объекта Databricks.
get_credentials()Возвращаемое значение
Учетные данные целевого объекта Databricks.
Возвращаемый тип
Исключения
refresh_state
Выполнение обновлений свойств объекта на месте.
Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.
refresh_state()Исключения
serialize
Преобразование объекта DatabricksCompute в сериализованный словарь JSON.
serialize()Возвращаемое значение
Представление JSON для этого объекта DatabricksCompute.
Возвращаемый тип
Исключения
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по