HDInsightCompute Класс
Управляет целевым объектом вычислений кластера HDInsight в Машинном обучении Azure.
Azure HDInsight — это популярная платформа для анализа больших данных. Она предоставляет Apache Spark, который можно использовать для обучения модели. Дополнительные сведения см. в статье о целевых объектах вычислений в Машинном обучении Azure.
Конструктор ComputeTarget класса.
Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.
- Наследование
-
HDInsightCompute
Конструктор
HDInsightCompute(workspace, name)
Параметры
- workspace
- Workspace
Объект рабочей области, содержащий извлекаемый объект HDInsightCompute.
Комментарии
В следующем примере показано, как создать кластер Spark для Azure HDInsight.
from azureml.core.compute import ComputeTarget, HDInsightCompute
from azureml.exceptions import ComputeTargetException
import os
try:
# If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase
# Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
# Instead, use resourceId of the HDInsight cluster.
# The resourceId of the HDInsight Cluster can be constructed using the following string format:
# /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
# You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
ssh_port=22,
username=os.environ.get('hdiusername', '<ssh_username>'),
password=os.environ.get('hdipassword', '<my_password>'))
hdi_compute = ComputeTarget.attach(workspace=ws,
name='myhdi',
attach_configuration=attach_config)
except ComputeTargetException as e:
print("Caught = {}".format(e.message))
hdi_compute.wait_for_completion(show_output=True)
Полный пример можно найти в https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb
Методы
attach |
НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод Связывание существующего ресурса HDI с указанной рабочей областью. |
attach_configuration |
Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight. Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>". Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi |
delete |
Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach. |
deserialize |
Преобразование объекта JSON в объект HDInsightCompute. |
detach |
Окончательно удаляет объект HDInsightCompute из связанной рабочей области. Базовые облачные объекты при этом сохраняются, удаляется только связь. |
get_credentials |
Извлечение учетных данных для целевого объекта HDInsightCompute. |
refresh_state |
Выполнение обновлений свойств объекта на месте. Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную. |
serialize |
Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON. |
attach
НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration
.
Связывание существующего ресурса HDI с указанной рабочей областью.
static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Параметры
- workspace
- Workspace
Объект рабочей области, с которым нужно связать вычислительный ресурс.
- name
- str
Имя, которое нужно связать с вычислительным ресурсом в указанной рабочей области. Не обязательно должно совпадать с именем подключаемого вычислительного ресурса.
- ssh_port
- int
Предоставленный для ресурса порт. Значение по умолчанию — 22.
Возвращаемое значение
Представление объекта вычислений HDInsightCompute.
Возвращаемый тип
Исключения
attach_configuration
Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight.
Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".
Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi
static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Параметры
- resource_group
- str
Имя группы ресурсов, в которой находится кластер HDI.
- resource_id
- str
Идентификатор ресурса Azure Resource Manager (ARM) для существующего ресурса.
- ssh_port
- int
Предоставленный для ресурса порт. Значение по умолчанию — 22.
Возвращаемое значение
Объект конфигурации, который нужно использовать при подключении объекта вычислений.
Возвращаемый тип
Исключения
delete
Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach.
delete()
Исключения
deserialize
Преобразование объекта JSON в объект HDInsightCompute.
static deserialize(workspace, object_dict)
Параметры
Возвращаемое значение
Представление HDInsightCompute указанного объекта JSON.
Возвращаемый тип
Исключения
Комментарии
Генерирует ComputeTargetException, если указана не та рабочая область, с которой связано вычисление.
detach
Окончательно удаляет объект HDInsightCompute из связанной рабочей области.
Базовые облачные объекты при этом сохраняются, удаляется только связь.
detach()
Исключения
get_credentials
Извлечение учетных данных для целевого объекта HDInsightCompute.
get_credentials()
Возвращаемое значение
Учетные данные для целевого объекта HDInsightCompute
Возвращаемый тип
Исключения
refresh_state
Выполнение обновлений свойств объекта на месте.
Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.
refresh_state()
Исключения
serialize
Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON.
serialize()
Возвращаемое значение
Представление JSON этого объекта HDICompute.
Возвращаемый тип
Исключения
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по