HDInsightCompute Classe
Gère une cible de calcul de cluster HDInsight dans Azure Machine Learning.
Azure HDInsight est une plateforme populaire pour l’analytique de Big Data. Elle fournit Apache Spark, que vous pouvez utiliser pour entraîner votre modèle. Pour plus d’informations, consultez Qu’est-ce qu’une cible de calcul dans Azure Machine Learning ?
Constructeur ComputeTarget de classe.
Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Renvoie une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.
- Héritage
-
HDInsightCompute
Constructeur
HDInsightCompute(workspace, name)
Paramètres
- workspace
- Workspace
Objet de l’espace de travail contenant l’objet HDInsightCompute à récupérer.
- workspace
- Workspace
Objet de l’espace de travail contenant l’objet de calcul à récupérer.
Remarques
L’exemple suivant montre comment créer un cluster Spark pour HDInsight dans Azure.
from azureml.core.compute import ComputeTarget, HDInsightCompute
from azureml.exceptions import ComputeTargetException
import os
try:
# If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase
# Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
# Instead, use resourceId of the HDInsight cluster.
# The resourceId of the HDInsight Cluster can be constructed using the following string format:
# /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
# You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
ssh_port=22,
username=os.environ.get('hdiusername', '<ssh_username>'),
password=os.environ.get('hdipassword', '<my_password>'))
hdi_compute = ComputeTarget.attach(workspace=ws,
name='myhdi',
attach_configuration=attach_config)
except ComputeTargetException as e:
print("Caught = {}".format(e.message))
hdi_compute.wait_for_completion(show_output=True)
Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb
Méthodes
attach |
DÉPRÉCIÉ. Utilisez plutôt la méthode Associe une ressource HDI existante à l’espace de travail fourni. |
attach_configuration |
Créez un objet de configuration pour attacher une cible de calcul HDInsight. La jonction d’un cluster HDInsight à l’aide de l’adresse publique du cluster HDInsight n’est plus prise en charge. Utilisez plutôt resourceId du cluster HDInsight. La valeur resourceId du cluster HDInsight peut être construite à l’aide du format de chaîne suivant : « /subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name> ». Vous pouvez également utiliser subscription_id, resource_group et cluster_name sans construire de resourceId. Pour plus d’informations : https://aka.ms/azureml-compute-hdi |
delete |
La suppression n’est pas prise en charge pour l’objet HDInsightCompute. Utilisez detach à la place. |
deserialize |
Convertit un objet JSON en objet HDInsightCompute. |
detach |
Détache l’objet HDInsightCompute de l’espace de travail qui lui est associé. Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée. |
get_credentials |
Récupère les informations d’identification pour la cible HDInsightCompute. |
refresh_state |
Effectue une mise à jour sur place des propriétés de l’objet. Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul. |
serialize |
Convertit cet objet HDInsightCompute en dictionnaire JSON sérialisé. |
attach
DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration
.
Associe une ressource HDI existante à l’espace de travail fourni.
static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Paramètres
- workspace
- Workspace
Objet d’espace de travail avec lequel associer la ressource de calcul.
- name
- str
Nom à associer à la ressource de calcul dans l’espace de travail fourni. Ne doit pas nécessairement correspondre au nom de la ressource de calcul à joindre.
- private_key_file
- str
Chemin d’accès à un fichier contenant la clé privée pour la ressource.
Retours
Représentation sous forme d’objet HDInsightCompute de l’objet de calcul.
Type de retour
Exceptions
attach_configuration
Créez un objet de configuration pour attacher une cible de calcul HDInsight.
La jonction d’un cluster HDInsight à l’aide de l’adresse publique du cluster HDInsight n’est plus prise en charge. Utilisez plutôt resourceId du cluster HDInsight. La valeur resourceId du cluster HDInsight peut être construite à l’aide du format de chaîne suivant : « /subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name> ».
Vous pouvez également utiliser subscription_id, resource_group et cluster_name sans construire de resourceId. Pour plus d’informations : https://aka.ms/azureml-compute-hdi
static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Paramètres
- resource_group
- str
Nom du groupe de ressources dans lequel se trouve le cluster HDI.
- resource_id
- str
ID de ressource Azure Resource Manager (ARM) pour la ressource à joindre.
- private_key_file
- str
Chemin d’accès à un fichier contenant la clé privée pour la ressource.
Retours
Objet de configuration à utiliser quand un objet Compute est joint.
Type de retour
Exceptions
delete
La suppression n’est pas prise en charge pour l’objet HDInsightCompute. Utilisez detach à la place.
delete()
Exceptions
deserialize
Convertit un objet JSON en objet HDInsightCompute.
static deserialize(workspace, object_dict)
Paramètres
- workspace
- Workspace
Objet de l’espace de travail auquel l’objet HDInsightCompute est associé.
Retours
Représentation HDInsightCompute de l’objet JSON fourni.
Type de retour
Exceptions
Remarques
Lève une ComputeTargetException si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.
detach
Détache l’objet HDInsightCompute de l’espace de travail qui lui est associé.
Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
detach()
Exceptions
get_credentials
Récupère les informations d’identification pour la cible HDInsightCompute.
get_credentials()
Retours
Informations d’identification pour la cible HDInsightCompute
Type de retour
Exceptions
refresh_state
Effectue une mise à jour sur place des propriétés de l’objet.
Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.
refresh_state()
Exceptions
serialize
Convertit cet objet HDInsightCompute en dictionnaire JSON sérialisé.
serialize()
Retours
Représentation JSON de cet objet HDICompute.
Type de retour
Exceptions
Commentaires
https://aka.ms/ContentUserFeedback.
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultezEnvoyer et afficher des commentaires pour