HDInsightCompute Klass
Hanterar ett beräkningsmål för HDInsight-kluster i Azure Machine Learning.
Azure HDInsight är en populär plattform för stordataanalys. Plattformen tillhandahåller Apache Spark, som kan användas för att träna din modell. Mer information finns i Vad är beräkningsmål i Azure Machine Learning?
ComputeTarget-konstruktor för klass.
Hämta en molnrepresentation av ett Compute-objekt som är associerat med den angivna arbetsytan. Returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade beräkningsobjektet.
- Arv
-
HDInsightCompute
Konstruktor
HDInsightCompute(workspace, name)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Arbetsyteobjektet som innehåller HDInsightCompute-objektet som ska hämtas. |
name
Obligatorisk
|
Namnet på det HDInsightCompute-objekt som ska hämtas. |
workspace
Obligatorisk
|
Arbetsyteobjektet som innehåller beräkningsobjektet som ska hämtas. |
name
Obligatorisk
|
Namnet på det Compute-objekt som ska hämtas. |
Kommentarer
Följande exempel visar hur du skapar ett Spark för HDInsight-kluster i Azure.
from azureml.core.compute import ComputeTarget, HDInsightCompute
from azureml.exceptions import ComputeTargetException
import os
try:
# If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase
# Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
# Instead, use resourceId of the HDInsight cluster.
# The resourceId of the HDInsight Cluster can be constructed using the following string format:
# /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
# You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
ssh_port=22,
username=os.environ.get('hdiusername', '<ssh_username>'),
password=os.environ.get('hdipassword', '<my_password>'))
hdi_compute = ComputeTarget.attach(workspace=ws,
name='myhdi',
attach_configuration=attach_config)
except ComputeTargetException as e:
print("Caught = {}".format(e.message))
hdi_compute.wait_for_completion(show_output=True)
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb
Metoder
attach |
DEPRECATED.
Associera en befintlig HDI-resurs med den angivna arbetsytan. |
attach_configuration |
Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål. Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>". Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information: https://aka.ms/azureml-compute-hdi |
delete |
Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället. |
deserialize |
Konvertera ett JSON-objekt till ett HDInsightCompute-objekt. |
detach |
Kopplar från HDInsightCompute-objektet från dess associerade arbetsyta. Underliggande molnobjekt tas inte bort, endast associationen tas bort. |
get_credentials |
Hämta autentiseringsuppgifterna för HDInsightCompute-målet. |
refresh_state |
Utför en uppdatering på plats av objektets egenskaper. Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd. |
serialize |
Konvertera det här HDInsightCompute-objektet till en JSON-serialiserad ordlista. |
attach
DEPRECATED.
attach_configuration
Använd metoden i stället.
Associera en befintlig HDI-resurs med den angivna arbetsytan.
static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Det arbetsyteobjekt som beräkningsresursen ska associeras med. |
name
Obligatorisk
|
Namnet som ska associeras med beräkningsresursen på den angivna arbetsytan. Behöver inte matcha namnet på beräkningsresursen som ska kopplas. |
username
Obligatorisk
|
Användarnamnet som krävs för att få åtkomst till resursen. |
address
Obligatorisk
|
Adressen till den resurs som ska kopplas. |
ssh_port
|
Den exponerade porten för resursen. Standardvärdet är 22. Standardvärde: 22
|
password
Obligatorisk
|
Lösenordet som behövs för att komma åt resursen. |
private_key_file
Obligatorisk
|
Sökvägen till en fil som innehåller den privata nyckeln för resursen. |
private_key_passphrase
Obligatorisk
|
Den privata nyckelfras som behövs för att få åtkomst till resursen. |
Returer
Typ | Description |
---|---|
En HDInsightCompute-objektrepresentation av beräkningsobjektet. |
Undantag
Typ | Description |
---|---|
attach_configuration
Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål.
Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".
Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information: https://aka.ms/azureml-compute-hdi
static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parametrar
Name | Description |
---|---|
username
Obligatorisk
|
Användarnamnet som krävs för att få åtkomst till resursen. |
subscription_id
|
Azure-prenumerations-ID Standardvärde: None
|
resource_group
|
Namnet på resursgruppen där HDI-klustret finns. Standardvärde: None
|
cluster_name
|
HDI-klusternamnet Standardvärde: None
|
resource_id
|
Resurs-ID för Azure Resource Manager (ARM) för resursen som ska kopplas. Standardvärde: None
|
address
|
Adressen för resursen som ska kopplas. Standardvärde: None
|
ssh_port
|
Den exponerade porten för resursen. Standardvärdet är 22. Standardvärde: 22
|
password
Obligatorisk
|
Lösenordet som behövs för att komma åt resursen. |
private_key_file
Obligatorisk
|
Sökvägen till en fil som innehåller den privata nyckeln för resursen. |
private_key_passphrase
Obligatorisk
|
Den privata nyckelfras som behövs för att få åtkomst till resursen. |
Returer
Typ | Description |
---|---|
Ett konfigurationsobjekt som ska användas när du kopplar ett Compute-objekt. |
Undantag
Typ | Description |
---|---|
delete
Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället.
delete()
Undantag
Typ | Description |
---|---|
deserialize
Konvertera ett JSON-objekt till ett HDInsightCompute-objekt.
static deserialize(workspace, object_dict)
Parametrar
Name | Description |
---|---|
workspace
Obligatorisk
|
Arbetsyteobjektet som HDInsightCompute-objektet är associerat med. |
object_dict
Obligatorisk
|
Ett JSON-objekt som ska konverteras till ett HDInsightCompute-objekt. |
Returer
Typ | Description |
---|---|
HDInsightCompute-representationen av det angivna JSON-objektet. |
Undantag
Typ | Description |
---|---|
Kommentarer
Genererar en ComputeTargetException om den angivna arbetsytan inte är den arbetsyta som Compute är associerad med.
detach
Kopplar från HDInsightCompute-objektet från dess associerade arbetsyta.
Underliggande molnobjekt tas inte bort, endast associationen tas bort.
detach()
Undantag
Typ | Description |
---|---|
get_credentials
Hämta autentiseringsuppgifterna för HDInsightCompute-målet.
get_credentials()
Returer
Typ | Description |
---|---|
Autentiseringsuppgifterna för HDInsightCompute-målet |
Undantag
Typ | Description |
---|---|
refresh_state
Utför en uppdatering på plats av objektets egenskaper.
Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd.
refresh_state()
Undantag
Typ | Description |
---|---|
serialize
Konvertera det här HDInsightCompute-objektet till en JSON-serialiserad ordlista.
serialize()
Returer
Typ | Description |
---|---|
JSON-representationen av det här HDICompute-objektet. |
Undantag
Typ | Description |
---|---|