Dela via

HDInsightCompute Klass

  • Referens

Hanterar ett beräkningsmål för HDInsight-kluster i Azure Machine Learning.

Azure HDInsight är en populär plattform för stordataanalys. Plattformen tillhandahåller Apache Spark, som kan användas för att träna din modell. Mer information finns i Vad är beräkningsmål i Azure Machine Learning?

ComputeTarget-konstruktor för klass.

Hämta en molnrepresentation av ett Compute-objekt som är associerat med den angivna arbetsytan. Returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade beräkningsobjektet.

Arv
ComputeTarget
HDInsightCompute

Konstruktor

HDInsightCompute(workspace, name)

Parametrar

workspace
Workspace
Obligatorisk

Arbetsyteobjektet som innehåller HDInsightCompute-objektet som ska hämtas.

name
str
Obligatorisk

Namnet på det HDInsightCompute-objekt som ska hämtas.

workspace
Workspace
Obligatorisk

Arbetsyteobjektet som innehåller beräkningsobjektet som ska hämtas.

name
str
Obligatorisk

Namnet på det Compute-objekt som ska hämtas.

Kommentarer

Följande exempel visar hur du skapar ett Spark för HDInsight-kluster i Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Metoder

attach

DEPRECATED. attach_configuration Använd metoden i stället.

Associera en befintlig HDI-resurs med den angivna arbetsytan.
attach_configuration

Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål.

Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information: https://aka.ms/azureml-compute-hdi
delete

Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället.
deserialize

Konvertera ett JSON-objekt till ett HDInsightCompute-objekt.
detach

Kopplar från HDInsightCompute-objektet från dess associerade arbetsyta.

Underliggande molnobjekt tas inte bort, endast associationen tas bort.
get_credentials

Hämta autentiseringsuppgifterna för HDInsightCompute-målet.
refresh_state

Utför en uppdatering på plats av objektets egenskaper.

Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd.
serialize

Konvertera det här HDInsightCompute-objektet till en JSON-serialiserad ordlista.

attach

DEPRECATED. attach_configuration Använd metoden i stället.

Associera en befintlig HDI-resurs med den angivna arbetsytan.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametrar

workspace
Workspace
Obligatorisk

Det arbetsyteobjekt som beräkningsresursen ska associeras med.

name
str
Obligatorisk

Namnet som ska associeras med beräkningsresursen på den angivna arbetsytan. Behöver inte matcha namnet på beräkningsresursen som ska kopplas.

username
str
Obligatorisk

Användarnamnet som krävs för att få åtkomst till resursen.

address
str
Obligatorisk

Adressen till den resurs som ska kopplas.

ssh_port
int
standardvärde: 22

Den exponerade porten för resursen. Standardvärdet är 22.

password
str
Obligatorisk

Lösenordet som behövs för att komma åt resursen.

private_key_file
str
Obligatorisk

Sökvägen till en fil som innehåller den privata nyckeln för resursen.

private_key_passphrase
str
Obligatorisk

Den privata nyckelfras som behövs för att få åtkomst till resursen.

Returer

En HDInsightCompute-objektrepresentation av beräkningsobjektet.

Returtyp

HDInsightCompute

Undantag

ComputeTargetException

attach_configuration

Skapa ett konfigurationsobjekt för att koppla ett HDInsight-beräkningsmål.

Det går inte längre att ansluta ett HDInsight-kluster med den offentliga adressen för HDInsight-klustret. Använd i stället resourceId för HDInsight-klustret. ResourceId för HDInsight-klustret kan konstrueras med följande strängformat: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>".

Du kan också använda subscription_id, resource_group och cluster_name utan att skapa resourceId. Mer information: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parametrar

username
str
Obligatorisk

Användarnamnet som krävs för att få åtkomst till resursen.

subscription_id
str
standardvärde: None

Azure-prenumerations-ID

resource_group
str
standardvärde: None

Namnet på resursgruppen där HDI-klustret finns.

cluster_name
str
standardvärde: None

HDI-klusternamnet

resource_id
str
standardvärde: None

Resurs-ID för Azure Resource Manager (ARM) för resursen som ska kopplas.

address
str
standardvärde: None

Adressen för resursen som ska kopplas.

ssh_port
int
standardvärde: 22

Den exponerade porten för resursen. Standardvärdet är 22.

password
str
Obligatorisk

Lösenordet som behövs för att komma åt resursen.

private_key_file
str
Obligatorisk

Sökvägen till en fil som innehåller den privata nyckeln för resursen.

private_key_passphrase
str
Obligatorisk

Den privata nyckelfras som behövs för att få åtkomst till resursen.

Returer

Ett konfigurationsobjekt som ska användas när du kopplar ett Compute-objekt.

Returtyp

HDInsightAttachConfiguration

Undantag

ComputeTargetException

delete

Borttagning stöds inte för HDInsightCompute-objekt. Använd detach i stället.

delete()

Undantag

ComputeTargetException

deserialize

Konvertera ett JSON-objekt till ett HDInsightCompute-objekt.

static deserialize(workspace, object_dict)

Parametrar

workspace
Workspace
Obligatorisk

Arbetsyteobjektet som HDInsightCompute-objektet är associerat med.

object_dict
dict
Obligatorisk

Ett JSON-objekt som ska konverteras till ett HDInsightCompute-objekt.

Returer

HDInsightCompute-representationen av det angivna JSON-objektet.

Returtyp

HDInsightCompute

Undantag

ComputeTargetException

Kommentarer

Genererar en ComputeTargetException om den angivna arbetsytan inte är den arbetsyta som Compute är associerad med.

detach

Kopplar från HDInsightCompute-objektet från dess associerade arbetsyta.

Underliggande molnobjekt tas inte bort, endast associationen tas bort.

detach()

Undantag

ComputeTargetException

get_credentials

Hämta autentiseringsuppgifterna för HDInsightCompute-målet.

get_credentials()

Returer

Autentiseringsuppgifterna för HDInsightCompute-målet

Returtyp

dict

Undantag

ComputeTargetException

refresh_state

Utför en uppdatering på plats av objektets egenskaper.

Den här metoden uppdaterar egenskaperna baserat på det aktuella tillståndet för motsvarande molnobjekt. Detta används främst för manuell avsökning av beräkningstillstånd.

refresh_state()

Undantag

ComputeTargetException

serialize

Konvertera det här HDInsightCompute-objektet till en JSON-serialiserad ordlista.

serialize()

Returer

JSON-representationen av det här HDICompute-objektet.

Returtyp

dict

Undantag

ComputeTargetException