DatabricksCompute Classe

Référence

Gère une cible de calcul Databricks dans Azure Machine Learning.

Azure Databricks est un environnement basé sur Apache Spark dans le cloud Azure. Il peut être utilisé comme cible de calcul avec un pipeline Azure Machine Learning. Pour plus d’informations, consultez Qu’est-ce qu’une cible de calcul dans Azure Machine Learning ?

Constructeur ComputeTarget de classe.

Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Retourne une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.

Héritage: ComputeTarget

DatabricksCompute

Constructeur

DatabricksCompute(workspace, name)

Paramètres

Nom	Description
workspace Obligatoire	Workspace Objet d’espace de travail contenant l’objet DatabricksCompute à récupérer.
name Obligatoire	str Nom de l’objet DatabricksCompute à récupérer.
workspace Obligatoire	Workspace Objet de l’espace de travail contenant l’objet de calcul à récupérer.
name Obligatoire	str Nom de l’objet Compute à récupérer.

Remarques

L’exemple suivant montre comment attacher Azure Databricks en tant que cible de calcul.


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb

Méthodes

attach	DÉPRÉCIÉ. Utilisez plutôt la méthode `attach_configuration`. Associe une ressource de calcul Databricks existante à l’espace de travail fourni.
attach_configuration	Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks.
delete	La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.
deserialize	Convertit un objet JSON en objet DatabricksCompute.
detach	Détache l’objet Databricks de son espace de travail associé. Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
get_credentials	Récupère les informations d’identification de la cible Databricks.
refresh_state	Effectue une mise à jour sur place des propriétés de l’objet. Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.
serialize	Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON.

attach

DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration.

Associe une ressource de calcul Databricks existante à l’espace de travail fourni.

static attach(workspace, name, resource_id, access_token)

Paramètres

Nom	Description
workspace Obligatoire	Workspace Objet d’espace de travail avec lequel associer la ressource de calcul.
name Obligatoire	str Nom à associer à la ressource de calcul dans l’espace de travail fourni. Ne doit pas nécessairement correspondre au nom de la ressource de calcul à joindre.
resource_id Obligatoire	str ID de ressource Azure pour la ressource de calcul qui est attachée.
access_token Obligatoire	str Jeton d’accès de la ressource attachée.

Retours

Type	Description
DatabricksCompute	Représentation sous forme d’objet DatabricksCompute de l’objet de calcul.

Exceptions

Type	Description
ComputeTargetException

attach_configuration

Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

Paramètres

Nom	Description
resource_group	str Nom du groupe de ressources dans lequel se trouve le cluster Databricks. Valeur par défaut: None
workspace_name	str Nom de l’espace de travail Databricks. Valeur par défaut: None
resource_id	str ID de ressource Azure pour la ressource de calcul qui est attachée. Valeur par défaut: None
access_token Obligatoire	str Jeton d’accès de la ressource de calcul attachée.

Retours

Type	Description
DatabricksAttachConfiguration	Objet de configuration à utiliser quand un objet Compute est joint.

Exceptions

Type	Description
ComputeTargetException

delete

La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.

delete()

Exceptions

Type	Description
ComputeTargetException

deserialize

Convertit un objet JSON en objet DatabricksCompute.

static deserialize(workspace, object_dict)

Paramètres

Nom	Description
workspace Obligatoire	Workspace Objet d’espace de travail auquel l’objet DatabricksCompute est associé.
object_dict Obligatoire	dict Objet JSON à convertir en objet DatabricksCompute.

Retours

Type	Description
DatabricksCompute	Représentation sous forme d’objet DatabricksCompute de l’objet JSON fourni.

Exceptions

Type	Description
ComputeTargetException

Remarques

Lève une ComputeTargetException si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.

detach

Détache l’objet Databricks de son espace de travail associé.

Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.

detach()

Exceptions

Type	Description
ComputeTargetException

get_credentials

Récupère les informations d’identification de la cible Databricks.

get_credentials()

Retours

Type	Description
dict	Informations d’identification de la cible Databricks.

Exceptions

Type	Description
ComputeTargetException

refresh_state

Effectue une mise à jour sur place des propriétés de l’objet.

Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.

refresh_state()

Exceptions

Type	Description
ComputeTargetException

serialize

Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON.

serialize()

Retours

Type	Description
dict	Représentation JSON de cet objet DatabricksCompute.

Exceptions

Type	Description
ComputeTargetException

Partager via

DatabricksCompute Classe

Constructeur

Paramètres

Remarques

Méthodes

attach

Paramètres

Retours

Exceptions

attach_configuration

Paramètres

Retours

Exceptions

delete

Exceptions

deserialize

Paramètres

Retours

Exceptions

Remarques

detach

Exceptions

get_credentials

Retours

Exceptions

refresh_state

Exceptions

serialize

Retours

Exceptions

Commentaires

Ressources supplémentaires