DatabricksCompute Classe
Gère une cible de calcul Databricks dans Azure Machine Learning.
Azure Databricks est un environnement basé sur Apache Spark dans le cloud Azure. Il peut être utilisé comme cible de calcul avec un pipeline Azure Machine Learning. Pour plus d’informations, consultez Qu’est-ce qu’une cible de calcul dans Azure Machine Learning ?
Constructeur ComputeTarget de classe.
Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Retourne une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.
- Héritage
-
DatabricksCompute
Constructeur
DatabricksCompute(workspace, name)Paramètres
- workspace
- Workspace
Objet d’espace de travail contenant l’objet DatabricksCompute à récupérer.
- workspace
- Workspace
Objet de l’espace de travail contenant l’objet de calcul à récupérer.
Remarques
L’exemple suivant montre comment attacher Azure Databricks en tant que cible de calcul.
# Replace with your account info before running.
db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token
try:
databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
print('Compute target {} already exists'.format(db_compute_name))
except ComputeTargetException:
print('Compute not found, will use below parameters to attach new one')
print('db_compute_name {}'.format(db_compute_name))
print('db_resource_group {}'.format(db_resource_group))
print('db_workspace_name {}'.format(db_workspace_name))
print('db_access_token {}'.format(db_access_token))
config = DatabricksCompute.attach_configuration(
resource_group = db_resource_group,
workspace_name = db_workspace_name,
access_token= db_access_token)
databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
databricks_compute.wait_for_completion(True)
Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb
Méthodes
| attach |
DÉPRÉCIÉ. Utilisez plutôt la méthode Associe une ressource de calcul Databricks existante à l’espace de travail fourni. |
| attach_configuration |
Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks. |
| delete |
La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place. |
| deserialize |
Convertit un objet JSON en objet DatabricksCompute. |
| detach |
Détache l’objet Databricks de son espace de travail associé. Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée. |
| get_credentials |
Récupère les informations d’identification de la cible Databricks. |
| refresh_state |
Effectue une mise à jour sur place des propriétés de l’objet. Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul. |
| serialize |
Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON. |
attach
DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration.
Associe une ressource de calcul Databricks existante à l’espace de travail fourni.
static attach(workspace, name, resource_id, access_token)Paramètres
- workspace
- Workspace
Objet d’espace de travail avec lequel associer la ressource de calcul.
- name
- str
Nom à associer à la ressource de calcul dans l’espace de travail fourni. Ne doit pas nécessairement correspondre au nom de la ressource de calcul à joindre.
Retours
Représentation sous forme d’objet DatabricksCompute de l’objet de calcul.
Type de retour
Exceptions
attach_configuration
Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks.
static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')Paramètres
- resource_group
- str
Nom du groupe de ressources dans lequel se trouve le cluster Databricks.
- resource_id
- str
ID de ressource Azure pour la ressource de calcul qui est attachée.
Retours
Objet de configuration à utiliser quand un objet Compute est joint.
Type de retour
Exceptions
delete
La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.
delete()Exceptions
deserialize
Convertit un objet JSON en objet DatabricksCompute.
static deserialize(workspace, object_dict)Paramètres
- workspace
- Workspace
Objet d’espace de travail auquel l’objet DatabricksCompute est associé.
Retours
Représentation sous forme d’objet DatabricksCompute de l’objet JSON fourni.
Type de retour
Exceptions
Remarques
Lève une ComputeTargetException si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.
detach
Détache l’objet Databricks de son espace de travail associé.
Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
detach()Exceptions
get_credentials
Récupère les informations d’identification de la cible Databricks.
get_credentials()Retours
Informations d’identification de la cible Databricks.
Type de retour
Exceptions
refresh_state
Effectue une mise à jour sur place des propriétés de l’objet.
Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.
refresh_state()Exceptions
serialize
Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON.
serialize()Retours
Représentation JSON de cet objet DatabricksCompute.
Type de retour
Exceptions
Commentaires
Envoyer et afficher des commentaires pour