Connectez-vous à l’exécution IA depuis un ordinateur portable

Important

Cette fonctionnalité est disponible en préversion publique.

Associer un notebook à AI Runtime est le principal moyen d’exécuter des charges de travail d’entraînement et de fine-tuning. Vous développez de manière interactive sur un GPU, puis programmez ce même notebook en tant que tâche récurrente une fois prêt pour la production.

Conseil / Astuce

  • Connectez un notebook à un GPU serverless pour développer de manière interactive sur un GPU, sans configuration de cluster.
  • Programmez le même notebook comme un job récurrent depuis l’interface du notebook, l’API des jobs ou les Declarative Automation Bundles.
  • Pour l’entraînement multi-GPU dans un notebook, consultez Entraînement distribué dans des notebooks.

Conseil / Astuce

Cette page couvre les carnets. Pour accéder à AI Runtime autrement, voir connecter depuis un IDE via un tunnel SSH, soumettre des tâches depuis votre ordinateur portable avec la CLI AI Runtime, ou exécuter Ray. Pour mettre en production du code d’entraînement (pas un notebook) avec les Declarative Automation Bundles, voir Mettre en production les charges de travail d’entraînement.

Connectez-vous à un carnet

Il s’agit du principal moyen d’utiliser AI Runtime. Pour connecter votre notebook et configurer l’environnement :

  1. Dans un bloc-notes, cliquez sur le menu déroulant de calcul en haut et sélectionnez GPU serverless.

    Le menu déroulant des ressources de calcul du notebook, où GPU serverless est sélectionné comme ressource de calcul pour un notebook de runtime d’IA.

  2. Cliquez sur l’icône Environnement. Pour ouvrir le volet latéral Environnement .

  3. Sélectionnez un accélérateur dans le champ Accélérateur . Pour les charges de travail d’entraînement distribuées, sélectionnez 8xH100. Voir Options matérielles pour des conseils sur le choix d’un accélérateur.

  4. Sélectionnez Standard v6 pour l’environnement Standard, ou AI v6 pour l’environnement IA, depuis le champ Environnement de base .

  5. Cliquez sur Appliquer , puis Confirmez que vous souhaitez appliquer le runtime IA à votre environnement de notebook.

    Le panneau latéral Environnement affichant les champs Accélérateur et Environnement de base pour un notebook AI Runtime.

Note

La connexion à votre calcul se termine automatiquement après 60 minutes d’inactivité.

Conseil / Astuce

Pour les opérations qui ne nécessitent pas de GPU (par exemple, clonage d’un référentiel Git, conversion de formats de données ou analyse exploratoire des données), attachez votre bloc-notes à un cluster d’UC pour préserver les ressources GPU.

Planifier un bloc-notes

Vous pouvez programmer des notebooks utilisant AI Runtime comme tâches récurrentes, soit depuis l’interface du notebook, soit de manière programmatique. Pour en savoir plus, consultez Créer et gérer des travaux de notebook planifiés.

Important

L’exécution d’un travail de notebook planifié utilisant un environnement de base de workspace, y compris l’environnement IA Databricks, est en version Bêta. Un administrateur de l’espace de travail doit activer la prise en charge de l’environnement de base de l’espace de travail sans serveur dans la préversion de Jobs. Consultez Gérer les préversions d’Azure Databricks.

Pour planifier depuis le carnet que vous souhaitez exécuter :

  1. Sélectionnez le bouton Planification en haut à droite.
  2. Sélectionnez Ajouter une planification.
  3. Remplissez le formulaire Nouvelle planification avec le nom du travail, la planification et le ressources de calcul.
  4. Cliquez sur Créer.

Le nouveau formulaire de planification affichant les champs Nom de la tâche, Planification et Calcul pour une tâche de notebook planifiée.

Vous pouvez également créer et planifier des travaux à partir de l’interface utilisateur travaux et pipelines . Consultez Créer un travail pour obtenir des instructions pas à pas.

Note

L’ajout de dépendances à l’aide du panneau Environnements n’est pas pris en charge pour les travaux planifiés d’AI Runtime. Les dépendances doivent être installées de manière programmatique dans votre notebook (par exemple, %pip install). La récupération automatique n’est pas prise en charge. Si votre travail échoue en raison de packages incompatibles, vous devez corriger et réexécuter manuellement.

Pour les charges de travail qui peuvent dépasser le runtime maximal de 7 jours, implémentez des points de contrôle manuels pour permettre la reprise. Nous vous recommandons d’utiliser des volumes Unity Catalog à l’aide de UCVolumeWriter et UCVolumeReader à partir de serverless_gpu.data. Consultez la section Enregistrement de points de contrôle du modèle.

Planifier avec l’API Jobs et les Packs d’automatisation déclarative

Vous pouvez créer et gérer par programmation des tâches de notebook AI Runtime à l’aide de l’API Databricks Jobs ou de Declarative Automation Bundles. Configurez le type de calcul en tant que GPU sans serveur dans votre travail ou définition de bundle pour automatiser les pipelines de déploiement.

Pour exécuter votre propre commande d’entraînement sur un répertoire de code au lieu d’un notebook, et pour créer des tâches multi-tâches et des pipelines planifiés, voir Industrialiser les charges de travail d’entraînement.

L’exemple suivant montre une configuration des Declarative Automation Bundles pour un travail de notebook IA Runtime planifié utilisant l’environnement Standard :

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Pour utiliser l’environnement IA Databricks au lieu de l’environnement standard, définissez base_environment l’identifiant d’environnement IA (par exemple, databricks_ai_v6 pour AI v6) dans l’environnement spec et référez-le à partir des fichiers de la tâche environment_key:

Important

La sélection d’un environnement IA Databricks comme environnement de base d’espace de travail dans un poste est en version Bêta. Un administrateur de l’espace de travail doit activer la prise en charge de l’environnement de base de l’espace de travail sans serveur dans la préversion de Jobs. Consultez Gérer les préversions d’Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on