Připojit se k AI runtime

Důležité

Modul runtime AI pro úlohy s jedním uzlem je ve verzi Public Preview. Distribuované trénovací rozhraní API pro úlohy s více GPU zůstává v beta verzi.

Připojte se k prostředí AI Runtime z interaktivních poznámkových bloků, integrovaného vývojového prostředí (IDE) prostřednictvím tunelu SSH, plánovaných úloh, rozhraní API úloh nebo balíčků deklarativní automatizace. Připojení poznámkového bloku k AI Runtime je primárním způsobem spouštění trénovacích a vyladěných úloh a můžete naplánovat stejné poznámkové bloky jako opakované úlohy nebo je automatizovat v kanálech nasazení.

Interactive (Poznámkové bloky)

Toto je primární způsob použití modulu runtime AI. Chcete-li připojit notebook a nastavit prostředí:

  1. V notebooku klikněte na rozevírací nabídku výpočet v horní části a vyberte bezserverové GPU.
  2. Kliknutím na ikonu Prostředí otevřete boční panel Prostředí .
  3. V poli Akcelerátor vyberte akcelerátor . U distribuovaných trénovacích úloh vyberte 8xH100. Pokyny k výběru akcelerátoru najdete v tématu Možnosti hardwaru .
  4. V poli Základní prostředí vyberte Standard v5 nebo Standard v4 nebo AI v5 nebo AI v4 pro prostředí AI.
  5. Klikněte na Použít a poté Potvrďte, že chcete použít modul runtime AI pro prostředí poznámkového bloku.

Poznámka:

Připojení k výpočetnímu prostředí se automaticky ukončí po 60 minutách nečinnosti.

Návod

Pro operace, které nevyžadují GPU (například klonování úložiště Git, převod formátů dat nebo průzkumná analýza dat), připojte poznámkový blok ke clusteru procesoru, aby se zachovaly prostředky GPU.

Připojení z terminálu IDE

Pomocí tunelu SSH se můžete připojit k modulu runtime AI na bezserverovém výpočetním prostředí GPU přímo z terminálu v integrovaném vývojovém prostředí ( IDE).

Pokud se chcete připojit k prostředí AI Runtime, spusťte databricks ssh connect příkaz s --accelerator možností z terminálu v integrovaném vývojovém prostředí (IDE). Nevyžaduje se žádný samostatný krok nastavení. Další informace o příkazu naleznete ssh ve skupině příkazů.

databricks ssh connect --accelerator=GPU_1xA10

Chcete-li se připojit a zahájit relaci ve Visual Studio Code nebo Cursoru, použijte možnost --ide. Rozhraní příkazového řádku otevře okno integrovaného vývojového prostředí odkazující na složku domovského pracovního prostoru.

databricks ssh connect --ide=vscode

Další podrobnosti o nastavení, otevírání projektů a spouštění kódu najdete v tématu Připojení k Databricks pomocí tunelu SSH.

Úlohy (naplánované)

Poznámkové bloky, které používají AI Runtime, můžete naplánovat jako opakované úlohy. Další podrobnosti najdete v tématu Vytvoření a správa naplánovaných úloh poznámkového bloku .

Po otevření poznámkového bloku, který chcete použít:

  1. Vyberte tlačítko Plán v pravém horním rohu.
  2. Vyberte Přidat plán.
  3. Vyplňte formulář Nový plánnázvem úlohy, plánem a výpočetními prostředky.
  4. Vyberte Vytvořit.

Úlohy můžete také vytvářet a plánovat z uživatelského rozhraní Úlohy a kanály . Podrobné pokyny najdete v tématu Vytvoření nové úlohy .

Poznámka:

Přidání závislostí pomocí panelu Prostředí není podporováno pro naplánované úlohy modulu runtime AI. Závislosti musí být nainstalovány programově v rámci poznámkového bloku (například %pip install). Automatické obnovení se nepodporuje. Pokud vaše úloha selže kvůli nekompatibilním balíčkům, musíte ji opravit a znovu spustit ručně.

U úloh, které mohou překročit 7denní maximální dobu běhu, implementujte ruční kontrolní body pro umožnění obnovení. Doporučujeme používat svazky katalogu Unity prostřednictvím UCVolumeWriter a UCVolumeReader z serverless_gpu.data. Viz Ukládání kontrolních bodů modelu.

Rozhraní API pro úlohy a deklarativní balíčky automatizace

Úlohy běhového prostředí AI můžete programově vytvářet a spravovat pomocí rozhraní Databricks Jobs API nebo Deklarativních automatizačních balíčků. Nakonfigurujte v úloze nebo definici sady výpočetních prostředků typ výpočetního objektu jako bezserverový GPU, aby se zautomatizovaly kanály nasazení.

Následující příklad ukazuje konfiguraci deklarativních balíčků automation pro úlohu modulu runtime AI pomocí standardního prostředí:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '4'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Pokud chcete místo standardního prostředí použít prostředí Databricks AI, nastavte base_environment v prostředí databricks_ai_v5 identifikátor prostředí AI (například spec pro AI v5) a odkazujte na něj z úlohyenvironment_key:

Důležité

Výběr prostředí Databricks AI jako základního prostředí pracovního prostoru je v beta verzi a vyžaduje, aby se přihlásil správce pracovního prostoru. Viz Sestavení pro výpočetní prostředí GPU bez serveru (AI Runtime).

resources:
  jobs:
    sample_job:
      name: sample_job_aiv5_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv5
          spec:
            base_environment: databricks_ai_v5

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv5
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on