Połącz się z AI Runtime z notebooka

Ważna

Ta funkcja jest dostępna w publicznej wersji testowej.

Dołączenie notebooka do AI Runtime to podstawowy sposób na uruchamianie treningów i dopracowywanie obciążeń. Interaktywnie tworzysz na GPU, a następnie harmonogramujesz ten sam notatnik jako zadanie cykliczne, gdy jest gotowy do wdrożenia produkcyjnego.

Wskazówka

  • Dołącz notebook do bezserwerowego GPU, aby interaktywnie pracować z użyciem GPU, bez konfiguracji klastra.
  • Zaplanuj ten sam notebook jako zadanie cykliczne w interfejsie użytkownika notebooka, za pomocą interfejsu Jobs API lub za pomocą Declarative Automation Bundles.
  • Aby trenować na wielu procesorach GPU w notatniku, zobacz Trenowanie rozproszone w notatnikach.

Wskazówka

Ta strona dotyczy laptopów. Aby dotrzeć do AI Runtime w inny sposób, zobacz: połącz się z IDE przez tunel SSH, zgładaj zadania z laptopa za pomocą Use the Databricks CLI with AI Runtime lub uruchom Ray. Aby wyprodukować kod treningowy (nie notatnik) z pakietami Deklaratywnej Automatyzacji, zobacz Productionize training workloads.

Połącz się z notatnikiem

Jest to podstawowy sposób korzystania ze środowiska uruchomieniowego sztucznej inteligencji. Aby podłączyć notebook i skonfigurować środowisko:

  1. W notesie kliknij menu rozwijane obliczeniowe u góry i wybierz pozycję Bezserwerowy procesor GPU.

    Menu rozwijane zasobów obliczeniowych notebooka z wybranym trybem Serverless GPU jako zasobami obliczeniowymi dla notebooka AI Runtime.

  2. Kliknij ikonę Środowisko. Aby otworzyć panel boczny Środowisko .

  3. Wybierz akcelerator z pola Akcelerator. W przypadku obciążeń trenowania rozproszonego wybierz pozycję 8xH100. Zobacz Opcje sprzętowe , aby uzyskać wskazówki dotyczące wyboru akceleratora.

  4. Wybierz Standard v6 dla środowiska Standard lub AI v6 dla środowiska AI z pola Base environment (środowisko bazowe ).

  5. Kliknij przycisk Zastosuj , a następnie potwierdź , że chcesz zastosować środowisko uruchomieniowe sztucznej inteligencji do środowiska notesu.

    Panel boczny Środowiska pokazujący pola Akcelerator i Środowisko Bazowe dla notatnika AI Runtime.

Uwaga / Notatka

Połączenie z usługą obliczeniową automatycznie kończy się po 60 minutach braku aktywności.

Wskazówka

W przypadku operacji, które nie wymagają procesorów GPU (na przykład klonowania repozytorium Git, konwertowania formatów danych lub eksploracyjnej analizy danych), dołącz notes do klastra procesora CPU, aby zachować zasoby procesora GPU.

Zaplanuj notatnik

Możesz planować notatniki korzystające z AI Runtime jako zadania powtarzające się, zarówno z interfejsu notatnika, jak i programowo. Aby uzyskać więcej informacji, zobacz Tworzenie zaplanowanych zadań notesu i zarządzanie nimi .

Aby zaplanować z notatnika, który chcesz uruchomić:

  1. Wybierz przycisk Harmonogram w prawym górnym rogu.
  2. Wybierz pozycję Dodaj harmonogram.
  3. Wypełnij formularz Nowy harmonogramnazwą zadania, harmonogramem i obliczeniami.
  4. Wybierz Utwórz.

Nowy formularz harmonogramu pokazujący pola Nazwa zadania, Harmonogram i Obliczenia dla zaplanowanego zadania w notatniku.

Uwaga / Notatka

Dodawanie zależności przy użyciu panelu Środowiska nie jest obsługiwane w przypadku zaplanowanych zadań środowiska uruchomieniowego sztucznej inteligencji. Zależności muszą być instalowane programatycznie w ramach notatnika (na przykład %pip install). Automatyczne odzyskiwanie nie jest obsługiwane. Jeśli zadanie zakończy się niepowodzeniem z powodu niezgodnych pakietów, należy ręcznie naprawić i ponownie uruchomić.

W przypadku obciążeń, które mogą przekraczać maksymalny czas uruchomienia 7 dni, zaimplementuj ręczne tworzenie punktów kontrolnych, aby umożliwić kontynuację. Zalecamy używanie woluminów Unity Catalog przy użyciu UCVolumeWriter i UCVolumeReader z poziomu serverless_gpu.data. Zobacz Checkpoint with Distributed Checkpoint (DCP).

Harmonogram z interfejsem Jobs and Pipelines

Można również tworzyć i planować zadania za pomocą zadań i potoków UI. Zobacz Tworzenie nowego zadania , aby uzyskać szczegółowe wskazówki.

Tworzenie i planowanie zadania dla notatnika AI Runtime z interfejsu Jobs and pipelines.

Ważna

Uruchamianie zaplanowanego zadania notatnika, które korzysta z bazowego środowiska workspace, w tym środowiska AI Databricks, jest w fazie beta. Administrator obszaru roboczego musi włączyć wersję zapoznawczą obsługi bazowego środowiska obszaru roboczego Serverless w Zadaniach. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Harmonogram z pomocą API Jobs oraz pakietów automatyzacji deklaratywnej

Możesz programowo tworzyć i zarządzać zadaniami notatników AI Runtime, korzystając z Databricks Jobs API lub Declarative Automation Bundles. Skonfiguruj typ obliczeniowy jako bezserwerowy procesor GPU w definicji zadania lub pakietu, aby zautomatyzować potoki wdrażania.

Aby uruchomić własne polecenie treningowe na podstawie katalogu kodu zamiast notatnika, a także budować zadania wielozadaniowe i planowane potoki, zobacz Productionize training workloads.

Poniższy przykład przedstawia konfigurację pakietów automatyzacji deklaratywnej dla zaplanowanego zadania notatnika środowiska AI Runtime z użyciem środowiska Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Aby użyć środowiska AI Databricks zamiast środowiska standardowego, ustaw base_environment na identyfikator środowiska AI (na przykład databricks_ai_v6 dla AI v6) w parametrze środowiska spec i odwołaj się do niego w polu environment_key zadania:

Ważna

Wybór środowiska AI Databricks jako podstawowego środowiska obszaru roboczego w zadaniu jest dostępny w wersji beta. Administrator obszaru roboczego musi włączyć wersję zapoznawczą obsługi bazowego środowiska obszaru roboczego Serverless w Zadaniach. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on