Hubungkan ke AI Runtime dari notebook

Penting

Fitur ini ada di Pratinjau Umum.

Menghubungkan notebook ke AI Runtime adalah cara utama untuk menjalankan pelatihan dan penyesuaian beban kerja. Anda mengembangkan secara interaktif terhadap GPU, lalu menjadwalkan notebook yang sama sebagai pekerjaan berulang saat siap untuk produksi.

Petunjuk / Saran

• Pasang notebook ke GPU tanpa server untuk mengembangkan secara interaktif di GPU, tanpa pengaturan cluster.
• Jadwalkan notebook yang sama sebagai job berkala melalui UI notebook, Jobs API, atau Declarative Automation Bundles.
• Untuk pelatihan multi-GPU dari notebook, lihat Pelatihan terdistribusi di notebook.

Petunjuk / Saran

Halaman ini membahas buku catatan. Untuk mengakses AI Runtime dengan cara lain, lihat cara terhubung dari IDE melalui terowongan SSH, kirim job dari laptop Anda dengan AI Runtime CLI, atau jalankan Ray. Untuk memproduksi kode pelatihan (bukan notebook) dengan Bundel Otomasi Deklaratif, lihat Produksi beban kerja pelatihan.

Terhubung ke notebook

Ini adalah cara utama untuk menggunakan Runtime AI. Untuk menyambungkan buku catatan Anda dan mengonfigurasi lingkungan:

1. Dari buku catatan, klik menu drop-down komputasi di bagian atas dan pilih GPU Tanpa Server.

   

2. Klik untuk membuka panel sisi Lingkungan .

3. Pilih akselerator dari bidang Akselerator . Untuk beban kerja pelatihan terdistribusi, pilih 8xH100. Lihat Opsi perangkat keras untuk panduan memilih akselerator.

4. Pilih Standard v6 untuk lingkungan Standar, atau AI v6 untuk lingkungan AI, dari kolom lingkungan Dasar .

5. Klik Terapkan lalu Konfirmasikan bahwa Anda ingin menerapkan Runtime AI ke lingkungan buku catatan Anda.

   

Nota

Koneksi ke komputasi Anda berakhir secara otomatis setelah 60 menit tidak aktif.

Petunjuk / Saran

Untuk operasi yang tidak memerlukan GPU (misalnya, mengkloning repositori Git, mengonversi format data, atau analisis data eksploratif), lampirkan notebook Anda ke kluster CPU untuk mempertahankan sumber daya GPU.

Jadwalkan buku catatan

Anda dapat menjadwalkan notebook yang menggunakan AI Runtime sebagai pekerjaan berulang, baik dari UI notebook maupun secara programatik. Lihat Membuat dan mengelola pekerjaan buku catatan terjadwal untuk detail selengkapnya.

Penting

Menjalankan pekerjaan notebook terjadwal yang menggunakan lingkungan basis workspace, termasuk lingkungan AI Databricks, masih dalam tahap Beta. Admin workspace harus mengaktifkan dukungan lingkungan dasar workspace tanpa server dalam pratinjau Jobs . Lihat Kelola Pratinjau Azure Databricks.

Untuk menjadwalkannya dari notebook yang ingin Anda jalankan:

1. Pilih tombol Jadwalkan di kanan atas.
2. Pilih Tambahkan jadwal.
3. Isi formulir Jadwal baru dengan Nama pekerjaan, Jadwal, dan Komputasi.
4. Pilih Buat.

Anda juga dapat membuat dan menjadwalkan pekerjaan dari antarmuka pengguna Pekerjaan dan alur . Lihat Membuat pekerjaan baru untuk panduan langkah demi langkah.

Nota

Menambahkan dependensi menggunakan panel Lingkungan tidak didukung untuk pekerjaan yang dijadwalkan dalam Runtime AI. Dependensi harus diinstal secara terprogram dalam notebook Anda (misalnya, %pip install). Pemulihan otomatis tidak didukung. Jika pekerjaan Anda gagal karena paket yang tidak kompatibel, Anda harus memperbaiki dan menjalankan kembali secara manual.

Untuk beban kerja yang mungkin melebihi runtime maksimum 7 hari, terapkan titik pemeriksaan manual untuk memungkinkan dimulainya kembali. Kami merekomendasikan penggunaan volume Unity Catalog melalui UCVolumeWriter dan UCVolumeReader dari serverless_gpu.data. Lihat Titik pemeriksaan model.

Menjadwalkan dengan Jobs API dan Paket Otomasi Deklaratif

Anda dapat membuat dan mengelola pekerjaan notebook AI Runtime secara programatik menggunakan Databricks Jobs API atau Bundel Otomatisasi Deklaratif. Konfigurasikan jenis komputasi sebagai GPU tanpa server dalam definisi pekerjaan atau bundel Anda untuk mengotomatiskan alur penyebaran.

Untuk menjalankan perintah pelatihan Anda sendiri pada direktori kode alih-alih notebook, serta membangun pekerjaan multi-tugas dan pipeline terjadwal, lihat Produksikan beban kerja pelatihan.

Contoh berikut menunjukkan konfigurasi Declarative Automation Bundles untuk tugas notebook AI Runtime terjadwal yang menggunakan lingkungan Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Untuk menggunakan lingkungan AI Databricks sebagai pengganti lingkungan Standar, atur base_environment ke pengenal lingkungan AI (misalnya, databricks_ai_v6 untuk AI v6) di lingkungan spec dan referensikan dari tugas environment_keytersebut :

Penting

Memilih lingkungan AI Databricks sebagai lingkungan dasar workspace dalam sebuah pekerjaan masih dalam tahap Beta. Admin workspace harus mengaktifkan dukungan lingkungan dasar workspace tanpa server dalam pratinjau Jobs . Lihat Kelola Pratinjau Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100