Hubungkan ke Runtime AI

Penting

Fitur ini ada di Pratinjau Umum.

Hubungkan ke AI Runtime dari notebook interaktif, IDE melalui tunnel SSH, pekerjaan terjadwal, Jobs API, atau Bundel Otomatisasi Deklaratif. Melampirkan notebook ke Runtime AI adalah cara utama untuk menjalankan beban kerja pelatihan dan penyempurnaan, dan Anda dapat menjadwalkan notebook yang sama dengan pekerjaan berulang atau mengotomatiskannya dalam alur penyebaran.

Interaktif (Notebooks)

Ini adalah cara utama untuk menggunakan Runtime AI. Untuk menyambungkan buku catatan Anda dan mengonfigurasi lingkungan:

  1. Dari buku catatan, klik menu drop-down komputasi di bagian atas dan pilih GPU Tanpa Server.
  2. Klik ikon Lingkungan. untuk membuka panel sisi Lingkungan .
  3. Pilih akselerator dari bidang Akselerator . Untuk beban kerja pelatihan terdistribusi, pilih 8xH100. Lihat Opsi perangkat keras untuk panduan tentang memilih akselerator.
  4. Pilih Standar v5 atau Standar v4 untuk lingkungan Standar, atau AI v5 atau AI v4 untuk lingkungan AI, dari bidang Lingkungan dasar .
  5. Klik Terapkan lalu Konfirmasikan bahwa Anda ingin menerapkan Runtime AI ke lingkungan buku catatan Anda.

Nota

Koneksi ke komputasi Anda berakhir secara otomatis setelah 60 menit tidak aktif.

Petunjuk / Saran

Untuk operasi yang tidak memerlukan GPU (misalnya, mengkloning repositori Git, mengonversi format data, atau analisis data eksploratif), lampirkan notebook Anda ke kluster CPU untuk mempertahankan sumber daya GPU.

Menghubungkan dari terminal IDE

Anda dapat terhubung ke AI Runtime pada komputasi GPU tanpa server langsung dari terminal di IDE Anda melalui terowongan SSH.

Untuk terhubung ke AI Runtime, jalankan perintah databricks ssh connect dengan opsi --accelerator dari terminal di dalam IDE Anda. Tidak diperlukan langkah penyiapan terpisah. Untuk informasi selengkapnya tentang perintah, lihat ssh grup perintah.

databricks ssh connect --accelerator=GPU_1xA10

Untuk menyambungkan dan memulai sesi di Visual Studio Code atau Kursor, gunakan --ide opsi . CLI membuka jendela IDE yang menunjuk ke folder ruang kerja rumah.

databricks ssh connect --ide=vscode

Untuk detail selengkapnya tentang penyiapan, membuka proyek, dan menjalankan kode, lihat Menyambungkan ke Databricks menggunakan terowongan SSH.

Pekerjaan (Terjadwal)

Anda dapat menjadwalkan notebook yang menggunakan Runtime AI sebagai pekerjaan berulang. Lihat Membuat dan mengelola pekerjaan buku catatan terjadwal untuk detail selengkapnya.

Setelah Anda membuka buku catatan yang ingin Anda gunakan:

  1. Pilih tombol Jadwalkan di kanan atas.
  2. Pilih Tambahkan jadwal.
  3. Isi formulir Jadwal baru dengan Nama pekerjaan, Jadwal, dan Komputasi.
  4. Pilih Buat.

Anda juga dapat membuat dan menjadwalkan pekerjaan dari antarmuka pengguna Pekerjaan dan alur . Lihat Membuat pekerjaan baru untuk panduan langkah demi langkah.

Nota

Menambahkan dependensi menggunakan panel Lingkungan tidak didukung untuk pekerjaan yang dijadwalkan dalam Runtime AI. Dependensi harus diinstal secara terprogram dalam notebook Anda (misalnya, %pip install). Pemulihan otomatis tidak didukung. Jika pekerjaan Anda gagal karena paket yang tidak kompatibel, Anda harus memperbaiki dan menjalankan kembali secara manual.

Untuk beban kerja yang mungkin melebihi runtime maksimum 7 hari, terapkan titik pemeriksaan manual untuk memungkinkan dimulainya kembali. Kami merekomendasikan penggunaan volume Unity Catalog melalui UCVolumeWriter dan UCVolumeReader dari serverless_gpu.data. Lihat Titik pemeriksaan model.

Jobs API dan bundel otomatisasi deklaratif

Anda dapat membuat dan mengelola pekerjaan Runtime AI secara terprogram menggunakan Databricks Jobs API atau Bundel Otomatisasi Deklaratif. Konfigurasikan jenis komputasi sebagai GPU tanpa server dalam definisi pekerjaan atau bundel Anda untuk mengotomatiskan alur penyebaran.

Contoh berikut menunjukkan konfigurasi Bundel Otomatisasi Deklaratif untuk pekerjaan Runtime AI menggunakan lingkungan Standar:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '4'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Untuk menggunakan lingkungan AI Databricks alih-alih lingkungan Standar, atur base_environment ke pengidentifikasi lingkungan AI (misalnya, databricks_ai_v5 untuk AI v5) di lingkungan spec dan referensikan dari tugas environment_key:

Penting

Memilih lingkungan AI Databricks sebagai lingkungan dasar ruang kerja berada di Beta dan mengharuskan admin ruang kerja untuk ikut serta. Lihat Membangun untuk komputasi GPU tanpa server (AI Runtime).

resources:
  jobs:
    sample_job:
      name: sample_job_aiv5_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv5
          spec:
            base_environment: databricks_ai_v5

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv5
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on