Databricks Komut Sistemini AI Çalışma Zamanı ile kullanın

Important

AI Çalışma Zamanı için Databricks CLI komutları Kamu Önizleme aşamasındadır. İş yüklerini gönderebilmeniz için bir çalışma alanı yöneticisinin Yapay Zekâ Çalışma Zamanı önizlemesini etkinleştirmesi gerekir. Gereksinimlere bakınız.

CLI, talep üzerine sunucusuz GPU hesaplama platformu AI Runtime üzerinde tek ve çok düğümlü GPU iş yüklerini çalıştırır. Bir iş yükünün hesaplama, ortam ve komutunu YAML'de tanımlayın, ardından bunu databricks air run ile gönderin.

AI Runtime, GPU provisioning ve ortam kurulumunu yönetir ve çalışma durumu, loglar, sistem metrikleri ve MLflow takibi sağlar. YAML ve CLI iş akışı, kodlama ajanlarıyla doğal olarak çalışır; bu ajanlar iş yüklerini tanımlayabilir, gönderebilir ve izleyebilir.

CLI'yı şu şekilde kullanın:

  • Yerel ortamınızdan Python uygulamaları geliştirin ve yineleyin.
  • YAML dosyalarında sürüm kontrolünde tutabileceğiniz tekrarlanabilir tek veya çok düğümlü iş yüklerini tanımlayın.
  • İş yüklerini terminal veya otomatik geliştirme iş akışından gönderin ve yönetin.

Tipik iş yükleri arasında LLM ince ayarı ve eğitim sonrası ayarlama, dağıtık eğitim, toplu çıkarım işlemi, Ray uygulamaları ve hiperparametre araması bulunur.

Bir iş yükü göndermek için quickstart'ı izleyin.

AI Çalışma Zamanı için Databricks CLI komutları, AI Çalışma Zamanı iş yükleriyle aynı uyumluluk standartlarını karşılar. Desteklenen standartlar ve özel durumlar için bkz. uyumluluk güvenlik profili.

Note

databricks air komutları ve iş yükü yapılandırması, air paketindeki eski Python tabanlı databricks-air CLI'dan farklıdır. Python CLI göçüne bakınız.

Koşulabilir örnekleri keşfedin

AI Runtime Cookbook, model eğitimi, ince ayarlama, toplu çıkarım, Ray ve hiperparametre araması için çalıştırılabilir Databricks CLI iş yükleri içerir. Her tarif, bir iş yükü YAML dosyası, kaynak kodu ve çalıştırma talimatları içerir.

Bir iş yükü nasıl çalışır

Bir iş yükü YAML dosyası, gerektiğinde uygulama kodu ve uygulamanızı başlatan komutu sağlarsınız. Bir iş yükü gönderdiğinizde:

  1. İş yükü tanımı, desteklenen şema ve yapılandırma kısıtlamalarına göre doğrulanır.
  2. Eğer code_source yapılandırılırsa, seçilen kod bir anlık görüntü olarak paketlenir ve yüklenir.
  3. İstenen GPU hesaplama kaynağı ve ortam her düğümde hazırlanır.
  4. YAML iş yükünde verilen komut her düğümde çalışır.

Gönderim, iş yükünü tanımlayan bir Job Run ID döndürür. Durumu kontrol etmek, kayıtları ve yapılandırmayı incelemek veya iş yükünü iptal etmek için kullanın. Ayrıca yürütme ayrıntılarını, sistem metriklerini, günlükleri ve artefaktları görüntülemek için Jobs çalıştırma sayfasını ve MLflow deneyini de görüntüleyebilirsiniz.

Bu iş akışı, GPU altyapısını yapılandırmak veya bakım yapmak zorunda kalmadan yönetilen GPU sağlama, tekrarlanabilir ortam kurulumu ve yerleşik gözlemlenebilirlik sağlar.

İş yükü yapılandırması

Bir iş yükü YAML dosyası aşağıdaki bileşenleri tanımlar:

  • Deney: İş yükünü izleyen MLflow deneyi ve çalıştırma.
  • Ortam: Kullanılacak yönetilen ortam, bağımlılıklar veya özel Docker görüntüsü.
  • Hesaplama: Sağlanacak hızlandırıcı türü ve sayısı.
  • Kod kaynağı: İş yükünün kullanımına sunulacak isteğe bağlı bir uygulama kodu anlık görüntüsü.
  • Komut: Uygulamanızı başlatan shell komutu.
  • Çalışma zamanı ayarları: Denemeler, zaman aşımları, ortam değişkenleri, sırlar ve izinler gibi seçenekler.

Yapılandırma alanları ve örnekler için Workload YAML referansına bakınız.

Uygulama kodunu yükle

Başvuru dosyalarını bir iş yükü kullanarak yüklemek için code_source kullanılır. AI Runtime, yüklenen dizini her düğümde erişilebilir kılar ve $CODE_SOURCE_PATH öğesini bu dizinin konumuna ayarlar. Örneğin, aşağıdaki komut yüklenen dizinden train.py öğesini çalıştırır:

command: python "$CODE_SOURCE_PATH/train.py"

Mevcut çalışma ağacını yükleyebilir veya bir Git dalı veya commit seçebilirsiniz. Tam bir örnek için quickstart'a bakınız.

İş yüklerini oluşturmak ve yönetmek

Geliştirme genellikle bu süreci takip eder:

  1. Uygulama kodunu ve iş yükü YAML'sini yerel olarak geliştirin.
  2. YAML'yi yerel olarak databricks air run --file <file> --dry-run ile doğrulayın.
  3. İş yükünü databricks air run --file <file> ile gönderin. Çalıştırma bitene kadar akış günlüklerine --watch ekleyin.
  4. databricks air get, databricks air list ve databricks air logs kullanarak iş yüklerini ve günlükleri inceleyin.
  5. İsteğe bağlı olarak, çalışan bir iş yükünü databricks air cancel ile durdurabilirsiniz.

Tüm komutlar ve bayraklar için air komut grubuna bakınız.

Zamanlanmış çalıştırmalar, çok görevli iş akışları veya ortamlar arasında taşıma için, databricks air convert-to-dabs öğesini bir paket için başlangıç noktası olarak kullanabilirsiniz. Bkz. GPU iş yüklerini planlayın ve görevleri oluşturun

MLflow ile iş yüklerini takip edin

Her gönderilen iş yükü, bir Databricks işi çalıştırmasıyla temsil edilir ve bir MLflow deneyi aracılığıyla izlenir:

  • Databricks iş çalıştırması: İşler çalıştırma sayfasında iş yükü durumu, yürütme denemeleri ve çıktıyı gösterir.
  • MLflow deneyi: Otomatik olarak yakalanan sistem metrikleri, iş yükü yapılandırması ve loglarla birlikte MLflow çalışmalarını içerir. Uygulamanız ayrıca MLflow API'lerini kullanarak özel parametreleri, metrikleri ve artefaktları kaydedebilir.

Job Run ID'yi databricks air cancel, databricks air get ve databricks air logs gibi komutlarla kullanın. Bkz. Deney takibi ve gözlemlenebilirlik.

Tek düğümlü ve dağıtık iş yüklerini çalıştırın

AI Runtime, yapılandırılmış komutu her hazırlanan düğümde bir kez çalıştırır. Dağıtık bir iş yükü için, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, MASTER_PORT ve NUM_NODES gibi koordinasyon değişkenleri sağlar.

Bu yürütme modeli çerçeveden bağımsızdır. Komutunuz, örneğin torchrunbir Ray bootstrap betiği veya başka bir framework başlatıcısı çağırarak dağıtık framework'ü başlatmalı ve yapılandırmalı. Tam iş yükleri için AI Runtime Cookbook'a bakınız.

Bir yapay zeka ajanı kullanın

databricks-ai-runtime agent skill, Claude Code, Cursor ve Codex gibi yapay zeka ajanlarının Databricks CLI üzerinden AI Runtime ile çalışmalarına yardımcı olan talimatlar sağlar. Bunu iş yükü YAML’si oluşturmak, GPU eğitim işlerini göndermek, çalışma durumunu kontrol etmek, log akışını izlemek ve çalıştırmaları iptal etmek için kullanın. Ayrıca özel Docker imajları için rehberlik de içerir.

Databricks CLI'sını yükleyip kimlik doğrulamayı yapılandırdıktan sonra aşağıdaki komutu çalıştırın:

databricks aitools install --skills-only --skills databricks-ai-runtime

Yapay zeka ajanınızı ve kurulum kapsamınızı seçmek için talimatları takip edin. Kurulum seçenekleri için aitoolskomut grubuna bakınız.

Ek kaynaklar

  • Son güncelleştirme: