Ortamınızı ayarlama

Önemli

Bu özellik Genel Önizleme aşamasındadır.

AI Runtime, sunucusuz GPU hesaplama için iki yönetilen Python ortamı sağlar. Standart ortam şunları içerir cuda. Ortamın 5. sürümünden itibaren, torch ve torchvision artık önceden yüklü değildir. Databricks’in yapay zeka ortamı, PyTorch, Transformers ve diğer makine öğrenimi ile derin öğrenme çerçeveleri önceden yüklenmiş olarak gelir. Bağımlılık yığınınız üzerinde tam denetim için Standart ortamı veya kullanıma hazır bir eğitim kurulumu için yapay zeka ortamını seçin. Her iki ortamdan da başlayarak kendiniz daha fazla paket yükleyebilirsiniz.

Tip

  • Bağımlılıklar üzerinde tam kontrol için Standard ortamı veya kullanıma hazır bir ML yığını için Databricks AI ortamını seçin.
  • Standart, cuda içerir. Çevre sürüm 5'ten itibaren, torch ve torchvision önceden yüklü değildir. Yapay zeka ortamı ise PyTorch, Transformers ve daha fazlasını ekliyor.
  • Daha fazla paketi %uv pip install ile (ortam sürümü 5 ve üzeri) ya da bir notebook’ta %pip install ile veya CLI’da environment.dependencies ile yükleyin.

Hangi ortamın kullanılacağı

AI Runtime iki yönetilen Python ortamı sunar: Standart ortam ve Databricks AI ortamı.

Çevre Temel özellikler Ne zaman kullanılır?
Standart ortam Minimal; cuda içerir. Ortam sürümü 5'ten itibaren torch ve torchvision artık önceden yüklü olarak gelmez. Bağımlılık yığınınız üzerinde tam denetime sahip olmak istiyorsunuz ve yalnızca ihtiyacınız olanı yüklemeyi tercih ediyorsunuz
Databricks AI ortamı Popüler ML çerçeveleri (PyTorch, Transformers ve daha fazlası) ile önceden yüklenmiş El ile bağımlılık yönetimi olmadan eğitim, ince ayar ve deneme için eksiksiz bir ortam istiyorsunuz

Ayrıca bir çalışma alanı yöneticisinin AI Çalışma Zamanı için oluşturduğu bir çalışma alanı temel ortamını da kullanabilirsiniz. Bkz. Sunucusuz GPU hesaplama için derleme (AI Runtime).

Bir defterde bir ortam seçmek için Çevre yan panelini açın ve bir temel ortam seçin:

Notebook Environment yan panelinde bir temel ortam seçme.

Standart ortam (minimum ortam)

Yalnızca AI Çalışma Zamanı işlemi için gerekli paketleri içeren minimum, kararlı bir ortam. Ortam, GPU desteği için cuda içerir. Ortamın 5. sürümünden itibaren, torch ve torchvision artık önceden yüklü değildir. İş yükünüzün gerektirdiği sürümleri %uv pip install veya %pip install kullanarak yükleyin. Her ortam sürümünde yüklü paketler için aşağıdaki sürüm notlarını inceleyin.

En iyi yöntem: Bağımlılık yığınları üzerinde tam denetim sahibi olmak isteyen ve yalnızca ihtiyaç duydukları şeyi yüklemeyi tercih eden kullanıcılar.

Seçmek için: Çevre yan panelinde, temel ortam olarak Standard v6'yı seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

Databricks AI ortamı

4. ve sonraki ortamlarda kullanılabilir. Yapay zeka ortamı, GPU'larda makine öğrenmesine özgü yaygın çalışma zamanı paketleri ve paketleriyle Standart ortamın üzerine kurulmuştur. Önceden yüklenmiş paketler şunlardır:

  • PyTorch (CUDA desteği ile)
  • Transformers (Hugging Face)
  • Ayrıca ilave ML/DL bağımlılıkları

En iyi yöntem: el ile bağımlılık yönetimi olmadan iş yüklerini eğitmek, ince ayar yapmak ve deneme yapmak için eksiksiz bir ortam isteyen ML uygulayıcıları.

Seçmek için: Ortam yan panelinde, temel ortam olarak AI v6'yı seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

Ek paketler kur

Yönetilen bir ortamdan veya çalışma alanı tabanlı bir ortamdan başlayıp üzerine kendi Python paketlerinizi kurabilirsiniz. Bunları nasıl kuracağınız AI Runtime'a nasıl bağlandığınıza bağlı.

Bir defterde

Paketleri, notebookunuzun veya eğitim komut dosyanızın en üstüne %uv pip ile yükleyin; bu, uv kullanarak yükleme yapar ve %pip'den daha hızlıdır. Sürümleri sabitleyin ki çalıştırmalar tekrarlanabilir kalsın:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

%uv ve için tam başvuruya ve her birini hangi ortam sürümlerinin desteklediğine ilişkin bilgi için %pip bölümüne bakın.

@distributed dekoratörünü çoklu GPU iş yükleri için kullandığınızda, .distributed() çağrısını yapmadan önce yüklediğiniz paketlerin anlık görüntüsü otomatik olarak alınır ve tüm dağıtılmış işlemlere aktarılır. Yüklenen paketlerin toplam boyutu 15 GB'ı aşmamalıdır. Diğer ayrıntılar için bkz. Not defterine bağımlılık ekleme.

CLI ile

CLIair aynı yönetilen ortamları kullanır. Bir tane seçin environment.version, sonra üzerinde kurulum yapılacak paketleri iş yükünüzdeki YAML altında environment.dependencies listeleyin. CLI, bunları seçilen ortama uv ile yükler, böylece ayrı bir sanal ortamı kendiniz yönetmeniz gerekmez:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Bunun yerine Databricks AI ortamından başlamak için, version örneğin databricks_ai_v5bir yapay zeka ortam tanımlayıcısına ayarlayın. Tam bağımlılık formatı, desteklenen kurulum bayrakları ve özel Docker imajı desteği için bkz. Python bağımlılıkları.

Çalışma alanı temel ortamları

Çalışma alanı yöneticisi sunucusuz GPU işlem için bir çalışma alanı temel ortamı oluşturabilir ve bu da temel ortam açılan menüsü aracılığıyla çalışma alanındaki tüm kullanıcıların kullanımına sunar. Ayrıntılar için sunucusuz GPU hesaplama (AI Runtime) için oluşturma bölümüne bakın.

Zamanlanmış bir iş yükünde temel ortamı kullanmak için, bir işin veya paketin environments bloğunda ona tanımlayıcısını kullanarak başvurun. Örneğin, bu Declarative Automation Bundles görevi Databricks AI ortamını seçer:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Tam bir iş örneği için Jobs API ve Declarative Automation Bundles ile Zamanlama bölümlerine bakınız.

Ortam önbellekleme ve özel modüller

Ortamlar ne zaman önbelleğe alınır?

AI Runtime, notebookunuzun ortamını önbellekler, böylece notebook'u yeniden açtığınızda paketleri yeniden yüklemenize gerek kalmaz. Detaylar için bkz. Ortam bağımlılıklarını sıfırla.

Önbellekleme etkileşimli defterler için de geçerlidir. CLI üzerinden yürütülen air veya iş olarak planlanan iş yükleri bu önbelleği kullanmaz; her çalıştırma bağımlılıklarını taze kurar.

En iyi uygulama olarak, önbelleğe alınan ortamınız geçerli kalması ve çalıştırmalarınızın tekrarlanabilir olması için paketleri belirli bir sürüme sabitleyin.

Özel modülleri nasıl içeri aktarebilirim?

Aşağıdaki adımlar kendi Python modüllerinizi nasıl kullanacağınızı gösterir.

  1. Kodunuzu çalışma alanı ile senkronize edin. Bir Git deposunu bir Git klasörüyle çalışma alanına klonlayın veya dosyaları doğrudan çalışma alanı dosyası olarak yükleyin. Paylaşılan kodu takım projeleri için veya /Workspace/Shared kişisel gelişim için bir kullanıcı klasöründe sakla. Kodu bir Git klasöründe tutmak sürüm kontrolünü sağlar.
  2. Klasörü defterinizin veya eğitim betanınızın üstüne ekleyin ve içe aktarın:sys.path
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Sınırlamalar

AI Çalışma Zamanı'nda aşağıdaki özellikler kullanılamaz:

  • Spark işlevleri: PySpark işlevlerini doğrudan içeri aktaramaz veya kullanamazsınız. AI Runtime yalnızca Python ortamıdır; Spark yerel çalışma zamanı olarak kullanılamaz. Ancak Spark Connect, veri yükleme için kullanılabilir. Bkz . Yapay zeka çalışma zamanına veri yükleme.
  • Databricks Runtime ML kitaplıkları: Önceden yüklenmiş paketler Databricks Runtime ML'nin yerini almamaktadır. Databricks Runtime ML'de kullanılabilen bazı ML kitaplıkları AI Runtime'da önceden yüklenmemiş olabilir.
  • Özel yapıtlar: AI Çalışma Zamanı belirli durumlarda özel yapıtları destekler. Daha fazla bilgi için hesap ekibinize başvurun.
  • Last updated on