Ortamınızı ayarlama

Önemli

Tek düğümlü görevler için AI Çalışma Zamanı Genel Önizleme aşamasındadır. Çoklu GPU iş yükleri için dağıtılmış eğitim API'si Beta'da kalır.

Bu sayfada ortam önbelleğe alma davranışı, özel modül içeri aktarmaları ve bilinen sınırlamalar dahil olmak üzere yapay zeka çalışma zamanı için python ortamını seçme ve yapılandırma işlemleri açıklanmaktadır.

Hangi ortamın kullanılacağı

AI Runtime, iki yönetilen Python ortamı sunar: varsayılan temel ortam ve Databricks AI ortamı.

Çevre	Temel özellikler	Ne zaman kullanılır?
Varsayılan temel ortam	Minimal, yalnızca torch, cuda ve torchvision içerir.	Bağımlılık yığınınız üzerinde tam denetime sahip olmak istiyorsunuz ve yalnızca ihtiyacınız olanı yüklemeyi tercih ediyorsunuz
Databricks AI ortamı	Popüler ML çerçeveleri (PyTorch, Transformers ve daha fazlası) ile önceden yüklenmiş	El ile bağımlılık yönetimi olmadan eğitim, ince ayar ve deneme için eksiksiz bir ortam istiyorsunuz

Uyarı

Çalışma alanı temel ortamları AI Çalışma Zamanı için desteklenmez. Bunun yerine, varsayılan veya yapay zeka ortamını kullanın ve ek bağımlılıkları doğrudan Ortamlar yan panelinde veya pip install bu ortamlarda belirtin.

Varsayılan temel ortam (en düşük ortam)

Yalnızca AI Çalışma Zamanı işlemi için gerekli paketleri içeren minimum, kararlı bir ortam. Ortam, uyumluluk için optimize edilmiş torch, cuda ve torchvision içerir. Belirli paket sürümlerini kullanmak için pip install ya da gerekli sürümleri sabitleyin.

En iyi yöntem: Bağımlılık yığınları üzerinde tam denetim sahibi olmak isteyen ve yalnızca ihtiyaç duydukları şeyi yüklemeyi tercih eden kullanıcılar.

Bu, AI Çalışma Zamanı aracılığıyla sunucusuz bir GPU'ya bağlandığınızda varsayılan ortamdır.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

• GPU ortamı 4

Databricks AI ortamı

4. ve sonraki ortamlarda kullanılabilir. Yapay zeka ortamı, GPU'larda makine öğrenmesine özgü ortak çalışma zamanı paketleri ve paketleriyle varsayılan temel ortamın üzerine kurulmuştur. Önceden yüklenmiş paketler şunlardır:

• PyTorch (CUDA desteği ile)
• Transformers (Hugging Face)
• Ayrıca ilave ML/DL bağımlılıkları

En iyi yöntem: el ile bağımlılık yönetimi olmadan iş yüklerini eğitmek, ince ayar yapmak ve deneme yapmak için eksiksiz bir ortam isteyen ML uygulayıcıları.

Seçmek için: Ortam yan panelinde temel ortamınız olarak AI v4'i seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

• Yapay zeka ortamı 4

Çalışma alanı temel ortamları

Çalışma alanı temel ortamları AI Çalışma Zamanı için desteklenmez. Özel çalışma alanı düzeyinde ortam yapılandırmaları kullanamazsınız.

Bir proje için derin öğrenme ortamınızı yapılandırmak için sağlanan iki temel ortamdan birini (varsayılan veya Databricks AI) kullanın ve not defterinizde veya eğitim betiğinizin üst kısmında kullanarak program aracılığıyla %pip install ek paketler yükleyin:

%pip install datasets accelerate peft bitsandbytes

AI Çalışma Zamanı ortamına ek kitaplıklar yükleyebilirsiniz. Bkz. Not defterine bağımlılık ekleme.

Davranış

Ortamlar ne zaman önbelleğe alınır?

Ortamlar, başlangıç sürelerini hızlandırmak için oturumlar arasında önbelleğe alınır. AI Çalışma Zamanı'na aynı ortam yapılandırmasıyla yeniden bağlandığınızda, önceden yüklenmiş paketler önbellekten kullanılabilir ve bu da kurulum süresini kısaltabilir.

Ancak önbellek davranışı garanti edilmediğinden, not defterinizin her zaman yeniden üretilebilirlik için gerekli %pip install komutları içerdiğinden emin olun.

Özel modülleri nasıl içeri aktarebilirim?

Özel modülleri içine yerleştirip /Workspace/Shared yolunu sys.pathiçine ekleyerek içeri aktarabilirsiniz:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Ayrıca modül dosyalarını Çalışma Alanı dosyaları olarak karşıya yükleyebilir ve bunları doğrudan içeri aktarabilirsiniz. Çok kullanıcılı işbirliği için, paylaşılan kodu kullanıcıya özgü klasörler yerine içinde /Workspace/Shared depolayın. Etkin geliştirme için kullanıcıya özgü klasörleri kullanın ve sürüm denetimi için uzak git deposuna gönderin.

Sınırlamalar

AI Çalışma Zamanı'nda aşağıdaki özellikler kullanılamaz:

• Spark işlevleri — PySpark işlevlerini doğrudan içeri aktaramaz veya kullanamazsınız. AI Runtime yalnızca Python ortamıdır; Spark yerel çalışma zamanı olarak kullanılamaz. Ancak Spark Connect, veri yükleme için kullanılabilir. Bkz . Yapay zeka çalışma zamanına veri yükleme.
• Databricks Runtime ML kitaplıkları — Önceden yüklenmiş paketler Databricks Runtime ML'nin yerini almamaktadır. Databricks Runtime ML'de kullanılabilen bazı ML kitaplıkları AI Runtime'da önceden yüklenmemiş olabilir.
• Çalışma alanı temel ortamları — Özel çalışma alanı düzeyinde ortam yapılandırmaları desteklenmez.
• Özel yapıtlar — Yapay Zeka Çalışma Zamanı belirli durumlarda özel yapıtları destekler. Daha fazla bilgi için hesap ekibinize başvurun.