Overview

AI Runtime, derin öğrenme iş yükleri için Azure Databricks üzerinde serverless GPU hesaplamasıdır. Bu sayfa, nasıl çalıştığını, örnek kullanım durumlarını, donanımını, temel özelliklerini ve sınırlamalarını ele alır.

AI Runtime nasıl çalışır

AI Runtime, GPU altyapısını yönetmeden Azure Databricks'te modelleri eğitmenize ve ince ayar yapmanıza olanak tanır. Kodunuzu getiriyorsunuz ve GPU kapasitesini, satın alma süreçlerini ve yönetimi Azure Databricks üstleniyor.

Örneğin, aşağıdaki komut terminalinizden bir iş yükünü gönderir:

databricks air run --file workload.yaml --watch

Çalıştırdığınızda databricks air run, AI Runtime gönderdiğiniz kodu paketler ve Azure Databricks tarafından yönetilen serverless GPU işlem kaynakları üzerinde düzenleyip çalıştırır. Denemek için AI Runtime hızlı başlatma sayfasına bakabilirsiniz.

Kullanım örnekleri

AI Runtime'ı kullanarak birçok yapay zeka modelini eğitebilir veya ince ayarını yapabilirsiniz. Örneğin:

• LLM ince ayarı (LoRA, QLoRA, tam ince ayar). Bkz. Büyük dil modelleri (LLM'ler).
• Bilgisayar görüşü (nesne algılama, görüntü sınıflandırma). Bkz. Bilgisayarlı görü.
• Derin öğrenme tabanlı öneri sistemleri. Derin öğrenme tabanlı öneri sistemleri sayfasına bakınız.
• GPU hızlandırmalı klasik makine öğrenimi ve derin öğrenme tabanlı zaman serisi tahminleri. Klasik makine öğrenimine bakın.
• Büyük ölçekli toplu çıkarım. Bkz. toplu çıkarım.
• çoklu GPU ile dağıtık eğitim. Bkz. Multi-GPU dağıtık eğitim.
• Pekiştirici öğrenme. Bkz. Büyük dil modelleri (LLM'ler).

Tüm notebook eğitimleri ve Databricks CLI tarifleri için AI Runtime örneklerine bakınız.

Donanım

Tüm AI Çalışma Zamanı hızlandırıcıları tek bir düğüm sağlar. Bu düğümdeki GPU sayısı hızlandırıcı türüne bağlıdır:

Hızlandırıcı	Düğüm başına GPU sayısı	GPU belleği	En iyi kullanım alanları	Dağıtılmış eğitim
1xA10	1	24 GB	Küçükten orta düzeye ML ve klasik ML modelleri veya daha küçük dil modellerinde ince ayar yapma gibi derin öğrenme görevleri	Desteklenmiyor (tek GPU)
1xH100	1	80 GB	1xA10'dan daha fazla GPU belleğine ihtiyaç duyan ancak orta boyutlu dil modellerinde ince ayar yapma gibi çok GPUlu dağıtılmış eğitim gerektirmeyen iş yükleri	Desteklenmiyor (tek GPU)
8xH100	8	GPU başına 80 GB	Büyük modellerde eğitim veya ince ayar yapma ya da gelişmiş derin öğrenme görevleri çalıştırma dahil olmak üzere büyük ölçekli yapay zeka iş yükleri	Varsayılan olarak sekiz GPU'nun tamamını kullanan @distributed dekoratör destekleniyor

İpucu

Sadece 8xH100 , çoklu GPU dağıtık eğitimi destekliyor. Tek GPU iş yükleri için, modelinizin GPU belleğine göre 1xA10 veya 1xH100 seçin.

Temel özellikler

Kategori	Features
GPU'lara bağlanın	Databricks CLI: GPU iş yüklerini terminalinizden YAML yapılandırmalarıyla gönderin ve yönetin. Defterler: Bir not defterini GPU'ya bağlayın ve etkileşimli olarak geliştirin. Notebooklarda dağıtık eğitim: @distributed dekoratörü ile bir düğümdeki tüm GPU'larda PyTorch DDP, FSDP veya DeepSpeed çalıştırın. İşler: GPU iş yükünü tekrar eden bir iş olarak planlayın. SSH üzerinden IDE: IDE veya terminalinizden bir GPU düğümüne bağlanın. Ray: Ray Core, Ray Data, Ray Train ve Ray Tune'u çalıştırın.
İş yükleri geliştirin	Önceden oluşturulmuş ortamlar: Minimum Standard ortamını veya PyTorch ve Transformers önceden yüklü Databricks AI ortamını seçin. Özel Docker imajları: Kendi imajınızı getirin ve onu Artifact Registry'ye push edin. Veri yükleyin ve kaydedin: Unity Catalog birimleri ve tablolarından veri akışı sağlayın. Kodlama ajanları: GPU iş yüklerini yazmak, göndermek ve hata ayıklamak için Genie Code ve ajan becerilerini kullanın.
İzleyin ve dağıtın	Çalışmaları, logları ve metrikleri takip edin: MLflow deneylerini takip edin, logları görüntüleyin ve GPU kullanımını izleyin. GPU iş yüklerini planlayın: Deklaratif Otomasyon Paketleri ile dağıtın ve çoklu görevli GPU ile CPU işleri oluşturun. Bir iş yükünü bir pakete dönüştür: Bir iş yükü YAML'yi Deklaratif Otomasyon Paketleri görevine dönüştür. Paket görevlerini yapılandırmak: Kodu paketle, GPU hesaplamasını seç ve yapılandırmayı görevlere aktar.

Gereksinimler

Başlamadan önce, çalışma alanınızın şu gereksinimleri karşıladığından emin olun:

• Desteklenen Geos ve çapraz Geo işlem gereksinimleri için Geo’ya göre AI Runtime kullanılabilirliğini kontrol edin. GPU kullanılabilirliği çalışma alanına göre değişir.
• Çalışma alanınızda uyumluluk güvenlik profili etkin ise, bir çalışma alanı yöneticisi AI Runtime ve AI Runtime multi-node H100 önizlemelerini etkinleştirmelidir. Manage Databricks önizlemelerine bakınız. Bu çalışma alanları için varsayılan etkinleştirme hakkında detaylar için ön duyuruya bakınız.

Limitations

Bir AI Çalışma Zamanı iş yükü planlarken aşağıdaki sınırlamaları aklınızda bulundurun:

• AI Çalışma Zamanı yalnızca A10 ve H100 hızlandırıcılarını destekler.

• AI Runtime, FedRAMP High veya DoD IL5 standartları için uyumluluk güvenlik profilini desteklemez.
• Ortamlar panelini kullanarak bağımlılık ekleme, yapay zeka çalışma zamanı zamanlanmış işleri için desteklenmez. Bunun yerine not defterinizde kullanarak %pip install bağımlılıkları program aracılığıyla yükleyin.
• AI Çalışma Zamanı'ndaki zamanlanmış işler için, not defterinizle ilişkilendirilmiş uyumsuz paket sürümleri için otomatik kurtarma davranışı desteklenmez.
• AI Runtime bağlantı denemeleri, etkileşimli not defterlerinde 15 dakika sonra; not defteri işleri veya CLI işleri için ise 24 saat sonra sonlandırılır. Bağlantılı notebook oturumları ve notebook işleri iki güne kadar, CLI işleri ise 14 güne kadar çalıştırılabilir. Uzun süren model eğitim işleri için denetim noktası mekanizması uygulayın ve maksimum çalışma süresine ulaşıldığında işi yeniden başlatın. Bkz. Distributed Checkpoint (DCP) ile Checkpoint.
• Databricks AI ortamı dahil olmak üzere bir çalışma alanı temel ortamını kullanan planlanmış bir işi çalıştırmak Beta aşamasındadır. Bir çalışma alanı yöneticisi, İşler önizlemesinde Sunucusuz çalışma alanı temel ortam desteğini açmalıdır. Bkz. Azure Databricks önizlemelerini yönetme.
• AI Runtime, GPU kaynaklarına isteğe bağlı erişim sağlar. Bu, GPU'lara kolay ve esnek erişim sağlarken, bölgenizde kapasitenin kısıtlandığı veya kullanılamadığı dönemler olabilir.
• AI Runtime, talebin yüksek olduğu anlarda belirli durumlarda bölgeler arası GPU'lardan yararlanıyor. Bu tür kullanımla ilişkili çıkış maliyetleri olabilir ve bölgeler arası ağ bağlantısı belirli zamanlarda sınırlı olabilir.

Guides

• Neden klasik hesaplama yerine AI Runtime kullanmalısınız: AI Runtime'ı klasik hesaplama ve Databricks Runtime ML ile karşılaştırın.
• Yapay Zeka Çalışma Zamanı Rehberleri: Kullanım ve maliyetleri takip edin, yaygın hatalarda sorun giderin.
• Klasik GPU iş yüklerini sunucusuz sisteme aktarın: Derin öğrenme iş yükünü klasik kümeden AI Runtime'a taşıyın.
• AI Runtime’da eğitim performansını ve dayanıklılığını artırın: Eğitimi hızlandırın ve uzun süreli işleri başarısızlıklara dayanıklı hale getirin.