Sunucusuz GPU işlem

Önemli

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu makalede Databricks'te sunucusuz GPU işlemleri açıklanır ve önerilen kullanım örnekleri, GPU işlem kaynaklarını ayarlama yönergeleri ve özellik sınırlamaları sağlanır.

Sunucusuz GPU işlemi nedir?

Sunucusuz GPU işlemi, Sunucusuz işlem teklifinin bir parçasıdır. Sunucusuz GPU işlemi, özel tek ve çok düğümlü derin öğrenme iş yükleri için özel olarak tasarlanmıştır. En sevdiğiniz çerçeveleri kullanarak özel modelleri eğitmek ve ince ayar yapmak ve en son verimlilik, performans ve kalite elde etmek için sunucusuz GPU işlem kullanabilirsiniz.

Sunucusuz GPU işlem şunları içerir:

• Not Defterleri, Unity Kataloğu ve MLflow genelinde tümleşik bir deneyim: Not Defterlerini kullanarak kodunuzu etkileşimli olarak geliştirebilirsiniz.
• A10 GPU hızlandırıcıları:A10 GPU'lar , klasik ML modelleri ve daha küçük dil modellerinde ince ayar da dahil olmak üzere küçük ve orta ölçekli makine öğrenmesi ve derin öğrenme iş yüklerini hızlandırmak için tasarlanmıştır. A10'lar, orta düzeyde hesaplama gereksinimleri olan görevler için uygundur.
• Çoklu GPU ve çok düğümlü destek: Sunucusuz GPU Python API'sini kullanarak dağıtılmış eğitim iş yüklerini birden çok GPU ve birden çok düğüm çalıştırabilirsiniz. Bkz . Dağıtılmış eğitim.

Sunucusuz GPU işlemlerinde önceden yüklenmiş paketler Databricks Runtime ML'nin yerini almaz. Yaygın paketler olsa da, tüm Databricks Runtime ML bağımlılıkları ve kitaplıkları sunucusuz GPU işlem ortamına yansıtılmaz.

Sunucusuz GPU işlemde Python ortamları

Databricks, farklı kullanım örneklerine hizmet vermek için iki yönetilen ortam sağlar.

Uyarı

Çalışma alanı temel ortamları sunucusuz GPU işlemi için desteklenmez. Bunun yerine, varsayılan veya yapay zeka ortamını kullanın ve ek bağımlılıkları doğrudan Ortamlar yan panelinde veya pip install bu ortamlarda belirtin.

Varsayılan temel ortam

Bu, uygulama uyumluluğunu sağlamak için kararlı istemci API'sine sahip en düşük ortamı sağlar. Yalnızca gerekli Python paketleri yüklenir. Bu, Databricks'in sunucuyu bağımsız olarak yükseltmesine olanak tanır; performans iyileştirmeleri, güvenlik geliştirmeleri ve hata düzeltmeleri sağlayarak iş yüklerinde kod değişiklikleri gerektirmez. Sunucusuz GPU işlemini seçtiğinizde bu varsayılan ortamdır. Eğitiminiz için ortamı tamamen özelleştirmek istiyorsanız bu ortamı seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

• GPU ortamı 4
• GPU ortamı 3

Yapay zeka ortamı

Databricks AI ortamı sunucusuz GPU ortamı 4'te kullanılabilir. Yapay zeka ortamı, GPU'larda makine öğrenmesine özgü ortak çalışma zamanı paketleri ve paketleriyle varsayılan temel ortamın üzerine kurulmuştur. Model eğitimi ve çıkarım için PyTorch, LangChain, Transformers, Ray ve XGBoost gibi popüler makine öğrenmesi kitaplıklarını içerir. Eğitim iş yüklerini çalıştırmak için bu ortamı seçin.

Farklı sürümlerde yüklü olan paket sürümleri hakkında daha fazla bilgi için sürüm notlarına bakın:

• Yapay zeka ortamı 4

Önerilen kullanım örnekleri

Databricks, eğitim özelleştirmeleri ve GPU'lar gerektiren tüm model eğitim kullanım durumları için sunucusuz GPU işlem önerir.

Örneğin:

• LLM İnce Ayarlama
• Görüntü işleme
• Öneren sistemler
• Pekiştirmeye dayalı öğrenme
• Derin öğrenme tabanlı zaman serisi tahmini

Gereksinimler

• Aşağıdaki Azure tarafından desteklenen bölgelerden birinde bir çalışma alanı:
  • eastus
  • eastus2
  • centralus
  • northcentralus
  • westcentralus
  • westus

Sunucusuz GPU işlem ayarlama

Not defterinizi sunucusuz GPU hesaplamasına bağlamak ve ortamı yapılandırmak için:

1. Not defterinden üstteki Bağlan açılan menüsüne tıklayın ve Sunucusuz GPU'ya tıklayın.
2. Ortam yan panelini açın.
3. Hızlandırıcı alanından A10'a tıklayın.
4. Temel ortam alanından, varsayılan ortam içinYok veya Yapay Zeka ortamı için Yapay Zeka v4'ü seçin.
5. Temel ortam alanından Hiçbiri'ni seçtiyseniz Ortam sürümünü seçin.
6. Uygula'ya tıklayın ve ardından sunucusuz GPU işlemini not defteri ortamınıza uygulamak istediğinizi onaylayın.

Uyarı

Bilgisayar bağlantınız, 60 dakika boyunca hareketsiz kaldığında otomatik olarak sonlandırılır.

Ortama kitaplık ekleme

Sunucusuz GPU işlem ortamına ek kitaplıklar yükleyebilirsiniz. Bkz. Not defterine bağımlılık ekleme.

Uyarı

Not defterine bağımlılık ekleme bölümünde görüldüğü gibi Ortamlar panelini kullanarak bağımlılık ekleme, sunucusuz GPU işlem zamanlanmış işleri için desteklenmez.

İş oluşturma ve zamanlama

Aşağıdaki adımlarda sunucusuz GPU işlem iş yükleriniz için işlerin nasıl oluşturulacağı ve zamanlandığı gösterilmektedir. Daha fazla ayrıntı için bkz. Zamanlanmış not defteri işlerini oluşturma ve yönetme .

Kullanmak istediğiniz not defterini açtıktan sonra:

1. Sağ üst kısımdaki Zamanla düğmesini seçin.
2. Zamanlama ekle'yi seçin.
3. Yeni zamanlama formunu İş adı, Zamanlama ve İşlem ile doldurun.
4. Oluştur'i seçin.

İşler ve işlem hatları kullanıcı arabiriminden de iş oluşturabilir ve zamanlayabilirsiniz. Adım adım yönergeler için bkz. Yeni iş oluşturma .

Dağıtılmış eğitim

Bkz. Dağıtılmış Eğitim.

Sınırlamalar

• Sunucusuz GPU işlem yalnızca A10 hızlandırıcılarını destekler.
• Özel Bağlantı desteklenmiyor. Özel Bağlantı'nın arkasındaki depolama veya pip depoları desteklenmez.
• Sunucusuz GPU işlemi, uyumluluk güvenlik profili çalışma alanları (HIPAA veya PCI gibi) için desteklenmez. Düzenlenen verilerin işlenmesi şu anda desteklenmemektedir.
• Sunucusuz GPU işlemindeki zamanlanmış işler için, not defterinizle ilişkili uyumsuz paket sürümleri için otomatik kurtarma davranışı desteklenmez.
• bir iş yükü için maksimum çalışma zamanı yedi gündür. Bu sınırı aşan model eğitim işleri için lütfen denetim noktası oluşturmayı uygulayın ve çalışma zamanı üst sınırına ulaşıldığında işi yeniden başlatın.

Veri yükleme

Bkz . Sunucusuz GPU işlemde veri yükleme.

En iyi yöntemler

Bkz. Sunucusuz GPU işlem için en iyi yöntemler.

Sunucusuz GPU İşlem sorunlarını giderme

Sunucusuz GPU işlemlerinde iş yüklerini çalıştırırken sorunlarla karşılaşırsanız yaygın sorunlar, geçici çözümler ve destek kaynakları için sorun giderme kılavuzuna bakın.

Not defteri örnekleri

Aşağıda, farklı görevler için Sunucusuz GPU hesaplamasının nasıl kullanılacağını gösteren çeşitli not defteri örnekleri verilmiştir.

Görev	Description
Büyük dil modelleri (LLM'ler)	Low-Rank Adaptasyonu (LoRA) ve denetimli ince ayar yaklaşımları gibi parametre açısından verimli yöntemler de dahil olmak üzere büyük dil modellerinde ince ayar örnekleri.
Görüntü işleme	Nesne algılama ve görüntü sınıflandırma gibi görüntü işleme görevlerine yönelik örnekler.
Derin öğrenme tabanlı öneri sistemleri	İki kuleli modeller gibi modern derin öğrenme yaklaşımlarını kullanarak öneri sistemleri oluşturmaya yönelik örnekler.
Klasik ML	XGBoost model eğitimi ve zaman serisi tahmini gibi geleneksel makine öğrenmesi görevleri için örnekler.
Çoklu GPU ve çok düğümlü dağıtılmış eğitim	Dağıtılmış ince ayarlama da dahil olmak üzere Sunucusuz GPU API'sini kullanarak birden çok GPU ve düğüm arasında eğitimi ölçeklendirmeye yönelik örnekler.

Çoklu GPU eğitim örnekleri

Çoklu GPU ve çok düğümlü dağıtımlı eğitim için çeşitli dağıtık eğitim kitaplıklarını nasıl kullanacağınızı gösteren not defterlerini inceleyebilirsiniz.