Azure Container Apps'te sunucusuz GPU'ları kullanma (önizleme)

Azure Container Apps, temel altyapıyı yönetmek zorunda kalmadan isteğe bağlı GPU'lara erişim sağlar. Sunucusuz bir özellik olarak yalnızca kullanımdaki GPU'lar için ödeme yapın. Etkinleştirildiğinde, uygulamanız için kullanılan GPU sayısı artar ve uygulamanızın yük taleplerini karşılamak için düşer. Sunucusuz GPU'lar otomatik ölçeklendirme, iyileştirilmiş soğuk başlangıç, kullanımda olmadığında ölçeği sıfıra indirerek saniye başına faturalama ve daha az işlem yükü ile iş yüklerinizi sorunsuz bir şekilde çalıştırmanızı sağlar.

Sunucusuz GPU'lar yalnızca Tüketim iş yükü profilleri için desteklenir. Özellik yalnızca tüketim ortamları için desteklenmez.

Not

GPU'lara erişim yalnızca GPU kotaları istendikten sonra kullanılabilir. GPU kota isteğinizi bir müşteri desteği olayı aracılığıyla gönderebilirsiniz.

Sosyal haklar

Sunucusuz GPU'lar, çekirdek yapay zeka kodunuz üzerinde odaklanmanıza ve GPU'ları kullanırken altyapıyı yönetmeye daha az odaklanmanıza olanak tanıyarak yapay zeka geliştirmeyi hızlandırır. Bu özellik, Azure AI model kataloğunun sunucusuz API'leri ile yönetilen işlemdeki barındırma modelleri arasında bir orta katman seçeneği sağlar.

Container Apps sunucusuz GPU desteği, verileriniz kapsayıcınızın sınırlarını asla terk etmediği için tam veri idaresi sağlarken, yine de uygulamalarınızı oluşturmak için yönetilen, sunucusuz bir platform sağlar.

Container Apps'te sunucusuz GPU'ları kullandığınızda, uygulamalarınız şunları alır:

• Sıfıra ölçeklendirilen GPU'lar: NVIDIA A100 ve NVIDIA T4 GPU'larının otomatik sunucusuz ölçeklendirme desteği.

• Saniye başına faturalama: Yalnızca kullandığınız GPU işlem için ödeme yapın.

• Yerleşik veri idaresi: Verileriniz hiçbir zaman kapsayıcı sınırından ayrılmaz.

• Esnek işlem seçenekleri: NVIDIA A100 veya T4 GPU türleri arasında seçim yapabilirsiniz.

• Yapay zeka geliştirme için orta katman: Yönetilen, sunucusuz bir işlem platformunda kendi modelinizi getirin.

Genel senaryolar

Aşağıdaki senaryolar kapsamlı olmasa da sunucusuz GPU'lar için yaygın kullanım örneklerini açıklar.

• Gerçek zamanlı ve toplu çıkarım: Hızlı başlangıç sürelerine, otomatik ölçeklendirmeye ve saniye başına faturalama modeline sahip özel açık kaynak modelleri kullanma. Sunucusuz GPU'lar dinamik uygulamalar için idealdir. Yalnızca kullandığınız işlem için ödeme yapılır ve uygulamalarınız talebi karşılamak için otomatik olarak ölçeği daraltıp genişletebilir.

• Makine öğrenmesi senaryoları: hassas ayarlı özel yapay zeka modelleri, derin öğrenme, sinir ağları veya büyük ölçekli veri analizi uygulayan uygulamaları önemli ölçüde hızlandırabilirsiniz.

• Yüksek Performanslı Bilgi İşlem (HPC):Bilimsel bilgi işlem, finansal modelleme veya hava durumu tahmini gibi karmaşık hesaplamalar ve simülasyonlar gerektiren uygulamalar, yüksek hesaplama talepleri için kaynak olarak GPU'ları kullanır.

• İşleme ve Görselleştirme: 3B işleme, görüntü işleme veya video kodlama içeren uygulamalar genellikle işleme sürecini hızlandırmak ve gerçek zamanlı görselleştirmeyi etkinleştirmek için GPU'ları kullanır.

• Büyük Veri Analizi: GPU'lar büyük veri kümeleri arasında veri işleme ve analiz işlemlerini hızlandırabilir.

Dikkat edilmesi gereken noktalar

Sunucusuz GPU'ları kullanırken aşağıdaki öğeleri aklınızda bulundurun:

• CUDA sürümü: Sunucusuz GPU'lar en son CUDA sürümünü destekler

• Destek sınırlamaları:

  • Bir uygulamadaki yalnızca bir kapsayıcı GPU'ları aynı anda kullanabilir. Bir uygulamada birden çok kapsayıcınız varsa, ilk kapsayıcı GPU'ya erişim elde eder.
  • Birden çok uygulama aynı GPU iş yükü profilini paylaşabilir ancak her biri kendi çoğaltmasını gerektirir.
  • Çok ve kesirli GPU çoğaltmaları desteklenmez.
  • Uygulamanızdaki ilk kapsayıcı GPU'ya erişir.

• IP adresleri: Tüketim GPU'ları, kendi sanal ağınızla tümleştirmeyi ayarlarken çoğaltma başına bir IP adresi kullanır.

Sunucusuz GPU kotası isteme

Bu özelliğe erişim yalnızca sunucusuz GPU kotanıza sahip olduktan sonra kullanılabilir. GPU kota isteğinizi bir müşteri desteği olayı aracılığıyla gönderebilirsiniz. GPU kota isteği için bir destek olayı açarken "Teknik" sorun türünü seçin.

Not

Kurumsal anlaşmaları olan müşterilerin varsayılan olarak etkinleştirdiği tek bir T4 GPU kotası vardır.

Desteklenen bölgeler

Sunucusuz GPU'lar, Batı ABD 3, Doğu Avustralya ve İsveç Orta bölgelerinde önizlemede kullanılabilir.

Sunucusuz GPU'ları kullanma

Azure portalı aracılığıyla bir kapsayıcı uygulaması oluşturduğunuzda, kapsayıcınızı GPU kaynaklarını kullanacak şekilde ayarlayabilirsiniz.

Oluşturma işleminin Kapsayıcı sekmesinde aşağıdaki ayarları yapın:

1. Kapsayıcı kaynak ayırma bölümünün altında GPU onay kutusunu işaretleyin.

2. GPU Türü* için NVIDIA A100 veya NVIDIA T4 seçeneğini belirleyin.

Sunucusuz GPU iş yükü profilini yönetme

Sunucusuz GPU'lar tüketim GPU iş yükü profillerinde çalıştırılır. Tüketim GPU iş yükü profilini diğer iş yükü profilleriyle aynı şekilde yönetirsiniz. CLI veya Azure portalını kullanarak iş yükü profilinizi yönetebilirsiniz.

GPU soğuk başlatmayı geliştirme

Azure Container Registry'nizde yapıt akışını etkinleştirerek GPU özellikli kapsayıcılarınızda soğuk başlatmayı geliştirebilirsiniz.

Not

Yapıt akışını kullanmak için kapsayıcı görüntülerinizin Azure Container Registry'de barındırılması gerekir.

Görüntü akışını etkinleştirmek için aşağıdaki adımları kullanın:

1. Azure portalda Azure Container Registry'nizi açın.

2. Depolar'ı arayın ve Depolar'ı seçin.

3. Deponuzun adını seçin.

4. Depo penceresinde Yapıt akışını başlat'ı seçin.

5. Akışla yayınlamak istediğiniz görüntü etiketini seçin.

6. Açılan pencerede Akış yapıtı oluştur'u seçin.

Geri bildirim gönderin

Sorunu Azure Container Apps GitHub deposuna gönderin.

Sonraki adımlar

Sunucusuz GPU'ları kullanarak görüntü oluşturma