Azure Batch için kapasite planlaması

Etkin kapasite planlaması, Azure Batch iş yüklerinizin ihtiyaç duydukları işlem kaynaklarına ihtiyaç duyduklarında sahip olmasını sağlamaya yardımcı olur. Bu makalede Batch kapasitesinin nasıl yapılandırıldığı, iş yükleriniz için kota planlama ve ayırma hatası riskini azaltma işlemleri açıklanır.

Kota bir sınırdır, kapasite garantisi değildir. Önceden planlama, uygun kota istemenize, dayanıklı yapılandırmalar seçmenize ve kapasite kısıtlandığında düzgün bir şekilde tepki verebileceğinize yardımcı olur. Belirli varsayılan ve maksimum değerler için bkz . Batch hizmeti kotaları ve sınırları.

Batch'in iş yükünüze uyduğundan emin olun

Azure'un zamanlama hizmeti sağlamasını istediğinizde Batch kullanın ve uygulamanız işleri havuzlara, işlere ve görevlere ayırabilir. Toplu kapasite planlamadan önce şu alternatifleri göz önünde bulundurun:

  • Belirli bir HPC zamanlayıcı çalıştırmanız, küme topolojisini ve yazılım yığınını özelleştirmeniz veya mevcut yerel iş akışlarıyla yakından uyum sağlamanız gerektiğinde Azure CycleCloud'u seçin.
  • Aboneliğinizde sağlanan ağ, depolama ve erişim bileşenleriyle hazır bir Slurm ortamı istiyorsanız, Azure CycleCloud Workspace for Slurm seçin.

Batch doğru işletim modeliyse, üretim havuzları oluşturmadan önce en yüksek talebi tahmin etmek, VM'leri seçmek, kotayı hesaplamak ve geri dönüş seçeneklerini tanımlamak için aşağıdaki bölümleri kullanın.

Kapasite hiyerarşisi

Toplu iş kapasitesi, her katmanın altındaki katmanı kısıtladığı birkaç katmanda belirlenir. Etkili kapasiteniz, zincirdeki en kısıtlayıcı sınırın izin verdiği sınırdır.

En üstte, Azure bölgesi her VM ailesi için kullanılabilir fiziksel veri merkezi kapasitesi sağlar. Bölgesel kapasite, denetlediğiniz sabit bir değer değildir; zaman içinde ve VM serisine göre değişir. Abonelik kotanız daha sonra bölge başına VM ailesi başına izin verilen çekirdek sınırı ayarlar. Kullanıcı abonelik havuzu ayırma modunda, bu abonelik kotaları doğrudan Batch havuzlarınıza uygulanır. Batch hesabı kotası, Batch hesabı başına izin verilen çekirdekleri, havuzları ve etkin işleri ayarlar. Batch hizmet havuzu ayırma modunda bu hesap düzeyi kotalar uygulanır. Son olarak havuz sınırları , havuzun üzerindeki kotaya ve Batch hizmeti tarafından ayarlanan havuz boyutu sınırlarına göre havuz başına düğüm sayısına bağlıdır.

Hesabınız için hangi katmanın geçerli olduğunu anlamak havuz ayırma modunuza bağlıdır. Daha fazla bilgi için bkz: Batch hesapları ve havuz tahsis modları.

Kapasite gereksinimlerinizi planlama

Üretim havuzları oluşturmadan önce iş yükünüzün ihtiyaç duyduğu kaynakları tahmin edin. İş yükü özelliklerini kota isteğine çevirmek için aşağıdaki soruları inceleyin:

  • İş yükü profili. Eşzamanlı iş ve görevlerin en yüksek sayısı nedir? Ortalama görev süresi ve bellek gereksinimi nedir? Görevlerin GPU'lara veya çok düğümlü (MPI) koordinasyona ihtiyacı var mı?
  • VM seçimi. İş yüküyle en iyi eşleşen VM ailesi ve boyutu hangisidir? Her VM kaç çekirdek ve ne kadar bellek sağlar?
  • Havuz boyutlandırma. Düğüm başına aynı anda kaç görev çalışır (düğüm çekirdeği sayısının dört katına kadar, düğüm başına en fazla 256 görev yuvası)? En yüksek eşzamanlı görev sayısı dikkate alındığında, kaç düğüme ihtiyacınız var? Kapasiteyi adanmış düğümler ve Spot düğümler arasında nasıl bölersiniz?
  • Kota zorunluluğu. Gereken toplam çekirdeği elde etmek için maksimum düğüm sayısını VM başına çekirdek sayısıyla çarpın. İstek artışını belirlemek için bu toplamı geçerli kotanızla karşılaştırın.
  • Maliyet tahmini. Günlük ve aylık maliyeti tahmin etmek için VM saatlik oranını ve beklenen çalışma süresini kullanın. Daha fazla bilgi için bkz. Azure Batch maliyetlerini yönetmeyi planlama.

Geçerli kotalarınızı denetlemek ve artış istemek için bkz. Batch kotalarını görüntüleme ve Kotayı artırma. Kota isteklerini önceden gönderin ve mütevazı, artımlı artışlarla başlayın. Büyük kota artışları el ile gözden geçirme gerektirebilir ve birkaç gün ile birkaç hafta arasında sürebilir.

Kapasiteyi proaktif olarak yönetme

Kısıtlamaya dönüşmeden önce kapasiteyi planlayın:

  • Kota kullanımını izleme. Çekirdek kullanımını kotanıza göre izleyin ve kullanım sınırı yaklaştığında, örneğin %70–80 düzeyinde, uyarı verin. Daha fazla bilgi için bkz . Batch çözümlerini izleme.
  • Otomatik ölçeklendirmeyi kullanın. Havuzların sabit, fazla sağlanan düğüm sayısı tutmak yerine taleple büyüyebilmesi ve küçülmesi için otomatik ölçeklendirmeyi yapılandırın. Yaygın bir yaklaşım, ilerlemenin garanti altına alınması için belirli bir taban düzeyinde ayrılmış düğüm bulundurur ve ek iş hacmi için Spot düğümlerine genişler.
  • Bölgelere ve hesaplara yayma. Daha fazla toplama kapasitesine erişmek için iş yüklerini birden çok bölgeye veya Batch hesabına dağıt. Etkin işler ve havuzlar gibi hizmet kotaları, her bir Batch hesabı için geçerlidir.

Kapasite kısıtlamalarını işleme

Planlamada bile ayırma hatalarıyla karşılaşabilirsiniz. İş akışınızı dayanıklı olacak şekilde tasarla:

  • Yeniden deneyin ve çeşitlendirin. Havuz hedef boyutuna ulaşamıyorsa birkaç dakika sonra yeniden deneyin, farklı bir VM boyutu deneyin veya farklı bir bölge deneyin. Kaynak kullanılabilirliği zaman içinde değişir.
  • İşleri yeniden hedefle. Tek bir statik havuza güvenmekten kaçının. Bir havuz büyüyemiyorsa işleri farklı bir havuza, büyük olasılıkla farklı bir VM boyutuna sahip bir havuza yeniden hedefleyebileceğinizden emin olun. Daha fazla bilgi için bkz. Azure Batch en iyi yöntemler.
  • Spot kesintisine göre tasarlayın.Spot düğümleri, Azure kapasiteye yeniden ihtiyaç duyduğunda geri alınabilir. Spot düğümlerini yalnızca hataya dayanıklı çalışma için kullanın ve havuzun otomatik olarak kurtarılması için bunları ayrılmış düğümlerle ve otomatik ölçeklendirmeyle birleştirin.

Ayırma ve kota hatalarının ayrıntılı belirtileri, nedenleri ve çözümleri için sorun giderme kılavuzuna bakın:

Üretim öncesi kapasiteyi doğrulama

Beklenen veri hacmi ve üretim havuzu yapılandırmasıyla birlikte temsili bir iş yükü için bir kavram kanıtı çalıştırın. Her kritere göre kanıt kaydedemeden tasarımı üretime onaylamayın:

Criterion Kaydedilecek kanıtlar
İş yükünün tamamlanması İş, üretim görevi bağımlılıkları, uygulama paketleri ve giriş-çıkış veri yolları ile doğru şekilde tamamlanır.
Ölçek ve kota Havuz, Batch hesabı, abonelik veya VM ailesi kotasını aşmadan hedeflenen bölgede gerekli düğüm sayısına ulaşır.
Performance Uçtan uca iş süresi hedefi karşılar; buna havuz tahsisi, veri aktarımı, hesaplama ve sonuçların kalıcı olarak depolanması dahildir.
Recovery Bir düğüm kaybı, görev arızası veya Spot öncelik kullanıldıktan sonra, iş kaydedilen maksimum kurtarma süresi ve izin verilen kontrol noktası kaybı içinde kalır, tamamlanma tarihini tutar ve planlanan yedek VM boyutunu veya havuzunu başarıyla kullanır.
Cost Tamamlanan iş başına ölçülen hesaplama, depolama, ağ ve lisans maliyeti, beklenen çalışma frekansında hedefi karşılar.
Operations Uyarılar kota baskısı, tahsis hataları ve başarısız görevleri belirler ve bir sahip iş yükünü yeniden hedefleyebilir veya geri kazanabilir.

Bir kriter başarısız olursa, havuz büyüklüğünü, VM seçimini, depolama yolunu, yeniden deneme davranışını veya bölgesel yedek seçeneğini gözden geçirin ve aynı işi tekrarlayın. Küçük bir fonksiyonel test, üretim kapasitesini belirlemez çünkü zirve ölçek, kota veya veri hareketini uygulamaz.

Önerilen yöntemler

Practice Description
Kotayı erken isteme Kota isteklerini önceden iyi gönderin; büyük artışlar birkaç gün ile birkaç hafta sürebilir.
Kapasite payını planlayın Büyümeye izin vermek için geçerli tepenizden biraz daha fazla kota isteyin.
Birden çok bölge kullanma Daha fazla toplama kapasitesine erişmek için iş yüklerini bölgelere yayma.
Kullanımı izleme Çekirdek kullanımı kotanızın 70-80% ulaştığında uyarır.
VM'leri doğru boyutlandır Gereğinden fazla kaynak sağlamak yerine VM ailesini ve boyutunu iş yüküne uygun seçin.
Spot'un akıllıca kullanılması Spot düğümlerini hataya dayanıklı iş yükleri için ayırın ve bunları özel düğümlerle eşleştirin.
Kaynakları temizle Hesap kotasını boşaltmak için kullanılmayan havuzları silin.

Sonraki Adımlar

  • Last updated on