Azure Batch nedir?
Büyük ölçekli paralel ve yüksek performanslı bilgi işlem (HPC) toplu işlerini Azure’da verimli bir şekilde çalıştırmak için Azure Batch’i kullanın. Azure Batch bir işlem düğümleri (sanal makine) havuzu oluşturup yönetir, çalıştırmak istediğiniz uygulamaları yükler ve düğümler üzerinde çalışacak işleri zamanlar. Yüklenecek, yönetilecek veya ölçeklendirilecek bir küme veya iş zamanlayıcı yazılımı yoktur. Bunun yerine, işlerinizi yapılandırmak, yönetmek ve izlemek için Batch API ve araçları, komut satırı betikleri veya Azure portalını kullanırsınız.
Geliştiriciler, büyük ölçekli yürütmenin gerekli olduğu SaaS uygulamalarını veya istemci uygulamaları derlemek için Batch’i bir platform hizmeti olarak kullanabilir. Örneğin, Batch ile bir finans hizmetleri şirketi için Monte Carlo risk simülasyonu çalıştırmak için bir hizmet veya birçok görüntüyü işlemek üzere bir hizmet oluşturabilirsiniz.
Batch kullanımından ek ücret alınmaz. Yalnızca sanal makineler, depolama ve ağ gibi kullanılan temel kaynaklar için ödeme yaparsınız.
Batch ile Azure'daki diğer HPC çözümü seçenekleri arasında bir karşılaştırma için bkz . Azure'da Yüksek Performanslı Bilgi İşlem (HPC).
Paralel iş yükleri çalıştırma
Batch, doğası gereği paralel ("utandırıcı derecede paralel" olarak da bilinir) iş yükleriyle düzgün çalışır. Bu iş yüklerinin bağımsız olarak çalıştırabilen uygulamaları vardır ve her örnek işin bir bölümünü tamamlar. Uygulamalar yürütülürken bazı yaygın verilere erişebilir, ancak uygulamanın diğer örnekleriyle iletişim kurmaz. Bu nedenle doğası gereği paralel iş yükleri, uygulamaları eşzamanlı çalıştırmak için kullanılabilen işlem kaynaklarının miktarına göre belirlenen büyük bir ölçekte çalışır.
Batch ile kullanabileceğiniz doğası gereği paralel iş yüklerinin bazı örnekleri şunlardır:
- Monte Carlo simülasyonlarını kullanarak finansal risk modelleme
- VFX ve 3B görüntü işleme
- Görüntü analizi ve işleme
- Medya kodlama dönüştürme
- Genetik dizi analizi
- Optik karakter tanıma (OCR)
- Veri alımı, işleme ve ETL işlemleri
- Yazılım testi yürütme
Batch'i , çalıştırdığınız uygulamaların bağımsız olarak çalışmak yerine birbirleriyle iletişim kurması gereken sıkı bir şekilde bağlanmış iş yüklerini çalıştırmak için de kullanabilirsiniz. Sıkıca bağlı uygulamalar normalde İleti Geçirme Arabirimi (MPI) API’sini kullanır. Sıkıca bağlı iş yüklerinizi, Microsoft MPI veya Intel MPI kullanarak Batch ile çalıştırabilirsiniz. Özel HPC ve GPU bakımından iyileştirilmiş VM boyutları ile uygulama performansını artırın.
Sıkıca bağlı iş yüklerinin bazı örnekleri şunlardır:
- Sonlu eleman analizi
- Sıvı dinamiği
- Çok düğümlü AI eğitimi
Sıkıca bağlı işlerin çoğu, Batch kullanılarak paralel olarak çalıştırılabilir. Örneğin, farklı boru genişliklerine sahip bir borudan akan bir sıvının birden çok simülasyonu gerçekleştirebilirsiniz.
Ek Batch özellikleri
Batch; Autodesk Maya, 3ds Max, Arnold ve V-Ray gibi işleme araçları ile büyük ölçekli işleme iş yüklerini destekler.
Azure Data Factory gibi araçlarla yönetilen Batch işlerini, veri dönüştürmeye yönelik daha büyük bir Azure iş akışının parçası olarak da kullanabilirsiniz.
Nasıl çalışır?
Batch için yaygın bir senaryo, işlem düğümlerinin havuzunda 3B görüntülerin işlenmesi gibi paralel işi aslında ölçeklendirmeyi kapsar. Bu havuz, işleme işinize onlarca, yüzlerce, hatta binlerce çekirdek sağlayan "işleme grubu" olabilir.
Aşağıdaki diyagramda, istemci uygulamasının yanı sıra paralel iş yükünü çalıştıracak Batch’i kullanan barındırma hizmetiyle birlikte yaygın bir Batch iş akışının adımları gösterilmektedir.
| Adımlar | Açıklama |
|---|---|
| 1. Giriş dosyalarını ve bu dosyaları işlemek için uygulamaları Azure Depolama hesabınıza yükleyin. | Giriş dosyaları uygulamanızın işleyeceği herhangi bir veri olabilir; örneğin, finansal modelleme verileri veya dönüştürülecek video dosyaları. Uygulama dosyaları, medya kod dönüştürücüsü gibi veri işleyen betik ya da uygulamaları içerebilir. |
| 2. Batch hesabınızda işlem düğümlerinden oluşan bir Batch havuzu , iş yükünü havuzda çalıştıracak bir iş ve işteki görevleri oluşturun. | İşlem düğümleri, görevlerinizi yürüten VM'lerdir. Düğümlerin sayısı ve boyutu, Windows veya Linux VM görüntüsü ve düğümler havuza katıldığında yüklenecek bir uygulama gibi havuzunuzun özelliklerini belirtin. Azure Spot VM'lerini kullanarak veya iş yükü değiştikçe düğüm sayısını otomatik olarak ölçeklendirerek havuzun maliyetini ve boyutunu yönetin. Bir işe görev eklediğinizde, Batch hizmeti havuzundaki işlem düğümlerinde yürütülmesi için görevleri otomatik olarak zamanlar. Her görev, girdi dosyalarını işlemek için yüklediğiniz uygulamayı kullanır. |
| 3. Giriş dosyalarını ve uygulamaları Batch'e indirin | Her görev yürütülmeden önce, işleyecekleri giriş verilerini atanan düğüme indirebilir. Uygulama henüz havuz düğümlerine yüklenmediyse, burada da indirilebilir. Azure Depolama’dan indirme işlemleri tamamlandığında, görev atanan düğüm üzerinde yürütülür. |
| 4. Görev yürütmeyi izleme | Görevler çalışırken, işin ve ona ait görevlerin ilerleyişini izlemek için Batch’i sorgulayın. İstemci uygulamanız veya hizmetiniz, Batch hizmetiyle HTTPS üzerinden iletişim kurabilir. Binlerce işlem düğümünde çalışan binlerce görevi izliyor olabileceğinizden Batch hizmetini verimli şekilde sorguladığınızdan emin olun. |
| 5. Görev çıkışını karşıya yükleme | Görevler tamamlanınca sonuç verilerini Azure Storage’a yükleyebilirler. Dosyaları doğrudan bir işlem düğümündeki dosya sisteminden de alabilirsiniz. |
| 6. Çıkış dosyalarını indirme | İzleme işleminiz işinizdeki görevlerin tamamlandığını algıladığında, istemci uygulamanız veya hizmetiniz daha fazla işleme için çıktı verilerini indirebilir. |
Yukarıda açıklanan iş akışının Batch'i kullanmanın yalnızca bir yolu olduğunu ve başka birçok özellik ve seçenek olduğunu unutmayın. Örneğin, her işlem düğümünde birden fazla görevi paralel olarak yürütebilirsiniz. İsterseniz, iş hazırlama ve tamamlama görevlerini kullanarak düğümleri işleriniz için hazırlayabilir ve daha sonra temizleyebilirsiniz.
Havuzlar, düğümler, işler ve görevler gibi özelliklere genel bakış için bkz . Batch hizmeti iş akışı ve kaynakları . Ayrıca en son Toplu İşlem hizmet güncelleştirmeleri’ne bakın.
Bölge içi veri yerleşimi
Azure Batch, müşteri verilerini dağıtıldığı bölgenin dışına taşımaz veya depolamaz.
Sonraki adımlar
Şu hızlı başlangıçlardan biriyle Azure Batch kullanmaya başlayın: