Aracılığıyla paylaş

Finans sektöründe HPC için Depolama

  • Makale

Bu makalede, finans sektörü için HPC ortamlarında depolamanın uygulanmasına yönelik öneriler sağlanır. Finans ortamlarındaki büyük ölçekli HPC iş yükleri, geleneksel bulut dosya sistemlerinin özelliklerini aşan veri depolama ve erişim talepleri oluşturur.

Tasarımla ilgili dikkat edilecek noktalar

Hangi depolama çözümünü kullanacağınıza karar vermek için aşağıdaki uygulama gereksinimlerini dikkate almanız gerekir.

  • Gecikme süresi
  • IOPS
  • Aktarım hızı
  • Dosya boyutları ve numarası
  • İş çalışma zamanı
  • İlişkili maliyetler
  • Depolama konumu benzitesi: şirket içi ve Azure

Tasarım önerileri

  • Yüksek aktarım hızına sahip, düşük gecikme süreli depolama için Standart veya Premium Azure Blob Depolama kullanın. Şu avantajları sunar:

    • Gerektiğinde eksabayt ölçeği, yüksek aktarım hızı, düşük gecikme süreli erişim, tanıdık bir dosya sistemi ve çok protokollü erişim (REST, HDFS, NFS) sağlar.
    • Uygun maliyetlidir.
    • BlobFuse kullanarak Blob Depolama bir dosya sistemi olarak bağlayabilirsiniz. Bunu yapmak, birden çok düğümün salt okunur senaryolar için aynı kapsayıcıyı bağlamasına izin vermenin kolay olmasını sağlar.
    • Yüksek aktarım hızına sahip, okuma yoğunluklu iş yükleri için blob hizmet uç noktasında NFS 3.0'ı destekler.
    • Özelleştirilebilir ilkelerle son güncelleştirme/erişim süresi akıllı katmanlama ile yaşam döngüsü yönetimi gerçekleştirerek verileri daha serin katmanlara taşıyarak maliyetleri iyileştirebilirsiniz.

  • ReadWriteMany (benzersiz) veya bir kez yazma, bir kez okuma uygulamaları için Azure NetApp Files'ı kullanın. Şu avantajları sağlar:

    • Çok çeşitli dosya protokolleri (NFSv3, NFSv4.1, SMB3).
    • Birden çok katmanla (Ultra, Premium, Standart) şirket içi performansla karşılaştırılabilir performans.
    • Dakikalar içinde dağıtılır ve çok çeşitli katmanlar ve esneklik sunar.
    • Birim başına QoS'nin havuzun katmanına ve birim kotası temelinde otomatik olarak atandığı esnek kapasite havuzu türleri ve performansı.

Aşağıdaki tabloda Blob Depolama, Azure Dosyalar, Azure Managed Lustre ve Azure NetApp Files karşılaştırması sağlanmaktadır.

Blob Depolama Azure Dosyaları Azure Managed Lustre Azure NetApp Files
Kullanım örnekleri Verilerin bir kez alındığı ve en az düzeyde değiştirildiği büyük ölçekli okuma ağırlıklı sıralı erişim iş yükleri için idealdir.

Hafif bakım varsa, düşük toplam sahip olma maliyeti.		 Rastgele erişim iş yükleri için en uygun yüksek oranda kullanılabilir hizmet.

NFS paylaşımları için Azure Dosyalar tam POSIX dosya sistemi desteği sağlar. Yerleşik CSI sürücüsü, VM tabanlı platformlara ek olarak Azure Container Instances ve Azure Kubernetes Service (AKS) gibi kapsayıcı platformlarından kolayca kullanmanızı sağlar.		 Azure Managed Lustre, orta ve büyük HPC iş yüklerine en uygun tam olarak yönetilen paralel dosya sistemidir.

Tanıdık Lustre paralel dosya sistemi işlevselliği, davranışları ve performansı sağlayarak ve uzun vadeli uygulama yatırımlarının güvenliğini sağlayarak uygulama uyumluluğunu bozmadan buluttaki HPC uygulamalarını etkinleştirir.		 NetApp tarafından desteklenen ve gelişmiş yönetim özelliklerine sahip, bulutta tam olarak yönetilen bir dosya hizmeti.

Azure NetApp Files, rastgele erişim gerektiren iş yükleri için uygundur. Geniş protokol desteği ve geliştirilmiş veri koruması sağlar.
Kullanılabilir protokoller NFS 3.0

Geri kalanı

Azure Data Lake Storage		 SMB

NFS 4.1

(her iki protokol arasında birlikte çalışabilirlik yoktur.)		 Serisi NFS 3.0 ve 4.1

SMB


Önemli Özellikler     Düşük gecikme süreli iş yükleri için Azure HPC Önbelleği ile tümleşiktir.

Yaşam döngüsü yönetimi, sabit bloblar, veri yük devretme ve meta veri dizini gibi tümleşik yönetim.		 Yüksek kullanılabilirlik için bölgesel olarak yedekli.

Tutarlı tek basamaklı milisaniyelik gecikme süresi.

Kapasiteyle ölçeklendirilen tahmin edilebilir performans ve maliyet.		 2,5PB'a kadar yüksek depolama kapasitesi.

Düşük (~2ms) gecikme süresi.

Yeni kümeleri dakikalar içinde çalıştırın.

AKS ile kapsayıcılı iş yüklerini destekler.		 Son derece düşük gecikme süresi (milisaniyeye kadar düşük).

SnapMirror Cloud gibi zengin NetApp ONTAP yönetim özelliği.

Tutarlı hibrit bulut deneyimi.
Performans (birim başına) 20.000 IOPS kadar. 100 GiB/sn aktarım hızına kadar. 100.000 IOPS kadar. 80 GiB/sn aktarım hızına kadar. 100.000 IOPS'ye kadar, 500 GiB/sn aktarım hızına kadar. 460.000 IOPS kadar. 36 GiB/sn aktarım hızına kadar.
Ölçek Tek bir birim için 2 PiB kadar.

Tek bir dosya için ~4,75 TiB kadar.

Minimum kapasite gereksinimi yoktur.		 Tek bir birim için 100 TiB kadar.

Tek bir dosya için 4 TiB kadar.

100 GiB minimum kapasite.		 Tek bir birim için 2,5 PiB kadar.

Tek bir dosya için 32 PB kadar.

4 TiB minimum kapasite.		 Tek bir birim için 100 TiB kadar.

Tek bir dosya için 16 TiB kadar.

Tutarlı hibrit bulut deneyimi.
Fiyatlandırma Azure Blob Depolama fiyatlandırması Azure Dosyalar fiyatlandırması Azure Yönetilen Lustre fiyatlandırması Azure NetApp Files fiyatlandırması

Sonraki adımlar

Aşağıdaki makaleler, bulut benimseme süreciniz sırasında çeşitli noktalarda yararlı bulabileceğiniz yönergeler sağlar. Bunlar, finans sektöründe HPC için bulut benimseme senaryonuzda başarılı olmanıza yardımcı olabilir.