Share via

Magazyn dla HPC w sektorze finansowym

  • Artykuł

Ten artykuł zawiera zalecenia dotyczące implementowania magazynu w środowiskach HPC dla sektora finansowego. Obciążenia HPC na dużą skalę w środowiskach finansowych tworzą wymagania dotyczące magazynu danych i dostępu, które przekraczają możliwości tradycyjnych systemów plików w chmurze.

Uwagi dotyczące projektowania

Aby zdecydować, które rozwiązanie magazynu ma być używane, należy wziąć pod uwagę następujące wymagania aplikacji.

  • Opóźnienie
  • Liczba operacji we/wy na sekundę
  • Przepływność
  • Rozmiary i liczba plików
  • Środowisko uruchomieniowe zadania
  • Skojarzone koszty
  • Koligacja dla lokalizacji magazynu: lokalna a platforma Azure

Zalecenia dotyczące projektowania

  • Usługa Azure Blob Storage w warstwie Standardowa lub Premium umożliwia magazynowanie o wysokiej przepływności i małych opóźnieniach. Oferuje następujące korzyści:

    • Zapewnia ona dostęp w skali exabajtów, wysoką przepływność, małe opóźnienia, w razie potrzeby, znany system plików i dostęp do wielu protokołów (REST, HDFS, NFS).
    • Jest to opłacalne.
    • Usługę Blob Storage można zainstalować jako system plików przy użyciu narzędzia BlobFuse. Dzięki temu można łatwo zezwolić wielu węzłom na instalowanie tego samego kontenera w scenariuszach tylko do odczytu.
    • Obsługuje ona system plików NFS 3.0 w punkcie końcowym usługi obiektów blob w przypadku obciążeń o wysokiej przepływności i dużym obciążeniu odczytu.
    • Koszty można zoptymalizować, przenosząc dane do chłodniejszych warstw za pośrednictwem możliwości zarządzania cyklem życia z użyciem ostatniej aktualizacji/dostępu inteligentnej warstwy czasu, z możliwością dostosowywania zasad.

  • Użyj usługi Azure NetApp Files dla funkcji ReadWriteMany (unikatowe) lub jednokrotnego zapisu, odczytu i jednokrotnego. Zapewnia następujące korzyści:

    • Szeroki wybór protokołów plików (NFSv3, NFSv4.1, SMB3).
    • Wydajność porównywalna z wydajnością lokalną z wieloma warstwami (Ultra, Premium, Standard).
    • Wdraża w ciągu kilku minut i oferuje szeroką gamę warstw i elastyczność.
    • Elastyczne typy puli pojemności i wydajność, w których QoS na wolumin jest automatycznie przypisywany na podstawie warstwy puli i limitu przydziału woluminu.

Poniższa tabela zawiera porównanie usług Blob Storage, Azure Files, Azure Managed Lustre i Azure NetApp Files.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Przypadki użycia Najlepiej nadaje się do obciążeń dostępu sekwencyjnego o dużej skali, w których dane są pozyskiwane raz i co najmniej modyfikowane.

Niski całkowity koszt posiadania, jeśli jest niewielka konserwacja.		 Usługa o wysokiej dostępności, która najlepiej nadaje się do obciążeń dostępu losowego.

W przypadku udziałów NFS usługa Azure Files zapewnia pełną obsługę systemu plików POSIX. Wbudowany sterownik CSI umożliwia łatwe używanie go z platform kontenerów, takich jak Azure Container Instances i Azure Kubernetes Service (AKS), oprócz platform opartych na maszynach wirtualnych.		 Azure Managed Lustre to w pełni zarządzany równoległy system plików najlepiej dopasowany do średnich i dużych obciążeń HPC.

Umożliwia aplikacjom HPC w chmurze bez przerywania zgodności aplikacji, zapewniając znane funkcje równoległego systemu plików Lustre, zachowania i wydajność, zabezpieczając długoterminowe inwestycje w aplikacje.		 W pełni zarządzana usługa plików w chmurze obsługiwana przez usługę NetApp z zaawansowanymi funkcjami zarządzania.

Usługa Azure NetApp Files jest odpowiednia dla obciążeń wymagających dostępu losowego. Zapewnia ona szeroką obsługę protokołu i ulepszoną ochronę danych.
Dostępne protokoły NFS 3.0

RESZTA

Azure Data Lake Storage		 SMB

NFS 4.1

(Brak współdziałania między żadnym protokołem).		 Lustre NFS 3.0 i 4.1

SMB


Najważniejsze funkcje     Integracja z usługą Azure HPC Cache w przypadku obciążeń o małych opóźnieniach.

Zintegrowane zarządzanie, w tym zarządzanie cyklem życia, niezmienne obiekty blob, tryb failover danych i indeks metadanych.		 Strefowo nadmiarowy w celu zapewnienia wysokiej dostępności.

Spójne jednocyfrowe opóźnienie milisekundowe.

Przewidywalna wydajność i koszt skalowany z pojemnością.		 Wysoka pojemność magazynu do 2,5PB.

Małe opóźnienie (ok. 2 ms).

Uruchamianie nowych klastrów w ciągu kilku minut.

Obsługuje konteneryzowane obciążenia za pomocą usługi AKS.		 Bardzo małe opóźnienie (nawet w milisekundach).

Zaawansowane możliwości zarządzania protokołu ONTAP aplikacji NetApp, takie jak SnapMirror Cloud.

Spójne środowisko chmury hybrydowej.
Wydajność (na wolumin) Aż 20 000 operacji we/wy na sekundę. Aż 100 GiB/s przepływności. Aż 100 000 operacji we/wy na sekundę. Aż 80 GiB/s przepływności. Nawet 100 000 operacji we/wy na sekundę, do 500 GiB/s przepływności. Aż 460 000 operacji we/wy na sekundę. Aż 36 GiB/s przepływności.
Skaluj Aż 2 PiB dla pojedynczego woluminu.

Aż ~4,75 TiB dla pojedynczego pliku.

Brak minimalnych wymagań dotyczących pojemności.		 Aż 100 TiB dla pojedynczego woluminu.

Aż 4 TiB dla pojedynczego pliku.

Minimalna pojemność 100 GiB.		 Aż 2,5 PiB dla pojedynczego woluminu.

Aż 32 PB dla pojedynczego pliku.

Minimalna pojemność 4 TiB.		 Aż 100 TiB dla pojedynczego woluminu.

Aż 16 TiB dla pojedynczego pliku.

Spójne środowisko chmury hybrydowej.
Cennik Cennik usługi Azure Blob Storage Cennik usługi Azure Files Cennik usługi Azure Managed Lustre Cennik usługi Azure NetApp Files

Następne kroki

Poniższe artykuły zawierają wskazówki, które mogą być przydatne w różnych punktach procesu wdrażania chmury. Mogą one pomóc w pomyślnym scenariuszu wdrażania chmury na potrzeby obliczeń HPC w sektorze finansowym.