Tárolás a HPC-hez a pénzügyi szektorban

  • Cikk

Ez a cikk ajánlásokat tartalmaz a tárolók hpc-környezetekben való megvalósítására a pénzügyi szektor számára. A nagy méretű HPC számítási feladatok pénzügyi környezetekben olyan adattárolási és hozzáférési igényeket támasztanak, amelyek túllépik a hagyományos felhőalapú fájlrendszerek képességeit.

Kialakítási szempontok

Annak eldöntéséhez, hogy melyik tárolási megoldást használja, figyelembe kell vennie az alábbi alkalmazáskövetelményeket.

  • Késés
  • IOPS
  • Átfutás
  • Fájlméretek és -számok
  • Feladat-futtatókörnyezet
  • Kapcsolódó költségek
  • Affinitás a tárolóhelyhez: a helyszíni és az Azure közötti kapcsolat

Tervezési javaslatok

  • Használja a Standard vagy a Premium Azure Blob Storage-t a nagy átviteli sebességű, alacsony késésű tároláshoz. A következő előnyöket kínálja:

    • Exabájtos, nagy átviteli sebességet, kis késésű hozzáférést biztosít, ahol szükséges, egy jól ismert fájlrendszert és több protokollos hozzáférést (REST, HDFS, NFS).
    • Költséghatékony.
    • A Blob Storage-t fájlrendszerként csatlakoztathatja a BlobFuse használatával. Így egyszerűen engedélyezheti, hogy több csomópont is csatlakoztatja ugyanazt a tárolót írásvédett forgatókönyvekhez.
    • Támogatja az NFS 3.0-t a blobszolgáltatás végpontján a nagy átviteli sebességű, olvasási nehéz számítási feladatokhoz.
    • A költségeket úgy optimalizálhatja, hogy adatokat helyez át a hűvösebb rétegekre az életciklus-kezelés utolsó frissítési/hozzáférési idő intelligens rétegzésével, testre szabható szabályzatokkal.

  • Az Azure NetApp Files használata a ReadWriteManyhoz (egyedi) vagy egyszer írható, egyszer olvasható alkalmazásokhoz. A következő előnyöket nyújtja:

    • A fájlprotokollok széles választéka (NFSv3, NFSv4.1, SMB3).
    • A helyszíni teljesítményhez hasonló teljesítmény, több szinttel (Ultra, Premium, Standard).
    • Percek alatt üzembe helyezhető, és számos réteget és rugalmasságot kínál.
    • Rugalmas kapacitáskészlettípusok és teljesítmény, ahol a kötetenkénti QoS automatikusan ki van rendelve a készlet szintje és a kötetkvóta alapján.

Az alábbi táblázat a Blob Storage, az Azure Files, az Azure Managed Lustre és az Azure NetApp Files összehasonlítását tartalmazza.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Használati esetek Leginkább nagy léptékű olvasási és szekvenciális hozzáférési számítási feladatokhoz ideális, ha az adatokat egyszer és minimálisan módosítják.

Alacsony teljes bekerülési költség, ha könnyű karbantartást végez.		 Egy magas rendelkezésre állású szolgáltatás, amely a véletlenszerű hozzáférésű számítási feladatokhoz a legalkalmasabb.

NFS-megosztások esetén az Azure Files teljes KÖRŰ POSIX fájlrendszer-támogatást nyújt. A beépített CSI-illesztő lehetővé teszi, hogy a virtuálisgép-alapú platformok mellett könnyen használható legyen olyan tárolóplatformokról, mint az Azure Container Instances és az Azure Kubernetes Service (AKS).		 Az Azure Managed Lustre egy teljes körűen felügyelt párhuzamos fájlrendszer, amely leginkább közepes és nagy HPC számítási feladatokhoz alkalmas.

Lehetővé teszi a hpc-alkalmazásokat a felhőben anélkül, hogy az alkalmazáskompatibilitást megbontanák. Ehhez az ismert Lustre párhuzamos fájlrendszer-funkciókat, viselkedéseket és teljesítményt biztosít, így biztosítva a hosszú távú alkalmazásbefektetéseket.		 A felhőben a NetApp által üzemeltetett teljes körűen felügyelt fájlszolgáltatás, fejlett felügyeleti képességekkel.

Az Azure NetApp Files véletlenszerű hozzáférést igénylő számítási feladatokhoz használható. Széles körű protokolltámogatást és továbbfejlesztett adatvédelemmel szolgál.
Elérhető protokollok NFS 3.0

TÖBBI

Azure Data Lake Storage		 SMB

NFS 4.1

(Egyik protokoll között sem lehet együttműködni.)		 Lustre NFS 3.0 és 4.1

SMB


A legfontosabb jellemzők     Integrálva az Azure HPC Cache-sel az alacsony késésű számítási feladatokhoz.

Integrált felügyelet, beleértve az életciklus-kezelést, a nem módosítható blobokat, az adat feladatátvételét és a metaadat-indexet.		 Zónaredundáns a magas rendelkezésre álláshoz.

Konzisztens egyjegyű ezredmásodperc késés.

Kiszámítható teljesítmény és költség, amely kapacitással skálázható.		 Nagy tárolási kapacitás akár 2,5PB-ig.

Alacsony (~2 ms) késés.

Új fürtök létrehozása percek alatt.

Támogatja a tárolóalapú számítási feladatokat az AKS használatával.		 Rendkívül alacsony késés (ezredmásodperc alatt).

Rich NetApp ONTAP felügyeleti képesség, például SnapMirror Cloud.

Konzisztens hibrid felhőélmény.
Teljesítmény (kötetenként) Akár 20 000 IOPS is lehet. Akár 100 GiB/s átviteli sebesség is lehet. Akár 100 000 IOPS is lehet. Akár 80 GiB/s átviteli sebesség. Akár 100 000 IOPS, akár 500 GiB/s átviteli sebesség. Akár 460 000 IOPS is lehet. Akár 36 GiB/s átviteli sebesség.
Hangsor Akár 2 PiB egyetlen kötethez.

Akár ~4,75 TiB egyetlen fájlhoz.

Nincs minimális kapacitási követelmény.		 Akár 100 TiB egyetlen kötethez.

Akár 4 TiB egyetlen fájlhoz.

100 GiB minimális kapacitás.		 Akár 2,5 PiB egyetlen kötethez.

Akár 32 PB egyetlen fájlhoz.

4 TiB minimális kapacitás.		 Akár 100 TiB egyetlen kötethez.

Akár 16 TiB egyetlen fájlhoz.

Konzisztens hibrid felhőélmény.
Árképzés Az Azure Blob Storage díjszabása Az Azure Files díjszabása Az Azure Managed Lustre díjszabása Az Azure NetApp Files díjszabása

Következő lépések

Az alábbi cikkek útmutatást nyújtanak, amelyek hasznosnak bizonyulhatnak a felhőbevezetési folyamat különböző pontjain. Ezek segíthetnek a felhőbevezetési forgatókönyv sikeres végrehajtásában a hpc-hez a pénzügyi szektorban.