Share via

Opslag voor HPC in de financiële sector

  • Artikel

Dit artikel bevat aanbevelingen voor het implementeren van opslag in HPC-omgevingen voor de financiële sector. Grootschalige HPC-workloads in financiële omgevingen zorgen voor vereisten voor gegevensopslag en -toegang die de mogelijkheden van traditionele cloudbestandssystemen overschrijden.

Ontwerpoverwegingen

Als u wilt bepalen welke opslagoplossing moet worden gebruikt, moet u rekening houden met de volgende toepassingsvereisten.

  • Latentie
  • IOPS
  • Doorvoer
  • Bestandsgrootten en nummer
  • Taakruntime
  • Gekoppelde kosten
  • Affiniteit voor opslaglocatie: on-premises versus Azure

Ontwerpaanaanvelingen

  • Gebruik Standard of Premium Azure Blob Storage voor opslag met hoge doorvoer en lage latentie. Het biedt deze voordelen:

    • Het biedt waar nodig exabyte-schaal, hoge doorvoer, lage latentie toegang, een vertrouwd bestandssysteem en toegang met meerdere protocollen (REST, HDFS, NFS).
    • Het is rendabel.
    • U kunt Blob Storage koppelen als bestandssysteem met behulp van BlobFuse. Hierdoor kunt u eenvoudig meerdere knooppunten toestaan om dezelfde container te koppelen voor alleen-lezenscenario's.
    • Het ondersteunt NFS 3.0 op het blob-service-eindpunt voor workloads met hoge doorvoer, leesintensieve werkbelastingen.
    • U kunt kosten optimaliseren door gegevens naar koeler lagen te verplaatsen via de mogelijkheid om levenscyclusbeheer uit te voeren met intelligente lagen voor laatste update-/toegangstijd, met aanpasbare beleidsregels.

  • Gebruik Azure NetApp Files voor ReadWriteMany (uniek) of write-once, read-once-toepassingen. Het biedt de volgende voordelen:

    • Een ruime keuze aan bestandsprotocollen (NFSv3, NFSv4.1, SMB3).
    • Prestaties die vergelijkbaar zijn met on-premises prestaties, met meerdere lagen (Ultra, Premium, Standard).
    • Implementeert in enkele minuten en biedt een breed scala aan lagen en flexibiliteit.
    • Typen en prestaties van flexibele capaciteitspools, waarbij de QoS per volume automatisch wordt toegewezen op basis van de laag van de pool en het volumequotum.

De volgende tabel bevat een vergelijking van Blob Storage, Azure Files, Azure Managed Lustre en Azure NetApp Files.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Gebruiksscenario's Het meest geschikt voor grootschalige leesintensieve sequentieel toegangsworkloads waarbij gegevens eenmaal en minimaal worden gewijzigd.

Lage totale eigendomskosten, als er licht onderhoud is.		 Een maximaal beschikbare service die het meest geschikt is voor workloads voor willekeurige toegang.

Voor NFS-shares biedt Azure Files volledige ondersteuning voor het POSIX-bestandssysteem. Met het ingebouwde CSI-stuurprogramma kunt u het eenvoudig gebruiken vanuit containerplatforms zoals Azure Container Instances en Azure Kubernetes Service (AKS), naast op VM's gebaseerde platforms.		 Azure Managed Lustre is een volledig beheerd parallel bestandssysteem dat het meest geschikt is voor middelgrote tot grote HPC-workloads.

Maakt HPC-toepassingen in de cloud mogelijk zonder dat de toepassingscompatibiliteit wordt onderbroken door vertrouwde functionaliteit, gedrag en prestaties van het Lustre-bestandssysteem te bieden, waardoor langetermijninvesteringen in toepassingen worden beveiligd.		 Een volledig beheerde bestandsservice in de cloud, mogelijk gemaakt door NetApp, met geavanceerde beheermogelijkheden.

Azure NetApp Files is geschikt voor workloads waarvoor willekeurige toegang is vereist. Het biedt brede protocolondersteuning en verbeterde gegevensbescherming.
Beschikbare protocollen NFS 3.0

REST

Azure Data Lake Storage		 SMB

NFS 4.1

(Geen interoperabiliteit tussen beide protocollen.)		 Lustre NFS 3.0 en 4.1

SMB


Belangrijke functies Geïntegreerd met Azure HPC Cache voor workloads met lage latentie.

Geïntegreerd beheer, waaronder levenscyclusbeheer, onveranderbare blobs, gegevensfailover en metagegevensindex.		 Zone-redundant voor hoge beschikbaarheid.

Consistente latentie van één milliseconden.

Voorspelbare prestaties en kosten die worden geschaald met capaciteit.		 Hoge opslagcapaciteit tot 2,5PB.

Lage latentie (~2 ms).

Stel binnen enkele minuten nieuwe clusters in.

Ondersteunt workloads in containers met AKS.		 Extreem lage latentie (zo laag als sub milliseconden).

Uitgebreide Beheermogelijkheden voor NetApp ONTAP, zoals SnapMirror Cloud.

Consistente hybride cloudervaring.
Prestaties (per volume) Zo veel als 20.000 IOPS. Zo veel als 100 GiB/s doorvoer. Zo veel als 100.000 IOPS. Zo veel als 80 GiB/s doorvoer. Maximaal 100.000 IOPS, tot 500 GiB/s doorvoer. Maar liefst 460.000 IOPS. Zo veel als 36 GiB/s doorvoer.
Schaal wijzigen Zo veel als 2 PiB voor één volume.

Zo veel als ~4,75 TiB voor één bestand.

Er zijn geen minimale capaciteitsvereisten.		 Net zo veel als 100 TiB voor één volume.

Maximaal 4 TiB voor één bestand.

Minimaal 100 GiB-capaciteit.		 Zo veel als 2,5 PiB voor één volume.

Maximaal 32 PB voor één bestand.

Minimaal 4 TiB-capaciteit.		 Net zo veel als 100 TiB voor één volume.

Maximaal 16 TiB voor één bestand.

Consistente hybride cloudervaring.
Prijzen Prijzen voor Azure Blob Storage Prijzen voor Azure Files Prijzen van Azure Managed Lustre Prijzen voor Azure NetApp Files

Volgende stappen

De volgende artikelen bevatten richtlijnen die u mogelijk nuttig vindt op verschillende punten tijdens uw cloudacceptatieproces. Ze kunnen u helpen uw cloudimplementatiescenario voor HPC in de financiële sector te voltooien.