Condividi tramite

Archiviazione per HPC nel settore finanziario

  • Articolo

Questo articolo fornisce raccomandazioni per l'implementazione dello spazio di archiviazione in ambienti HPC per il settore finanziario. I carichi di lavoro HPC su larga scala negli ambienti finanziari creano richieste di archiviazione e accesso ai dati che superano le funzionalità dei file system cloud tradizionali.

Considerazioni relative alla progettazione

Per decidere quale soluzione di archiviazione usare, è necessario tenere conto dei requisiti dell'applicazione seguenti.

  • Latenza
  • Operazioni di I/O al secondo
  • Velocità effettiva
  • Dimensioni e numero dei file
  • Runtime del processo
  • Costi associati
  • Affinità per la posizione di archiviazione: locale rispetto ad Azure

Suggerimenti per la progettazione

  • Usare Archiviazione BLOB di Azure Standard o Premium per l'archiviazione a bassa latenza e velocità effettiva elevata. Offre questi vantaggi:

    • Fornisce l'accesso a scalabilità exabyte, velocità effettiva elevata, bassa latenza, se necessario, un file system familiare e l'accesso multi-protocollo (REST, HDFS, NFS).
    • È conveniente.
    • È possibile montare blob Archiviazione come file system usando BlobFuse. In questo modo è facile consentire a più nodi di montare lo stesso contenitore per scenari di sola lettura.
    • Supporta NFS 3.0 nell'endpoint del servizio BLOB per carichi di lavoro con velocità effettiva elevata e con operazioni di lettura elevate.
    • È possibile ottimizzare i costi spostando i dati a livelli più sporadici tramite la possibilità di eseguire la gestione del ciclo di vita con la suddivisione in livelli intelligenti dell'ultimo aggiornamento/accesso, con criteri personalizzabili.

  • Usare Azure NetApp Files per le applicazioni ReadWriteMany (univoco) o write-once, read-once. Offre questi vantaggi:

    • Una vasta scelta di protocolli di file (NFSv3, NFSv4.1, SMB3).
    • Prestazioni paragonabili alle prestazioni locali, con più livelli (Ultra, Premium, Standard).
    • Distribuisce in pochi minuti e offre un'ampia gamma di livelli e flessibilità.
    • Tipi e prestazioni del pool di capacità flessibili, in cui il QoS per volume viene assegnato automaticamente in base al livello del pool e alla quota del volume.

La tabella seguente fornisce un confronto tra Archiviazione BLOB, File di Azure, Lustre gestito di Azure e Azure NetApp Files.

Archiviazione BLOB File di Azure Managed Lustre di Azure Azure NetApp Files
Casi d'uso Ideale per carichi di lavoro di accesso sequenziale con un numero elevato di operazioni di lettura su larga scala in cui i dati vengono inseriti una sola volta e modificati in modo minimo.

Basso costo totale di proprietà, se è presente una manutenzione leggera.		 Un servizio a disponibilità elevata più adatto per carichi di lavoro ad accesso casuale.

Per le condivisioni NFS, File di Azure fornisce il supporto completo del file system POSIX. Il driver CSI predefinito consente di usarlo facilmente da piattaforme contenitore come Istanze di Azure Container e servizio Azure Kubernetes (servizio Azure Kubernetes), oltre alle piattaforme basate su vm.		 Lustre gestito di Azure è un file system parallelo completamente gestito più adatto ai carichi di lavoro HPC di medie e grandi dimensioni.

Abilita le applicazioni HPC nel cloud senza interrompere la compatibilità delle applicazioni fornendo funzionalità familiari del file system parallelo Lustre, comportamenti e prestazioni, garantendo investimenti a lungo termine nelle applicazioni.		 Un servizio file completamente gestito nel cloud, basato su NetApp, con funzionalità di gestione avanzate.

Azure NetApp Files è adatto per i carichi di lavoro che richiedono l'accesso casuale. Offre un ampio supporto del protocollo e una migliore protezione dei dati.
Protocolli disponibili NFS 3.0

RESTO

Archiviazione di Azure Data Lake		 SMB

NFS 4.1

Nessuna interoperabilità tra entrambi i protocolli.		 Lustro NFS 3.0 e 4.1

SMB


Funzionalità chiave Integrato con Azure Cache HPC per carichi di lavoro a bassa latenza.

Gestione integrata, tra cui la gestione del ciclo di vita, i BLOB non modificabili, il failover dei dati e l'indice dei metadati.		 Ridondanza zona per la disponibilità elevata.

Latenza coerente in millisecondi a una cifra.

Prestazioni prevedibili e costi scalabili con capacità.		 Capacità di archiviazione elevata fino a 2,5PB.

Latenza bassa (~2 ms).

Attivare nuovi cluster in pochi minuti.

Supporta i carichi di lavoro in contenitori con il servizio Azure Kubernetes.		 Latenza estremamente bassa (inferiore al millisecondo).

Funzionalità di gestione Rich NetApp ONTAP, ad esempio SnapMirror Cloud.

Esperienza cloud ibrida coerente.
Prestazioni (per volume) Fino a 20.000 operazioni di I/O al secondo. Fino a 100 GiB/s velocità effettiva. Fino a 100.000 operazioni di I/O al secondo. Fino a 80 GiB/s velocità effettiva. Fino a 100.000 operazioni di I/O al secondo, fino a 500 GiB/s velocità effettiva. Fino a 460.000 operazioni di I/O al secondo. Velocità effettiva massima di 36 GiB/s.
Ridimensiona Fino a 2 PiB per un singolo volume.

Fino a ~4.75 TiB per un singolo file.

Nessun requisito minimo di capacità.		 Fino a 100 TiB per un singolo volume.

Fino a 4 TiB per un singolo file.

Capacità minima di 100 GiB.		 Fino a 2,5 PiB per un singolo volume.

Fino a 32 PB per un singolo file.

4 Capacità minima TiB.		 Fino a 100 TiB per un singolo volume.

Fino a 16 TiB per un singolo file.

Esperienza cloud ibrida coerente.
Prezzi Prezzi di Archivio BLOB di Azure Prezzi di File di Azure Prezzi di Lustre gestito di Azure Prezzi di Azure NetApp Files

Passaggi successivi

Gli articoli seguenti forniscono indicazioni utili in vari punti durante il processo di adozione del cloud. Possono essere utili per avere successo nello scenario di adozione del cloud per HPC nel settore finanziario.