Condividi tramite

Ottimizzare le prestazioni del lustre gestito di Azure

Questo riferimento descrive il modo in cui la configurazione di rete per le macchine virtuali client e i file system amLFS (Managed Lustre) di Azure influiscono sulle prestazioni complessive.

La velocità effettiva e latenza di rete tra AMLFS e i client influiscono direttamente sui tempi di completamento del processo. Per ottenere prestazioni prevedibili e elevate, seguire questi principi di progettazione:

  • Usare la rete accelerata in tutte le macchine virtuali client.
  • Posizionare AMLFS e macchine virtuali client nella stessa zona di disponibilità nelle aree che supportano le zone di disponibilità.
  • Mantenere il routing di rete tra client e AMLFS il più possibile diretto, con hop minimi o senza hop aggiuntivi nel percorso dati.

Presupposti dell'ambiente

Queste raccomandazioni presuppongono l'ambiente seguente:

Requisiti di rete accelerati

La rete accelerata usa la virtualizzazione di I/O radice singola (SR-IOV) per offrire una velocità effettiva più elevata, una latenza inferiore e una riduzione del jitter rispetto alle schede di rete di base. Per i carichi di lavoro AMLFS a elevato utilizzo di I/O, Microsoft consiglia vivamente di abilitare la rete accelerata in tutte le macchine virtuali client. Per altre informazioni, vedere Panoramica della rete accelerata di Azure.

Pianificare le macchine virtuali client per AMLFS come indicato di seguito:

  • Assegnare priorità alle dimensioni delle macchine virtuali che supportano la rete accelerata. Sono incluse tutte le dimensioni di MACCHINE virtuali hpc e intelligenza artificiale di Azure.
  • Abilitare la rete accelerata quando si crea l'interfaccia di rete o si aggiorna l'interfaccia con la rete accelerata abilitata se le dimensioni della macchina virtuale lo supportano. Per le opzioni dettagliate nel portale, nell'interfaccia della riga di comando di Azure e in PowerShell, vedere Gestire la rete accelerata per macchine virtuali di Azure.
  • Quando si distribuiscono macchine virtuali client usando l'interfaccia della riga di comando di Azure, Bicep, Terraform o i modelli arm, configurare le interfacce di rete in modo che la rete accelerata sia abilitata per impostazione predefinita.
  • Quando si effettua il provisioning dei pool client tramite agenti di orchestrazione, ad esempio Azure CycleCloud, Azure Batch o il servizio Azure Kubernetes, assicurarsi che il pool di nodi o le definizioni di vm specifichino le dimensioni delle macchine virtuali e le impostazioni della scheda di interfaccia di rete che supportano e abilitano la rete accelerata.

È possibile verificare che la rete accelerata sia abilitata in una macchina virtuale client tramite:

  • Nel portale di Azure aprire la risorsa dell'interfaccia di rete e verificare che la rete accelerata sia impostata su Abilitato.
  • Nella macchina virtuale verificare che l'interfaccia di rete usi il driver di rete accelerato in base alla documentazione di distribuzione.

Per altre opzioni per confermare l'impostazione dagli script o dagli strumenti da riga di comando, vedere Verificare che la rete accelerata sia abilitata.

L'abilitazione della rete accelerata in tutti i client AMLFS consente di ottimizzare la velocità effettiva per nodo e di ridurre il sovraccarico della CPU per l'elaborazione di rete, importante per i carichi di lavoro Lustre altamente paralleli.

Considerazioni sulla zona di disponibilità

Nelle aree che supportano le zone di disponibilità, AMLFS viene sempre distribuito in una zona di disponibilità specifica. Allineare il posizionamento della macchina virtuale client alla zona AMLFS per ridurre al minimo la latenza ed evitare il traffico tra zone. Per una panoramica delle zone di disponibilità in Azure, vedere Panoramica delle zone di disponibilità.

Seguire queste linee guida:

  • Quando si distribuiscono macchine virtuali client, inserirle nella stessa zona di disponibilità del file system AMLFS.
  • Evitare progettazioni in cui i client in una zona accedono principalmente ad AMLFS in un'altra zona, perché il traffico tra zone può aggiungere latenza.
  • Per i cluster di grandi dimensioni, raggruppare i client in base al carico di lavoro o al tipo di processo e mantenere ogni gruppo nella stessa zona dell'istanza AMLFS usata.

Se è necessario estendersi su più zone per motivi operativi o di resilienza e la latenza tra zone degrada le prestazioni, prendere in considerazione:

  • Mantenere i processi sensibili alla latenza o a elevato utilizzo di larghezza di banda nella stessa zona di AMLFS.
  • Uso di istanze AMLFS aggiuntive in altre zone per localizzare l'accesso ai dati per carichi di lavoro separati.

Per verificare le dimensioni delle macchine virtuali disponibili in ogni zona di disponibilità per una determinata area, usare l'interfaccia della riga di comando di Azure o le indicazioni di PowerShell in Controllare la disponibilità dello SKU della macchina virtuale.

Considerazioni sulla topologia di rete

Ogni hop di rete aggiuntivo tra le macchine virtuali client e AMLFS può aggiungere latenza, ridurre la velocità effettiva e introdurre il jitter. Per ottenere prestazioni ottimali, distribuire AMLFS e macchine virtuali client nella stessa rete virtuale e usare il routing diretto tra subnet, senza appliance virtuali di rete aggiuntive o hop intermedi nel percorso dati. Se si usano route definite dall'utente nella rete virtuale, assicurarsi che non eseseguono l'override delle route di sistema tra le subnet client e la subnet AMLFS in modo che il traffico Lustre rimanga sul percorso diretto.

Passaggi successivi

In questo articolo si è appreso come ottimizzare le prestazioni AMLFS ottimizzando la configurazione di rete, il posizionamento della zona di disponibilità e il routing.

Per ottimizzare ulteriormente la distribuzione, vedere:

  • Last updated on