Questo articolo offre una panoramica tecnica dell'uso di Microsoft Azure per supportare e migliorare il grid computing dei rischi nel settore bancario. L'articolo illustra i sistemi consigliati e le architetture di alto livello.
Questo documento è destinato agli architetti di soluzioni e, in alcuni casi, ai Technical Decision Makers, che desiderano un approfondimento su soluzioni proposte per il calcolo dei rischi.
Introduzione
I modelli di analisi dei rischi finanziari vengono in genere elaborati come processi batch. Hanno carichi di calcolo pesanti che generano una domanda elevata di potenza di calcolo, accesso ai dati e analisi. La domanda di calcoli della griglia di rischi aumenta spesso nel tempo e aumenta la necessità di risorse di calcolo.
L'ampia gamma di prodotti e servizi disponibili di Azure significa che è possibile avere più di una soluzione per la maggior parte dei problemi. Questo articolo offre una panoramica delle tecnologie, dei modelli e delle procedure più efficaci per una soluzione di grid computing a rischio nel settore bancario che usa Microsoft Azure Batch.
Azure Batch è un servizio gratuito che offre soluzioni convenienti e sicure. Le soluzioni sono sia per l'infrastruttura che per le varie fasi di elaborazione batch usate in genere con i modelli di grid computing a rischio. Azure Batch può aumentare, estendere o persino sostituire gli attuali investimenti in risorse di calcolo locale usando reti ibride o spostando l'intero processo di Batch in Azure. I dati possono attraversare verso l'alto e verso il basso dal cloud o rimanere in locale. Altri dati possono essere elaborati dai nodi di calcolo in un modello burst-to-cloud, quando le risorse locali vengono eseguite a basso consumo.
Anatomia di un'esecuzione di Azure Batch
Vi sono in genere almeno due applicazioni coinvolte in un'esecuzione Batch. Un'applicazione, in genere eseguita in un "nodo head," Invia il processo al pool e a volte orchestra i nodi di calcolo. L'orchestrazione può anche essere configurata tramite il portale di Azure. L'altra applicazione viene eseguita dai nodi di calcolo come un'attività (vedere la Figura 1).
L'applicazione del nodo di calcolo esegue l'attività di file di modellazione dei rischi di elaborazione paralleli. Può essere presente più di un'applicazione installata ed eseguita nei nodi di calcolo.
Queste applicazioni possono essere caricate tramite l'API Batch, direttamente tramite il portale di Azure o tramite i comandi dell'interfaccia della riga di comando di Azure per Batch.
Figura 1: Azure Batch Grid Computing
Un'esecuzione di Azure Batch è costituita da diversi elementi logici. La Figura 2 mostra il modello logico di un processo batch. Un pool è un contenitore per le macchine virtuali coinvolte nell'esecuzione del Batch ed effettua il provisioning di macchine virtuali del nodo di calcolo. Un pool è anche il contenitore per le applicazioni installate nei nodi di calcolo. I processi vengono creati ed eseguiti all'interno del pool. Le attività sono eseguite dai processi. Le attività sono un'esecuzione dell'applicazione di lavoro e vengono richiamate da un'istruzione della riga di comando.
L'applicazione di lavoro viene installata nel nodo di calcolo al momento della creazione.
Figura 2: Modello di concetto di batch logico
Quando viene eseguito il processo, il pool esegue il provisioning di qualsiasi ruolo di lavoro necessario per le macchine virtuali e installa le applicazioni del ruolo di lavoro. Il processo assegna attività a tali nodi di calcolo, che a loro volta eseguono un'istruzione della riga di comando. Lo script dell'interfaccia della riga di comando chiama in genere le applicazioni o gli script installati.
L'uso di Batch in genere segue un modello prototipo, descritto di seguito:
- Creare un gruppo di risorse per contenere le risorse Batch.
- All'interno del gruppo di risorse, creare un account Batch.
- Creare un account di archiviazione collegato.
- Creare un pool in cui è possibile effettuare il provisioning delle macchine virtuali di lavoro.
- Caricare l'applicazione del nodo di calcolo o gli script nel pool.
- Creare un processo per assegnare le attività alle macchine virtuali nel pool.
- Aggiungere il processo al pool.
- Iniziare l'esecuzione del Batch.
- Il processo mette in coda le attività da eseguire nei nodi di calcolo.
- I nodi di calcolo eseguono le attività non appena le macchine virtuali diventano disponibili.
Un'illustrazione di questo processo viene mostrata nella Figura 3.
Figura 3: Modello di concetto di batch logico
Dopo aver completato le attività, può essere utile rimuovere i nodi di calcolo per non incorrere in addebiti mentre non è in uso. Per eliminarli, tramite codice o attraverso il portale, è possibile eliminare il pool che lo contiene, cosa che rimuoverà le macchine virtuali del ruolo di lavoro.
Per procedure dettagliate su come iniziare con Batch, guide introduttive di 5 minuti illustrano il processo in diversi linguaggi e illustra anche come usare il portale di Azure.
La pianificazione dei processi Batch
Azure Batch ha un'utilità di pianificazione incorporata in modo che la pianificazione di ogni esecuzione possa essere definita nel portale o tramite le API. L'utilità di pianificazione dei processi Batch può definire più pianificazioni per attivare più processi. Ogni processo ha proprietà specifiche, ad esempio operazioni da eseguire quando il processo inizia e termina. Le pianificazioni dei processi possono essere impostate in base a intervalli ricorrenti o per una singola esecuzione.
Molti sistemi di grid computing per le banche hanno già il proprio servizio di pianificazione. Potrebbe non esserci una necessità immediata di spostare l'utilità di pianificazione in Azure. Questo può funzionare senza problemi perché Azure Batch può essere richiamato manualmente o tramite un SDK. Questa possibilità consente di pianificare ancora in locale e di elaborare i carichi di lavoro in Azure.
L'elaborazione batch può avvenire in base a una pianificazione predeterminata o su richiesta. In entrambi i casi, non è necessario mantenere attive le macchine virtuali del nodo di calcolo quando non vengono usate. Quando si usano centinaia, se non migliaia, di nodi di calcolo delle macchine virtuali, è possibile realizzare risparmi significativi sui costi eseguendo il deprovisioning dei server al termine dell'esecuzione delle attività in coda.
Calcolare le applicazioni del nodo
I nodi di calcolo richiedono un'applicazione da eseguire quando viene richiamata un'attività. Queste applicazioni vengono scritte dall'azienda per eseguire i processi di elaborazione quando installate nei ruoli di lavoro. Negli scenari di griglia di rischi per gli scenari bancari, questa applicazione spesso assume il compito di trasformare i dati in formati particolarmente adatti per l'analisi downstream o altre elaborazioni.
Quando si fornisce l'applicazione al pool per la distribuzione ai nodi di calcolo, viene caricata in un pacchetto dell'applicazione. Un pacchetto dell'applicazione potrebbe essere un'altra versione di un pacchetto dell'applicazione caricato in precedenza. Può essere installato più di un pacchetto dell'applicazione in un nodo di calcolo. Il processo contiene i pacchetti dell'applicazione da caricare nelle macchine del ruolo di lavoro.
La distribuzione del pacchetto dell'applicazione può essere gestita anche dalla versione. Se sono state caricate più versioni di un pacchetto dell'applicazione in un pool, è possibile designare una versione specifica da usare in un Batch eseguito come illustrato nella Figura 4. Ciò potrebbe essere necessario negli ambienti di controllo o quando l'azienda desidera riprodurre un'esecuzione precedente. Può anche essere utilizzato per scopi di rollback se è stato introdotto un bug per l'applicazione del ruolo di lavoro.
Figura 4: controllo delle versioni per le applicazioni dell'attività del nodo di calcolo
Un pacchetto dell'applicazione viene caricato nel pool come file .zip. Il file contiene i file binari dell'applicazione e i file di supporto necessari per l'esecuzione dell'applicazione da parte delle attività. Esistono due ambiti per i pacchetti dell'applicazione. È possibile designare un pacchetto dell'applicazione nell'ambito del pool o nell'ambito delle attività.
Pacchetti delle applicazioni del pool
Questi pacchetti vengono distribuiti in ogni nodo di calcolo nel pool. Quando viene effettuato il provisioning, il riavvio o la ricreazione dell'immagine di una macchina virtuale del nodo di calcolo, viene installata una nuova copia di tutti i pacchetti dell'applicazione del pool, se esiste un'applicazione aggiornata. Uno o più pacchetti dell'applicazione possono essere assegnati a un pool, il che significa che i nodi di calcolo otterranno tutti pacchetti designati.
Pacchetti di applicazione dell'attività
I pacchetti dell'applicazione che hanno come destinazione il livello di attività vengono installati solo nei nodi di calcolo pianificati per l'esecuzione di un'attività. I pacchetti delle applicazioni dell'attività sono destinati ad essere usati quando viene eseguito più di un processo in un pool.
Le applicazioni di attività sono utili durante l'aggregazione di dati prodotti da processi a livello di pool. Queste applicazioni possono essere rilevanti negli scenari di grid computing dei rischi. Ad esempio, un'applicazione di attività può eseguire un set di calcoli di rischio che generano dati da usare in un secondo momento nel flusso di lavoro di calcolo del rischio.
Ridimensionamento dei processi Batch
Le banche si occupano spesso di esecuzioni batch dell'analisi dei rischi nei fine settimana o durante la notte quando le risorse di calcolo sono sottoutilizzate. Anche se questo modello funziona per alcuni, può essere rapidamente superato, richiedendo più capitali per aggiungere più computer del ruolo di lavoro alla griglia.
Se i processi di Azure Batch richiedono troppo tempo o se si vuole una maggiore potenza di calcolo nelle esecuzioni di Batch, Azure offre diverse opzioni.
- Allocare più macchine del nodo di calcolo per aumentare le istanze.
- Allocare più macchine del nodo di calcolo avanzate per aumentare le prestazioni. Si può eseguire il provisioning dei computer di Azure per soddisfare le esigenze di prestazioni elevate per core e memoria, e anche per la potenza di elaborazione GPU.
Nota: l'uso di Microsoft HPC Pack con Batch è un modello più complesso e non viene illustrato in questo articolo.
In un cluster di elaborazione Batch potrebbero essere presenti solo due macchine virtuali di elaborazione. In alternativa, è possibile avere migliaia di attività simultanee in esecuzione su migliaia di nodi di calcolo delle macchine virtuali, con decine di migliaia di core. Ogni macchina virtuale è responsabile dell'esecuzione di una sola attività alla volta. Il numero di macchine virtuali in un pool può essere ridimensionato manualmente o automaticamente, come configurato quando il carico aumenta o diminuisce.
Burst nel cloud
Quando le risorse di calcolo in una griglia in locale sono scarse a causa di un processo di analisi di grandi dimensioni in esecuzione, "burst nel cloud" offre un modo per aumentare tali risorse aggiungendo più nodi di calcolo in Azure. Il burst nel cloud è un modello in cui i cloud privati o l'infrastruttura distribuiscono il carico di lavoro ai server cloud, quando la domanda è elevata per le risorse locali.
Questi nodi di calcolo possono essere configurati in precedenza come macchine virtuali Windows o Linux in cui eseguire il provisioning nella piattaforma IaaS di Azure. Inoltre, si può eseguire il provisioning dei server e questi possono essere configurati automaticamente per funzionare con gli investimenti esistenti, ad esempio Tibco Gridserver e IBM Symphony.
Formule di ridimensionamento automatico
Questa flessibilità può essere configurata nel portale di Azure o usando le formule di scalabilità automatica. Le formule di scalabilità automatica sono degli script caricati nell'utilità di pianificazione di elaborazione Batch per un controllo accurato del comportamento Batch. La scalabilità automatica in un pool di nodi di calcolo viene eseguita associando i nodi alle formule di scalabilità automatica.
L'esempio seguente è una formula di ridimensionamento automatico che indirizza il ridimensionamento automatico per iniziare con una macchina virtuale e aumentare fino a 50 macchine virtuali in base alle esigenze. Al termine delle attività le macchine virtuali diventano libere una ad una e la formula di scalabilità automatica riduce il pool.
startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);
Altre tecniche di scalabilità
La scalabilità automatica può anche essere abilitata dal cmdlet di PowerShell Enable-AzureBatchAutoScale. Il cmdlet Enable-AzureBatchAutoScale abilita la scalabilità automatica del pool specificato. Esempio:
- Il primo comando definisce una formula e quindi la salva nella variabile
$Formula. - Il secondo comando abilita la scalabilità automatica nel pool denominato
RiskGridPoolutilizzando la formula in$Formula.
C:\> $Formula = ‘startingNumberOfVMs = 1;
maxNumberofVMs = 50;
pendingTaskSamplePercent = $PendingTasks.GetSamplePercent(180 * TimeInterval_Second?WT.mc_id=gridbanksg-docs-dastarr);
pendingTaskSamples = pendingTaskSamplePercent < 70 ? startingNumberOfVMs : avg($PendingTasks.GetSample(180 * TimeInterval_Second));
$TargetDedicatedNodes=min(maxNumberofVMs, pendingTaskSamples);’;
C:\> Enable-AzureBatchAutoScale -Id "RiskGridPool" -AutoScaleFormula $Formula -BatchContext $Context
Il ridimensionamento può essere eseguito anche usando l'interfaccia della riga di comando di Azure con il az batch pool resize comando e tramite il portale di Azure.
Conservazione ed archiviazione dati
Dopo che i dati vengono inseriti ed elaborati da un nodo di calcolo, i dati di output risultanti possono essere archiviati in un database. I dati di output possono essere ulteriormente elaborati e analizzati o trasformati al momento dell'inserimento, prima dell'archiviazione, per garantire i formati appropriati per l'elaborazione downstream. Microsoft Azure offre diverse opzioni di archiviazione. La scelta di quale tecnologia di archiviazione dei dati usare dipende in larga misura dall'analisi e/o dalla segnalazione delle esigenze dei processi downstream.
Quando si usa una rete ibrida, la destinazione di archiviazione dei dati può essere in locale. Quando si usa Batch su una rete ibrida, i nodi di calcolo possono scrivere i dati nuovamente in un archivio dati in locale senza usare un percorso di archiviazione basato su Azure. I ruoli di lavoro possono anche scrivere nell'archiviazione file di Azure, che può essere montata come disco in un computer locale. Questa configurazione consente di accedere facilmente a qualsiasi processo che funziona con i file in locale.
Monitoraggio e registrazione
Per ottimizzare le esecuzioni future del processo Batch, i dati devono essere registrati per aiutare a identificare le aree di ottimizzazione. Ad esempio, se i ruoli di lavoro eseguono quasi la capacità della CPU, l'aggiunta di core nei nodi di calcolo può contribuire a evitare di incorrere nel limite di CPU e il processo può terminare rapidamente. Ogni esecuzione dell'applicazione nel processo Batch ha le proprie caratteristiche e le ottimizzazioni apportate alle macchine virtuali nelle esecuzioni Batch possono essere diverse. Per le attività a elevato utilizzo di memoria, è possibile allocare più memoria configurando i computer in modo diverso nell'esecuzione successiva.
La registrazione può essere eseguita dal nodo di calcolo e dalle applicazioni head della griglia o da un processo tramite la registrazione diagnostica batch. Si può configurare la registrazione di informazioni sulle prestazioni delle esecuzioni Batch per consentire di identificare le aree da migliorare per prestazioni migliori e un più rapido completamento dell'attività.
Monitoraggio e registrazione del batch personalizzato
Il controllo dell'applicazione e le applicazioni del nodo di calcolo possono generare questi dati e archiviarli per un'ulteriore analisi. I dati trovati utili per ottimizzare i processi di Batch includono:
- Ora di inizio e fine per ogni attività
- L'ora di ogni nodo di calcolo è attiva ed esegue attività
- L'ora di ogni nodo di calcolo è attiva e non esegue attività
- Il tempo di esecuzione globale del processo batch
Registrazione diagnostica batch
Esiste un'alternativa all'uso delle applicazioni controller e nodi di calcolo per generare dati di strumentazione. La registrazione diagnostica batch può acquisire molti dati di esecuzione. La registrazione diagnostica batch non è abilitata per impostazione predefinita e deve essere abilitata per l'account Batch.
La registrazione diagnostica batch offre una quantità significativa di dati che facilitano la risoluzione dei problemi e l'ottimizzazione delle esecuzioni di Batch. Ora di inizio e fine per processi e attività, numero di core, numero totale di nodi e molte altre metriche.
La registrazione batch richiede una destinazione di archiviazione per i log generati, l'archiviazione di eventi generati dall'esecuzione batch, ad esempio la creazione del pool, l'esecuzione del processo, l'esecuzione di attività e così via. Oltre a archiviare gli eventi del log di diagnostica in un account Archiviazione di Azure, gli eventi del log del servizio Batch possono essere trasmessi a un'istanza di Hub eventi di Azure. Gli eventi possono quindi essere inviati ad Azure Log Analytics.
Usando questi dati, è possibile ottimizzare le applicazioni di core computing e nodo head. Ciò può ridurre i costi, a causa di operazioni come il deprovisioning più rapido delle macchine virtuali di lavoro, quando non sono più necessarie, anziché attendere il completamento dell'esecuzione di Batch.
Strumenti di gestione Batch
Il portale di Azure fornisce un dashboard di monitoraggio di Batch che mostra informazioni su Batch perché i processi sono in esecuzione e persino sull'utilizzo della quota di account. È sufficiente per molte applicazioni di processo Batch.
Oltre agli strumenti di gestione e visualizzazione di Batch disponibili nella portale di Azure, è disponibile uno strumento open source gratuito, Batch Explorer, per la gestione di Batch. Si tratta di uno strumento client autonomo che consente di creare, eseguire il debug e monitorare le applicazioni Azure Batch. È possibile scaricare un pacchetto di installazione per Mac, Linux o Windows.
Modelli di rete
Analisi dei rischi spesso richiede centinaia, se non migliaia, di documenti da inserire nel processo di grid computing dei rischi. Questi file sono spesso in locale in un archivio di file, in una condivisione di rete o in altri repository. Quando si usano macchine virtuali basate su Azure per accedere ed elaborare tali file, è spesso utile che la rete locale sia facilmente connessa alla rete di Azure, quindi l'accesso ai file è semplice e veloce. Questo approccio può anche significare che non sono necessarie modifiche al codice per far sì che il codice esegua l'elaborazione nei nodi di calcolo.
Azure offre due modelli per connettere in modo sicuro e affidabile i sistemi attuali locali ad Azure, Microsoft Azure ExpressRoute e Gateway VPN. Entrambi offrono una connettività sicura affidabile, anche se esistono delle differenze nell'implementazione, nelle prestazioni e in altri attributi.
In alternativa, il nodo head del grid computing dei rischi può risiedere in locale ed eseguire il processo Batch tramite gli SDK o le API REST in .NET e in altri linguaggi.
Esistono altre tecniche per colmare il divario tra le risorse di Azure e le risorse in locale senza una soluzione di rete ibrida. Altre informazioni in merito sono disponibili di seguito.
ExpressRoute
ExpressRoute collega la rete locale o del data center ad Azure tramite una connessione privata facilitata da un partner di connettività, ad esempio il provider di servizi Internet corrente. Ciò fa sì che entrambe le reti si visualizzino tra loro come la stessa istanza di rete, che fornisce l'accesso trasparente tra le reti. L'integrazione della rete è fondamentale quando si desidera integrare i sistemi locali esistenti in una rete di Azure ed ExpressRoute offre la massima velocità di connessione possibile.
Altre informazioni sui prezzi per Azure ExpressRoute sono disponibili qui.
Gateway VPN
Un Gateway VPN è un altro modo per connettere la rete in Azure. Lo svantaggio di questo modello sono i flussi di traffico su Internet. La connessione può essere meno resiliente di conseguenza e le velocità di rete non possono raggiungere quelle di ExpressRoute, ma questo potrebbe non essere una barriera per uno scenario di grid computing a rischio perché la lettura dei file di dati è in genere un'operazione veloce.
Altre informazioni sui prezzi per Gateway VPN sono disponibili qui.
Scelte per i dettagli di connettività
Esistono essenzialmente due modelli per estendere la rete ad Azure, come illustrato nella figura 5.
- Gateway virtuale: da sito a sito
- ExpressRoute: provider di Exchange o ISP
Figura 5: sito a sito ed ExpressRoute
Integrazione da sito a sito del gateway virtuale
Un Gateway VPN da sito a sito connette la rete locale a una rete virtuale di Azure. Ciò colma il divario tra le reti essenzialmente rendendole parti della stessa rete, con accesso bidirezionale alle risorse, ai server e agli artefatti. Ciò consente l'accesso diretto ai file di dati dalle macchine virtuali del ruolo di lavoro di Azure che eseguono il processo batch di grid computing dei rischi.
Integrazione di ExpressRoute
Una connessione ExpressRoute facilitata da un provider di rete del partner di Azure realizza gli stessi vantaggi di una connessione sito a sito, ma con affidabilità e velocità più elevate.
Altre informazioni sui modelli di connettività ExpressRoute.
Elaborazione batch senza una rete ibrida di Azure
Un altro scenario Batch è il caricamento di tutti i file di dati in archiviazione di Azure per l'elaborazione successiva da macchine di calcolo basate su Azure. L'archiviazione dei file e l'archiviazione BLOB sono probabili candidati per l'archiviazione dei dati di grid computing dei rischi.
In questo scenario, il controller del processo e tutti i nodi di calcolo sono posizionati in Azure, come illustrato nella Figura 6. La destinazione probabile per i dati elaborati è un archivio dati di Azure, in preparazione per un'ulteriore elaborazione da altri sistemi o soluzioni di Azure Machine Learning. Questa ulteriore elaborazione esula dall'ambito del presente articolo.
Figura 6: caricamento in Batch per l'esecuzione del ciclo di vita
Risorse di connettività di rete ibrida
Alcune configurazioni potrebbero essere applicabili alla situazione specifica. Per facilitare le decisioni e il materiale sussidiario sull'architettura riguardanti la connessione della connettività di rete in Azure, vedere l'articolo Connettere una rete locale ad Azure dal gruppo patterns & practices.
- Consultare questo articolo per le alternative di configurazione di Gateway VPN.
- Altre informazioni sui Modelli di connettività di ExpressRoute.
- Calcolare prezzi di ExpressRoute.
- Calcolare prezzi di Gateway VPN.
Considerazioni sulla sicurezza
Si può creare una rete virtuale (VNet) di Azure e si possono creare i nodi di calcolo del pool al suo interno. Ciò offre un livello di isolamento aggiuntivo per le esecuzioni di Batch e consente l'autenticazione usando l'ID Microsoft Entra. Per altre informazioni, vedere Configurazione di rete del pool.
Esistono due modi per autenticare un'applicazione Batch usando Microsoft Entra ID:
Autenticazione integrata. Un'applicazione batch che usa gli account Microsoft Entra può usare l'account per ottenere risorse per gli archivi dati e altre risorse.
Entità servizio. Le entità servizio Microsoft Entra definiscono i criteri di accesso e le autorizzazioni per utenti e applicazioni. Un'entità servizio fornisce l'autenticazione agli utenti che usano una chiave privata associata a quell'applicazione. Ciò consente l'autenticazione di un'applicazione automatica con una chiave privata. L'entità servizio definisce i criteri e le autorizzazioni per un'applicazione per rappresentare l'applicazione al momento dell'accesso alle risorse in fase di runtime. Fare clic qui per altre informazioni.
Per altre informazioni sulla sicurezza nell'elaborazione batch con Microsoft Entra ID, vedere questo articolo.
Il servizio Batch può autenticarsi anche con una chiave condivisa. Il servizio di autenticazione richiede due valori di intestazione da aggiungere alla richiesta HTTP, ai dati e all'autorizzazione. Per altre informazioni, vedere qui in merito all'autenticazione chiave condivisa.
Ottimizzazione dei costi
Non è previsto alcun addebito per l'uso di Azure Batch. Si pagano solo le risorse sottostanti utilizzate, ad esempio il tempo di attività delle macchine virtuali, l'archiviazione e la rete. Tuttavia, le macchine virtuali del nodo di calcolo costano comunque denaro quando sono inattive, quindi è consigliabile eseguire il deprovisioning dei computer quando non sono più necessari. Questa operazione viene spesso eseguita eliminando il pool che li contiene.
Quando si crea un pool, è possibile specificare i tipi di nodi di calcolo desiderati e il numero di ognuno. I due tipi di nodi di calcolo sono i seguenti:
I nodi di calcolo dedicati sono riservati per i carichi di lavoro. Sono più costosi rispetto ai nodi con priorità bassa, ma non vengono mai superati.
I nodi di calcolo con priorità bassa sfruttano la capacità in eccesso di Azure per l'esecuzione dei carichi di lavoro di Batch. I nodi con priorità bassa hanno un costo orario inferiore a quello dei nodi dedicati e supportano carichi di lavoro che richiedono una potenza di calcolo elevata. Per altre informazioni, vedere Usare le VM con priorità bassa in Batch.
Nodi dedicati e con priorità bassa possono esistere nello stesso pool.
Per informazioni sui prezzi per i nodi di calcolo dedicati e con priorità bassa, vedere Prezzi di Batch.
Quando si usa il servizio di registrazione diagnostica Batch, i dati generati nell'archiviazione di Azure comportano un costo. Ovvero, i dati di archiviazione, come qualsiasi altro dato, e i prezzi sono interessati dalla quantità di dati di diagnostica conservati.
Introduzione
Anche se esistono molte posizioni per iniziare a usare un dominio complesso come Batch computing per il grid computing dei rischi, ecco alcuni punti di avvio logico per una migliore comprensione della tecnologia Batch.
La documentazione di Azure Batch è un ottimo punto di partenza. La documentazione include esempi del portale, informazioni di riferimento sulle API e esercitazioni dettagliate con esempi di codice. Le applicazioni di esempio di Azure Batch sono anche disponibili gratuitamente su GitHub.
Di seguito sono mostrate alcune lezioni veloci per la compilazione di un'applicazione semplice per creare ed eseguire processi di calcolo batch. Le opzioni per la compilazione dell'applicazione sono i seguenti:
- Batch API .NET
- Batch SDK per Python
- Batch SDK per Node.js
- Gestione di batch con PowerShell
- Gestione di batch con l'Interfaccia della riga di comando di Azure
Prendere in considerazione l'avvio di un'iniziativa di proof-of-concept. Qual è l'approccio adottato per l'inserimento dei dati in Azure? Verrà utilizzata una rete ibrida o verranno caricati i dati tramite un'interfaccia REST o SDK? Se si sta valutando una rete ibrida, è consigliabile avviare un progetto pilota per inserirlo.
Valutare le dimensioni dei processi di calcolo batch e quindi selezionare la soluzione di ridimensionamento corretta. Le formule di scalabilità automatica consentono scenari di pianificazione complessi, mentre gli scenari più semplici sono ottenibili usando il portale di Azure.
Componenti
Azure Batch offre funzionalità per eseguire processi di elaborazione parallela su larga scala nel cloud.
Microsoft Entra ID è un servizio multi-tenant, basato sul cloud e di gestione delle identità che combina i servizi directory principali, la gestione degli accessi alle applicazioni e la protezione delle identità in una singola soluzione.
Le formule di scalabilità automatica sono degli script caricati nell'utilità di pianificazione di elaborazione Batch per un controllo accurato dei comportamenti di ridimensionamento Batch.
Registrazione diagnostica batch è una funzionalità di Azure Batch che abilita la creazione di un log dettagliato dalle esecuzioni dei Batch e degli eventi generati. I log vengono archiviati in Archiviazione di Azure.
Batch Explorer è un'applicazione autonoma per il monitoraggio e la gestione di Batch disponibili per Windows, macOS e Linux.
ExpressRoute è una soluzione di rete ibrida a elevata velocità e affidabilità per la partecipazione a reti in locale e di Azure.
Azure Gateway VPN è una soluzione di rete ibrida che usa Internet per l'aggiunta di reti locali e di Azure.
Conclusione
Questo documento ha fornito una panoramica delle soluzioni tecniche e delle considerazioni quando si usa Azure Batch per Grid computing per i rischi in nel settore bancario. L'articolo ha coperto numerosi aspetti dalla definizione del Batch di Azure alle opzioni di rete, e persino i fattori di costo.
Collaboratori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autori principali:
- David Starr | Principal Solutions Architect
Passaggi successivi
Quando si prende in considerazione lo spostamento in avanti nella valutazione di Azure Batch per il grid computing dei rischi, questa pagina è un'ottima risorsa per iniziare. Fornisce esercitazioni guidate di esempio per l'elaborazione parallela del file, che è caratteristica del grid computing dei rischi. Le esercitazioni vengono fornite usando il portale di Azure, l'interfaccia della riga di comando di Azure, .NET e Python.
Documentazione sui prodotti:
- Informazioni su Azure Batch
- Cos'è Microsoft Entra ID?
- Che cos'è Azure ExpressRoute?
- Che cos'è un gateway VPN?