Questa soluzione archivia i log di sicurezza in Azure Esplora dati a lungo termine. Questa soluzione riduce al minimo i costi e consente di accedere facilmente quando è necessario eseguire query sui dati.
Grafana e Jupyter Notebooks sono marchi delle rispettive società. Nessuna verifica dell'autenticità è implicita nell'uso di questi marchi.
Architettura
Scaricare un file di Visio di questa architettura.
Flusso di dati
Per SIEM e SOAR, un'azienda usa Sentinel e Defender per endpoint.
Defender per Endpoint usa la funzionalità nativa per esportare i dati in Hub eventi di Azure e Azure Data Lake. Sentinel inserisce i dati di Defender per endpoint per monitorare i dispositivi.
Sentinel usa Log Analytics come piattaforma dati per esportare i dati in Hub eventi e Azure Data Lake.
Esplora dati di Azure usa connettori per Hub eventi, Archiviazione BLOB di Azure e Azure Data Lake Storage per inserire i dati con bassa latenza e velocità effettiva elevata. Questo processo usa Griglia di eventi di Azure, che attiva la pipeline di inserimento di Esplora dati di Azure.
Se necessario, Esplora dati di Azure esporta continuamente i log di sicurezza in Archiviazione di Azure. Questi log sono in formato Parquet compresso e partizionato e sono pronti per essere sottoposti a query.
Per soddisfare i requisiti normativi, Esplora dati di Azure esporta i dati preaggregati in Data Lake Storage per l'archiviazione.
Log Analytics e Sentinel supportano le query su più servizi con Esplora dati di Azure. Gli analisti SOC usano questa funzionalità per eseguire analisi complete sui dati di sicurezza.
Esplora dati di Azure offre funzionalità native per l'elaborazione, l'aggregazione e l'analisi dei dati.
Diversi strumenti offrono dashboard di analisi near real-time che forniscono rapidamente informazioni dettagliate:
Componenti
Defender per endpoint protegge le organizzazioni dalle minacce su dispositivi, identità, app, posta elettronica, dati e carichi di lavoro cloud.
Sentinel è una soluzione SIEM e SOAR nativa del cloud. Usa l'intelligenza artificiale avanzata e l'analisi della sicurezza per rilevare, cercare, prevenire e rispondere alle minacce nelle aziende.
Monitoraggio è una soluzione SaaS (Software as a Service) che raccoglie e analizza i dati negli ambienti e nelle risorse di Azure. Questi dati includono i dati di telemetria delle app, ad esempio le metriche delle prestazioni e i log attività. Monitoraggio offre anche funzionalità di avviso.
Log Analytics è un servizio di monitoraggio che consente di eseguire query e ispezionare i dati dei log di Monitoraggio. Log Analytics offre anche funzionalità per la creazione di grafici e l'analisi statistica dei risultati delle query.
Hub eventi un servizio di inserimento dati in tempo reale completamente gestito, semplice e scalabile.
Data Lake Storage è un repository di archiviazione scalabile che contiene una grande quantità di dati nel formato nativo e non elaborato dei dati. Questo data lake si basa su Archiviazione BLOB e offre funzionalità per l'archiviazione e l'elaborazione dei dati.
Esplora dati di Azure è una piattaforma di analisi dei dati veloce, completamente gestita e altamente scalabile. È possibile usare questo servizio cloud per l'analisi in tempo reale su grandi volumi di dati. Esplora dati di Azure è ottimizzato per query interattive ad hoc. Può gestire flussi di dati eterogenei da applicazioni, siti Web, dispositivi IoT e altre origini.
Le dashboard di Esplora dati di Azure importano i dati in modo nativo dalle query sull'interfaccia utente Web di Esplora dati di Azure. Queste dashboard ottimizzate consentono di visualizzare ed esplorare i risultati delle query.
Alternativi
Invece di usare Esplora dati di Azure per l'archiviazione a lungo termine dei log di sicurezza, è possibile usare Archiviazione. Questo approccio semplifica l'architettura e consente di controllare i costi. Uno svantaggio è la necessità di riattivare i log per i controlli di sicurezza e le query interattive. Con Esplora dati di Azure, è possibile spostare i dati dalla partizione ad accesso sporadico alla partizione ad accesso frequente modificando un criterio. Questa funzionalità velocizza l'esplorazione dei dati.
Un'altra opzione con questa soluzione consiste nell'invio di tutti i dati, indipendentemente dal valore di sicurezza, a Sentinel ed Esplora dati di Azure contemporaneamente. Ne risultano alcune duplicazioni, ma i risparmi sui costi possono essere significativi. Poiché Esplora dati di Azure fornisce archiviazione a lungo termine, con questo approccio è possibile ridurre i costi di conservazione di Sentinel.
Log Analytics attualmente non supporta l'esportazione di tabelle di log personalizzate. In questo scenario è possibile usare le App per la logica di Azure per esportare i dati dalle aree di lavoro Log Analytics. Per altre informazioni, vedere Archiviare dati dall'area di lavoro Log Analytics nell'archiviazione di Azure con App per la logica.
Dettagli dello scenario
I log di sicurezza sono utili per identificare le minacce e tracciare i tentativi non autorizzati di accesso ai dati. Gli attacchi alla sicurezza possono essere già in corso da tempo prima che vengano individuati. Per questo è importante avere accesso ai log di sicurezza a lungo termine. L'esecuzione di query sui log a lungo termine è fondamentale per identificare l'impatto delle minacce e analizzare la diffusione dei tentativi di accesso illeciti.
Questo articolo descrive una soluzione per la conservazione a lungo termine dei log di sicurezza. Il nucleo dell'architettura è Esplora dati di Azure. Questo servizio fornisce l'archiviazione dei dati di sicurezza a un costo minimo, ma mantiene tali dati in un formato su cui è possibile eseguire query. Ecco altri componenti principali:
Microsoft Defender per Endpoint e Microsoft Sentinel per queste funzionalità:
- Sicurezza completa degli endpoint
- Soluzione SIEM (Security information and event management)
- SOAR (Security Orchestration Automated Response)
Analisi dei log, per l'archiviazione a breve termine dei log di sicurezza di Sentinel.
Potenziali casi d'uso
Questa soluzione trova applicazione in diversi scenari. In particolare, gli analisti del centro operativo per la sicurezza (SOC) possono usare questa soluzione per:
- Indagini su larga scala.
- Analisi per scopi legali.
- Ricerca delle minacce.
- Controlli di sicurezza.
Un cliente testimonia l'utilità della soluzione: "Abbiamo distribuito un cluster di Esplora dati di Azure circa un anno e mezzo fa. Nell'ultima violazione dei dati Solorigate abbiamo usato un cluster di Esplora dati di Azure per l'analisi per scopi legali. Anche un team di Microsoft Dart ha usato un cluster di Esplora dati di Azure per completare l'indagine. La conservazione dei dati di sicurezza a lungo termine è fondamentale per le indagini sui dati su larga scala."
Stack di monitoraggio
Il diagramma seguente mostra lo stack di monitoraggio di Azure:
- Sentinel usa un'area di lavoro Log Analytics per archiviare i log di sicurezza e fornire soluzioni SIEM e SOAR.
- Monitoraggio tiene traccia dello stato degli asset IT e invia avvisi quando necessario.
- Esplora dati di Azure offre una piattaforma dati sottostante che archivia i log di sicurezza per le aree di lavoro Log Analytics, Monitoraggio e Sentinel.
Funzionalità principali
Le funzionalità principali della soluzione offrono numerosi vantaggi, come illustrato nelle sezioni seguenti.
Archivio dati a lungo termine disponibili per query
Esplora dati di Azure indicizza i dati durante il processo di archiviazione, rendendoli disponibili per le query. Quando è necessario concentrarsi sull'esecuzione di controlli e indagini, non è necessario elaborare i dati. Le query sui dati vengono eseguite facilmente.
Analisi per scopi legali su larga scala
Esplora dati di Azure, Log Analytics e Sentinel supportano le query su più servizi. Di conseguenza, in una singola query è possibile fare riferimento ai dati archiviati in tutti questi servizi. Gli analisti SOC possono usare il linguaggio di query Kusto (KQL) per eseguire analisi complete. È anche possibile usare le query di Esplora dati di Azure in Sentinel a scopo di ricerca. Per altre informazioni, vedere Novità: Sentinel Hunting supporta le query tra risorse ADX.
Memorizzazione dei dati nella cache su richiesta
Esplora dati di Azure supporta la memorizzazione nella cache ad accesso frequente basata su Windows. Questa funzionalità consente di spostare i dati di un determinato periodo nella cache ad accesso frequente. È quindi possibile eseguire query veloci sui dati, rendendo più efficienti le indagini. A questo scopo, potrebbe essere necessario aggiungere nodi di calcolo alla cache ad accesso frequente. Al termine dell'analisi, è possibile modificare i criteri della cache ad accesso frequente per spostare i dati nella partizione ad accesso sporadico. È anche possibile ripristinare le dimensioni originali del cluster.
Esportazione continua per archiviare i dati
Per soddisfare i requisiti normativi, alcune aziende devono archiviare i log di sicurezza a tempo indeterminato. Esplora dati di Azure supporta l'esportazione continua dei dati. Questa funzionalità consente di creare un livello di archiviazione archiviando i log di sicurezza in Archiviazione.
Linguaggio di query comprovato
Il linguaggio di query Kusto è nativo di Esplora dati di Azure. Questo linguaggio è disponibile anche nelle aree di lavoro Log Analytics e negli ambienti di ricerca delle minacce di Sentinel. Questa disponibilità riduce significativamente la curva di apprendimento per gli analisti SOC. Le query eseguite in Sentinel funzionano anche sui dati archiviati nei cluster di Esplora dati di Azure.
Considerazioni
Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.
Per l'implementazione di questa soluzione, tenere presente quanto segue.
Scalabilità
Considerare questi problemi di scalabilità:
Metodo di esportazione dei dati
Se è necessario esportare una grande quantità di dati da Log Analytics, è possibile che si raggiungano i limiti di capacità di Hub eventi. Per evitare questa situazione:
- Esportare dati da Log Analytics ad Archiviazione BLOB.
- Usare carichi di lavoro di Azure Data Factory per esportare periodicamente i dati in Esplora dati di Azure.
Con questo metodo è possibile copiare i dati di Data Factory solo quando i dati sono prossimi al limite di conservazione in Sentinel o Log Analytics. In questo modo è possibile evitare la duplicazione dei dati. Per altre informazioni, vedere Esportare dati da Log Analytics in Esplora dati di Azure.
Utilizzo delle query e preparazione del controllo
In genere, i dati vengono memorizzati nella cache ad accesso sporadico in un cluster di Esplora dati di Azure. Questo approccio riduce al minimo i costi del cluster ed è sufficiente per la maggior parte delle query che coinvolgono i dati dei mesi precedenti. Tuttavia, quando si eseguono query su intervalli di dati di grandi dimensioni, potrebbe essere necessario aumentare le dimensioni del cluster e caricare i dati nella cache ad accesso frequente.
A questo scopo, è possibile usare la funzionalità della finestra di accesso frequente nei criteri della cache ad accesso frequente. Questa funzionalità può essere usata anche quando si controllano i dati a lungo termine. Quando si usa la finestra di accesso frequente, potrebbe essere necessario aumentare o ridurre le dimensioni del cluster per fare spazio a più dati nella cache ad accesso frequente. Terminata l'esecuzione di query sull'intervallo di dati di grandi dimensioni, modificare i criteri della cache ad accesso frequente per ridurre i costi di calcolo.
Attivando la funzionalità di scalabilità automatica ottimizzata nel cluster di Esplora dati di Azure, è possibile ottimizzare le dimensioni del cluster in base ai criteri di memorizzazione nella cache. Per altre informazioni sull'esecuzione di query sui dati ad accesso sporadico in Esplora dati di Azure, vedere Eseguire query sui dati ad accesso sporadico con le finestre di accesso frequente.
Efficienza delle prestazioni
L'efficienza delle prestazioni è la capacità di ridimensionare il carico di lavoro soddisfare in modo efficiente le richieste poste dagli utenti. Per altre informazioni, vedere Panoramica dell'efficienza delle prestazioni.
Se è necessario archiviare i dati di sicurezza per molto tempo o per un periodo illimitato, esportare i log in Archiviazione. Esplora dati di Azure supporta l'esportazione continua dei dati. Questa funzionalità consente di esportare i dati in Archiviazione in formato Parquet compresso e partizionato. In seguito è possibile eseguire facilmente query su quei dati. Per altre informazioni, vedere Panoramica dell'esportazione continua dei dati.
Ottimizzazione dei costi
L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.
Il cluster di Esplora dati di Azure si basa principalmente sulla potenza di calcolo usata per archiviare i dati nella cache ad accesso frequente. Le query sui dati nella cache ad accesso frequente offrono prestazioni migliori rispetto alle query sulla cache ad accesso sporadico. Questa soluzione archivia la maggior parte dei dati nella cache ad accesso sporadico, riducendo al minimo i costi di calcolo.
Per esplorare il costo di esecuzione di questa soluzione nel proprio ambiente, usare il calcolatore prezzi di Azure.
Distribuire lo scenario
Per automatizzare la distribuzione, usare questo script di PowerShell. Questo script crea questi componenti:
- La tabella di destinazione
- La tabella non elaborata
- Il mapping di tabella che definisce il modo in cui i record di Hub eventi vengono visualizzati nella tabella non elaborata
- Criteri di conservazione e aggiornamento
- Spazi dei nomi di Hub eventi
- Regole di esportazione dei dati nell'area di lavoro Log Analytics
- Connessione dati tra Hub eventi e la tabella di dati non elaborati di Esplora dati di Azure
Autori di contributi
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai collaboratori seguenti.
Autore principale:
- Deepak Agrawal | Product Manager
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Integrare Esplora dati di Azure per la conservazione dei log a lungo termine
- Spostare facilmente i log di Microsoft Sentinel per l'archiviazione a lungo termine
- Eseguire query tra risorse in Esplora dati di Azure con Monitoraggio di Azure
- PROCEDURA: configurare l'esportazione dati di Microsoft Sentinel per l'archiviazione a lungo termine
- Uso di Esplora dati di Azure per la conservazione a lungo termine dei log di Microsoft Sentinel
- Novità: Microsoft Sentinel Hunting supporta le query tra risorse ADX
- Come trasmettere flussi di dati di ricerca di Microsoft Defender ATP in Esplora dati di Azure
- Serie di blog sulla ricerca avanzata senza limiti con Esplora dati di Azure