Selezionare uno strumento di inserimento dati
Dopo aver selezionato una piattaforma di destinazione per i dati storici, il passaggio successivo consiste nel selezionare uno strumento per trasferire i dati.
Questo articolo descrive un set di strumenti diversi usati per trasferire i dati storici nella piattaforma di destinazione selezionata. Questa tabella elenca gli strumenti disponibili per ogni piattaforma di destinazione e gli strumenti generali per facilitare il processo di inserimento.
Log/archivio di base di Monitoraggio di Azure | Esplora dati di Azure | Archiviazione BLOB di Azure | Strumenti generali |
---|---|---|---|
• Strumento di inserimento log personalizzato di Monitoraggio di Azure • API diretta |
• LightIngest • Logstash |
• Azure Data Factory o Azure Synapse • AzCopy |
• Azure Data Box • Acceleratore di migrazione dei dati SIEM |
Prima di inserire i dati nei log di base o nell'archivio di Monitoraggio di Azure, per prezzi di inserimento inferiori, assicurarsi che la tabella in cui si sta scrivendo sia configurata come log di base. Esaminare lo strumento di inserimento log personalizzato di Monitoraggio di Azure e il metodo API diretto per i log di base di Monitoraggio di Azure.
Lo strumento di inserimento log personalizzato è uno script di PowerShell che invia dati personalizzati a un'area di lavoro dei log di Monitoraggio di Azure. È possibile puntare lo script alla cartella in cui risiedono tutti i file di log e lo script inserisce i file in tale cartella. Lo script accetta un formato CSV o JSON per i file di log.
Con questa opzione, è possibile inserire i log personalizzati nei log di Monitoraggio di Azure. È possibile inserire i log con uno script di PowerShell che usa un'API REST. In alternativa, è possibile usare qualsiasi altro linguaggio di programmazione per eseguire l'inserimento ed è possibile usare altri servizi di Azure per astrarre il livello di calcolo, ad esempio Funzioni di Azure o App per la logica di Azure.
È possibile inserire dati in Esplora dati di Azure (ADX) in diversi modi.
I metodi di inserimento accettati da ADX sono basati su componenti diversi:
- SDK per linguaggi diversi, ad esempio .NET, Go, Python, Java, NodeJS e API.
- Pipeline gestite, ad esempio Griglia di eventi o Hub eventi blob di archiviazione, e Azure Data Factory.
- Connettori o plug-in, ad esempio Logstash, Kafka, Power Automate e Apache Spark.
Esaminare LightIngest e Logstash, due metodi più adatti al caso d'uso della migrazione dei dati.
ADX ha sviluppato l'utilità LightIngest specificamente per il caso d'uso della migrazione dei dati storici. È possibile usare LightIngest per copiare dati da un file system locale o da Archiviazione BLOB di Azure ad ADX.
Ecco alcuni vantaggi e funzionalità principali di LightIngest:
- Poiché non esiste alcun vincolo di tempo per la durata dell'inserimento, LightIngest è più utile quando si desidera inserire grandi quantità di dati.
- LightIngest è utile quando si desidera eseguire query sui record in base al momento in cui sono stati creati e non al momento in cui sono stati inseriti.
- Non è necessario gestire il ridimensionamento complesso per LightIngest, perché l'utilità non esegue la copia effettiva. LightIngest informa ADX sui BLOB che devono essere copiati e ADX copia i dati.
Se si sceglie LightIngest, esaminare questi suggerimenti e le procedure consigliate.
- Per velocizzare la migrazione e ridurre i costi, aumentare le dimensioni del cluster ADX per creare nodi più disponibili per l'inserimento. Ridurre le dimensioni al termine della migrazione.
- Per query più efficienti dopo l'inserimento dei dati in ADX, assicurarsi che i dati copiati usino il timestamp per gli eventi originali. I dati non devono usare il timestamp da quando i dati vengono copiati in ADX. Specificare il timestamp su LightIngest come percorso del nome file come parte della proprietà CreationTime.
- Se il percorso o i nomi di file non includono un timestamp, è comunque possibile indicare ad ADX di organizzare i dati usando un criterio di partizionamento.
Logstash è una pipeline di elaborazione dati lato server e open source che inserisce i dati da più origini contemporaneamente, li trasforma e quindi li invia all'accantonamento preferito. Informazioni su come inserire dati da Logstash in Esplora dati di Azure. Logstash viene eseguito in computer Windows, Linux e MacOS.
Per ottimizzare le prestazioni, configurare le dimensioni del livello Logstash in base agli eventi al secondo. È consigliabile usare LightIngest laddove possibile, perché LightIngest si basa sull'elaborazione del cluster ADX per eseguire la copia.
È possibile inserire dati in Archiviazione BLOB di Azure in diversi modi.
Esaminare i metodi azure Data Factory (ADF) e Azure Synapse, che sono più adatti al caso d'uso della migrazione dei dati.
Per usare l'attività Copy nelle pipeline di Azure Data Factory (ADF) o Synapse:
- Creare e configurare un runtime di integrazione self-hosted. Questo componente è responsabile della copia dei dati dall'host locale.
- Creare servizi collegati per l'archivio dati di origine (file system e l'archivio BLOB dell'archivio dati sink.
- Per copiare i dati, usare lo strumento Copia dati. In alternativa, è possibile usare metodi come PowerShell, portale di Azure, .NET SDK e così via.
AzCopy è una semplice utilità della riga di comando che copia i file da o verso gli account di archiviazione. AZCpy è disponibile per Windows, Linux e macOS. Informazioni su come copiare i dati locali nell'Archiviazione BLOB di Azure con AzCopy.
È anche possibile usare queste opzioni per copiare i dati:
- Informazioni su come ottimizzare le prestazioni di AzCopy.
- Informazioni su come configurare AzCopy.
- Informazioni su come usare il comando di copia.
In uno scenario in cui SIEM di origine non dispone di una buona connettività ad Azure, l'inserimento dei dati usando gli strumenti esaminati in questa sezione potrebbe essere lento o persino impossibile. Per risolvere questo scenario, è possibile usare Azure Data Box per copiare i dati in locale dal data center del cliente in un'appliance e quindi spedire l'appliance a un data center di Azure. Anche se Azure Data Box non è una sostituzione di AzCopy o LightIngest, è possibile usare questo strumento per accelerare il trasferimento dei dati tra il data center dei clienti e Azure.
Azure Data Box offre tre SKU diversi, a seconda della quantità di dati di cui eseguire la migrazione:
Dopo aver completato la migrazione, i dati sono disponibili in un account di archiviazione in una delle sottoscrizioni di Azure. Quindi è possibile usare AzCopy, LightIngest o ADF per inserire i dati dall'account di archiviazione.
Oltre a selezionare uno strumento di inserimento, il team deve investire tempo nella configurazione dell'ambiente di base. Per semplificare questo processo, è possibile usare l'acceleratore di migrazione dei dati SIEM che automatizza le attività seguenti:
- Distribuisce una macchina virtuale Windows che verrà usata per spostare i log dall'origine alla piattaforma di destinazione
- Scarica ed estrae gli strumenti seguenti nel desktop della macchina virtuale:
- LightIngest: usato per eseguire la migrazione dei dati ad ADX
- Strumento di inserimento log personalizzato di Monitoraggio di Azure: usato per eseguire la migrazione dei dati a Log Analytics
- AzCopy: usato per eseguire la migrazione dei dati in Archiviazione BLOB di Azure
- Distribuisce la piattaforma di destinazione che ospiterà i log cronologici:
- Account di archiviazione di Azure (Archiviazione BLOB di Azure)
- Cluster e database di Esplora dati di Azure
- Area di lavoro Log di Monitoraggio di Azure (log di base; abilitata con Microsoft Sentinel)
Per usare l'acceleratore di migrazione dei dati SIEM:
- Nella pagina dell'acceleratore di migrazione dei dati SIEM fare clic su Distribuisci in Azure nella parte inferiore della pagina ed eseguire l'autenticazione.
- Selezionare Informazioni di base, selezionare il gruppo di risorse e il percorso e quindi selezionare Avanti.
- Selezionare Macchina virtuale di migrazione ed eseguire le operazioni seguenti:
- Digitare il nome della macchina virtuale, il nome utente e la password.
- Selezionare una rete virtuale esistente o creare una nuova rete virtuale per la connessione alla macchina virtuale.
- Selezionare le dimensioni delle macchine virtuali.
- Selezionare Piattaforma di destinazione ed eseguire una delle operazioni seguenti:
- Ignorare questo passaggio.
- Specificare il cluster ADX e il nome del database, lo SKU e il numero di nodi.
- Per Account di Archiviazione BLOB di Azure selezionare un account esistente. Se non si ha un account, specificare un nuovo nome account, digitare e ridondanza.
- Per Log di Monitoraggio di Azure digitare il nome della nuova area di lavoro.
In questo articolo è stato illustrato come selezionare uno strumento per inserire i dati nella piattaforma di destinazione.