Leggere in inglese

Condividi tramite


Selezionare uno strumento di inserimento dati

Dopo aver selezionato una piattaforma di destinazione per i dati storici, il passaggio successivo consiste nel selezionare uno strumento per trasferire i dati.

Questo articolo descrive un set di strumenti diversi usati per trasferire i dati storici nella piattaforma di destinazione selezionata. Questa tabella elenca gli strumenti disponibili per ogni piattaforma di destinazione e gli strumenti generali per facilitare il processo di inserimento.

Log/archivio di base di Monitoraggio di Azure Esplora dati di Azure Archiviazione BLOB di Azure Strumenti generali
Strumento di inserimento log personalizzato di Monitoraggio di Azure
API diretta
LightIngest
Logstash
Azure Data Factory o Azure Synapse
AzCopy
Azure Data Box
Acceleratore di migrazione dei dati SIEM

Log/archivio di base di Monitoraggio di Azure

Prima di inserire i dati nei log di base o nell'archivio di Monitoraggio di Azure, per prezzi di inserimento inferiori, assicurarsi che la tabella in cui si sta scrivendo sia configurata come log di base. Esaminare lo strumento di inserimento log personalizzato di Monitoraggio di Azure e il metodo API diretto per i log di base di Monitoraggio di Azure.

Strumento di inserimento log personalizzato di Monitoraggio di Azure

Lo strumento di inserimento log personalizzato è uno script di PowerShell che invia dati personalizzati a un'area di lavoro dei log di Monitoraggio di Azure. È possibile puntare lo script alla cartella in cui risiedono tutti i file di log e lo script inserisce i file in tale cartella. Lo script accetta un formato CSV o JSON per i file di log.

API diretta

Con questa opzione, è possibile inserire i log personalizzati nei log di Monitoraggio di Azure. È possibile inserire i log con uno script di PowerShell che usa un'API REST. In alternativa, è possibile usare qualsiasi altro linguaggio di programmazione per eseguire l'inserimento ed è possibile usare altri servizi di Azure per astrarre il livello di calcolo, ad esempio Funzioni di Azure o App per la logica di Azure.

Esplora dati di Azure

È possibile inserire dati in Esplora dati di Azure (ADX) in diversi modi.

I metodi di inserimento accettati da ADX sono basati su componenti diversi:

  • SDK per linguaggi diversi, ad esempio .NET, Go, Python, Java, NodeJS e API.
  • Pipeline gestite, ad esempio Griglia di eventi o Hub eventi blob di archiviazione, e Azure Data Factory.
  • Connettori o plug-in, ad esempio Logstash, Kafka, Power Automate e Apache Spark.

Esaminare LightIngest e Logstash, due metodi più adatti al caso d'uso della migrazione dei dati.

LightIngest

ADX ha sviluppato l'utilità LightIngest specificamente per il caso d'uso della migrazione dei dati storici. È possibile usare LightIngest per copiare dati da un file system locale o da Archiviazione BLOB di Azure ad ADX.

Ecco alcuni vantaggi e funzionalità principali di LightIngest:

  • Poiché non esiste alcun vincolo di tempo per la durata dell'inserimento, LightIngest è più utile quando si desidera inserire grandi quantità di dati.
  • LightIngest è utile quando si desidera eseguire query sui record in base al momento in cui sono stati creati e non al momento in cui sono stati inseriti.
  • Non è necessario gestire il ridimensionamento complesso per LightIngest, perché l'utilità non esegue la copia effettiva. LightIngest informa ADX sui BLOB che devono essere copiati e ADX copia i dati.

Se si sceglie LightIngest, esaminare questi suggerimenti e le procedure consigliate.

  • Per velocizzare la migrazione e ridurre i costi, aumentare le dimensioni del cluster ADX per creare nodi più disponibili per l'inserimento. Ridurre le dimensioni al termine della migrazione.
  • Per query più efficienti dopo l'inserimento dei dati in ADX, assicurarsi che i dati copiati usino il timestamp per gli eventi originali. I dati non devono usare il timestamp da quando i dati vengono copiati in ADX. Specificare il timestamp su LightIngest come percorso del nome file come parte della proprietà CreationTime.
  • Se il percorso o i nomi di file non includono un timestamp, è comunque possibile indicare ad ADX di organizzare i dati usando un criterio di partizionamento.

Logstash

Logstash è una pipeline di elaborazione dati lato server e open source che inserisce i dati da più origini contemporaneamente, li trasforma e quindi li invia all'accantonamento preferito. Informazioni su come inserire dati da Logstash in Esplora dati di Azure. Logstash viene eseguito in computer Windows, Linux e MacOS.

Per ottimizzare le prestazioni, configurare le dimensioni del livello Logstash in base agli eventi al secondo. È consigliabile usare LightIngest laddove possibile, perché LightIngest si basa sull'elaborazione del cluster ADX per eseguire la copia.

Archiviazione BLOB di Azure

È possibile inserire dati in Archiviazione BLOB di Azure in diversi modi.

Esaminare i metodi azure Data Factory (ADF) e Azure Synapse, che sono più adatti al caso d'uso della migrazione dei dati.

Azure Data Factory o Azure Synapse

Per usare l'attività Copy nelle pipeline di Azure Data Factory (ADF) o Synapse:

  1. Creare e configurare un runtime di integrazione self-hosted. Questo componente è responsabile della copia dei dati dall'host locale.
  2. Creare servizi collegati per l'archivio dati di origine (file system e l'archivio BLOB dell'archivio dati sink.
  3. Per copiare i dati, usare lo strumento Copia dati. In alternativa, è possibile usare metodi come PowerShell, portale di Azure, .NET SDK e così via.

AzCopy

AzCopy è una semplice utilità della riga di comando che copia i file da o verso gli account di archiviazione. AZCpy è disponibile per Windows, Linux e macOS. Informazioni su come copiare i dati locali nell'Archiviazione BLOB di Azure con AzCopy.

È anche possibile usare queste opzioni per copiare i dati:

Azure Data Box

In uno scenario in cui SIEM di origine non dispone di una buona connettività ad Azure, l'inserimento dei dati usando gli strumenti esaminati in questa sezione potrebbe essere lento o persino impossibile. Per risolvere questo scenario, è possibile usare Azure Data Box per copiare i dati in locale dal data center del cliente in un'appliance e quindi spedire l'appliance a un data center di Azure. Anche se Azure Data Box non è una sostituzione di AzCopy o LightIngest, è possibile usare questo strumento per accelerare il trasferimento dei dati tra il data center dei clienti e Azure.

Azure Data Box offre tre SKU diversi, a seconda della quantità di dati di cui eseguire la migrazione:

Dopo aver completato la migrazione, i dati sono disponibili in un account di archiviazione in una delle sottoscrizioni di Azure. Quindi è possibile usare AzCopy, LightIngest o ADF per inserire i dati dall'account di archiviazione.

Acceleratore di migrazione dei dati SIEM

Oltre a selezionare uno strumento di inserimento, il team deve investire tempo nella configurazione dell'ambiente di base. Per semplificare questo processo, è possibile usare l'acceleratore di migrazione dei dati SIEM che automatizza le attività seguenti:

  • Distribuisce una macchina virtuale Windows che verrà usata per spostare i log dall'origine alla piattaforma di destinazione
  • Scarica ed estrae gli strumenti seguenti nel desktop della macchina virtuale:
  • Distribuisce la piattaforma di destinazione che ospiterà i log cronologici:
    • Account di archiviazione di Azure (Archiviazione BLOB di Azure)
    • Cluster e database di Esplora dati di Azure
    • Area di lavoro Log di Monitoraggio di Azure (log di base; abilitata con Microsoft Sentinel)

Per usare l'acceleratore di migrazione dei dati SIEM:

  1. Nella pagina dell'acceleratore di migrazione dei dati SIEM fare clic su Distribuisci in Azure nella parte inferiore della pagina ed eseguire l'autenticazione.
  2. Selezionare Informazioni di base, selezionare il gruppo di risorse e il percorso e quindi selezionare Avanti.
  3. Selezionare Macchina virtuale di migrazione ed eseguire le operazioni seguenti:
    • Digitare il nome della macchina virtuale, il nome utente e la password.
    • Selezionare una rete virtuale esistente o creare una nuova rete virtuale per la connessione alla macchina virtuale.
    • Selezionare le dimensioni delle macchine virtuali.
  4. Selezionare Piattaforma di destinazione ed eseguire una delle operazioni seguenti:
    • Ignorare questo passaggio.
    • Specificare il cluster ADX e il nome del database, lo SKU e il numero di nodi.
    • Per Account di Archiviazione BLOB di Azure selezionare un account esistente. Se non si ha un account, specificare un nuovo nome account, digitare e ridondanza.
    • Per Log di Monitoraggio di Azure digitare il nome della nuova area di lavoro.

Passaggi successivi

In questo articolo è stato illustrato come selezionare uno strumento per inserire i dati nella piattaforma di destinazione.