Inserimento e trasformazione dei dati personalizzati in Microsoft Sentinel
Log Analytics di Monitoraggio di Azure funge da piattaforma dietro l'area di lavoro di Microsoft Sentinel. Per impostazione predefinita, tutti i log inseriti in Microsoft Sentinel vengono archiviati in Log Analytics. Da Microsoft Sentinel è possibile accedere ai log archiviati ed eseguire query Linguaggio di query Kusto (KQL) per rilevare le minacce e monitorare l'attività di rete.
Il processo di inserimento dati personalizzato di Log Analytics offre un elevato livello di controllo sui dati inseriti. Usa regole di raccolta dati (DCR) per raccogliere i dati e modificarli anche prima che vengano archiviati nell'area di lavoro. In questo modo è possibile filtrare e arricchire le tabelle standard e creare tabelle altamente personalizzabili per l'archiviazione di dati da origini che producono formati di log univoci.
Microsoft Sentinel offre due strumenti per controllare questo processo:
L'API di inserimento log consente di inviare log in formato personalizzato da qualsiasi origine dati all'area di lavoro Log Analytics e archiviare tali log in determinate tabelle standard specifiche o in tabelle in formato personalizzato create dall'utente. È possibile avere il controllo completo sulla creazione di queste tabelle personalizzate, fino a specificare i nomi e i tipi di colonna. È possibile creare regole di raccolta dati (DCR) per definire, configurare e applicare trasformazioni a questi flussi di dati.
La trasformazione raccolta dati usa controller di dominio per applicare query KQL di base ai log standard in ingresso (e determinati tipi di log personalizzati) prima che vengano archiviati nell'area di lavoro. Queste trasformazioni possono escludere dati irrilevanti, arricchire i dati esistenti con dati analitici o esterni oppure mascherare informazioni riservate o personali.
Questi due strumenti verranno illustrati in modo più dettagliato di seguito.
Casi d'uso e scenari di esempio
Filtro
La trasformazione in fase di inserimento consente di filtrare i dati irrilevanti anche prima che vengano archiviati nell'area di lavoro.
È possibile filtrare a livello di record (riga) specificando i criteri per i record da includere o a livello di campo (colonna) rimuovendo il contenuto per campi specifici. Filtrare i dati irrilevanti può:
- Contribuire a ridurre i costi, riducendo i requisiti di archiviazione
- Migliorare le prestazioni, in quanto sono necessarie meno modifiche in fase di query
La trasformazione dei dati in fase di inserimento supporta scenari con più aree di lavoro.
Normalizzazione
La trasformazione in fase di inserimento consente anche di normalizzare i log quando vengono inseriti in tabelle normalizzate di ASIM predefinite o del cliente. L'uso della normalizzazione in fase di inserimento migliora le prestazioni delle query normalizzate.
Per altre informazioni sulla normalizzazione in fase di inserimento tramite trasformazioni, vedere Normalizzazione in fase di inserimento.
Arricchimento e assegnazione di tag
La trasformazione in fase di inserimento consente anche di migliorare l'analisi arricchire i dati con colonne aggiuntive aggiunte alla trasformazione KQL configurata. Le colonne aggiuntive possono includere dati analizzati o calcolati da colonne esistenti o dati acquisiti da strutture di dati create in tempo reale.
Ad esempio, è possibile aggiungere informazioni aggiuntive, ad esempio dati HR esterni, una descrizione dell'evento espansa o classificazioni che dipendono dall'utente, dalla posizione o dal tipo di attività.
Mascheramento
Le trasformazioni in fase di inserimento possono essere usate anche per mascherare o rimuovere informazioni personali. Ad esempio, è possibile usare la trasformazione dei dati per mascherare tutte le cifre di un numero di previdenza sociale o un numero di carta di credito oppure sostituire altri tipi di dati personali con dati senza senso, testo standard o fittizi. Mascherare le informazioni personali in fase di inserimento per aumentare la sicurezza nella rete.
Flusso di inserimento dati in Microsoft Sentinel
L'immagine seguente mostra dove la trasformazione dei dati in fase di inserimento entra nel flusso di inserimento dati in Microsoft Sentinel.
Microsoft Sentinel raccoglie i dati nell'area di lavoro Log Analytics da più origini.
- I dati dei connettori dati predefiniti vengono elaborati in Log Analytics usando una combinazione di flussi di lavoro hardcoded e trasformazioni in fase di inserimento nell'area di controllo dell'area di controllo dell'area di lavoro. Questi dati possono essere archiviati in tabelle standard o in un set specifico di tabelle personalizzate.
- I dati inseriti direttamente nell'endpoint dell'API di inserimento dei log vengono elaborati da un record di controllo di dominio standard che può includere una trasformazione in fase di inserimento. Questi dati possono quindi essere archiviati in tabelle standard o personalizzate di qualsiasi tipo.
Supporto di DCR in Microsoft Sentinel
In Log Analytics le regole di raccolta dati determinano il flusso di dati per flussi di input diversi. Un flusso di dati include: il flusso di dati da trasformare (standard o personalizzato), l'area di lavoro di destinazione, la trasformazione KQL e la tabella di output. Per i flussi di input standard, la tabella di output corrisponde al flusso di input.
Il supporto per i controller di dominio in Microsoft Sentinel include:
Controller di dominio standard, attualmente supportati solo per i connettori e i flussi di lavoro basati su AMA usando la nuova API di inserimento dei log.
Ogni flusso di lavoro di origine del connettore o del log può avere un record di dominio standard dedicato, anche se più connettori o origini possono condividere anche un record di dominio standard comune.
Controller di dominio di trasformazione dell'area di lavoro, per i flussi di lavoro che attualmente non supportano controller di dominio standard.
Un controller di dominio per la trasformazione di una singola area di lavoro gestisce tutti i flussi di lavoro supportati in un'area di lavoro non gestita da controller di dominio standard. Un'area di lavoro può avere un solo DCR di trasformazione dell'area di lavoro, ma tale record contiene trasformazioni separate per ogni flusso di input. Inoltre, il controllerdi dominio della trasformazione dell'area di lavoro è supportato solo per un set specifico di tabelle.
Il supporto di Microsoft Sentinel per la trasformazione in fase di inserimento dipende dal tipo di connettore dati in uso. Per informazioni più dettagliate su log personalizzati, trasformazione in fase di inserimento e regole di raccolta dati, vedere gli articoli collegati nella sezione Passaggi successivi alla fine di questo articolo.
Supporto DCR per i connettori dati di Microsoft Sentinel
La tabella seguente descrive il supporto DCR per i tipi di connettore dati di Microsoft Sentinel:
| Tipo di connettore dati | Supporto di DCR |
|---|---|
| Inserimento diretto tramite l'API di inserimento dei log | Controller di dominio standard |
| Log standard ama, ad esempio: |
Controller di dominio standard |
| Log standard MMA, ad esempio |
Controller di dominio di trasformazione dell'area di lavoro |
| Connessioni basate su impostazioni di diagnostica | Controller di dominio di trasformazione dell'area di lavoro, in base alle tabelle di output supportate per connettori dati specifici |
| Connettori dati predefiniti da servizio a servizio, ad esempio: |
Controller di dominio di trasformazione dell'area di lavoro, in base alle tabelle di output supportate per connettori dati specifici |
| Connettore dati predefinito basato su API, ad esempio: |
Controller di dominio standard |
| Connettori dati predefiniti basati su API, ad esempio: |
Non è al momento supportato |
Supporto della trasformazione dei dati per connettori dati personalizzati
Se sono stati creati connettori dati personalizzati per Microsoft Sentinel, è possibile usare controller di dominio per configurare la modalità di analisi e archiviazione dei dati in Log Analytics nell'area di lavoro.
Per l'inserimento di log personalizzato sono attualmente supportate solo le tabelle seguenti:
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Per altre informazioni, vedere Tabelle che supportano le trasformazioni in fase di inserimento.
Limiti
La trasformazione dei dati in fase di inserimento presenta attualmente i problemi noti seguenti per i connettori dati di Microsoft Sentinel:
Le trasformazioni dei dati che usano controller di dominio di trasformazione dell'area di lavoro sono supportate solo per tabella e non per connettore.
Per un'intera area di lavoro può essere presente un solo record di controllo di trasformazione dell'area di lavoro. All'interno di tale DCR, ogni tabella può usare un flusso di input separato con la propria trasformazione. Tuttavia, se si dispone di due connettori dati basati su MMA diversi che inviano dati alla tabella Syslog , entrambi dovranno usare la stessa configurazione del flusso di input nel registro di dominio. Non è possibile suddividere i dati in più destinazioni (aree di lavoro Log Analytics) con una trasformazione dell'area di lavoro.
Le configurazioni seguenti sono supportate solo tramite l'API:
Controller di dominio standard per connettori basati su AMA, ad esempio eventi Sicurezza di Windows ed eventi inoltrati di Windows.
Controller di dominio standard per l'inserimento di log personalizzato in una tabella standard.
L'applicazione delle configurazioni di trasformazione dei dati richiede fino a 60 minuti.
Sintassi KQL: non sono supportati tutti gli operatori. Per altre informazioni, vedere Limitazioni KQL e Funzionalità KQL supportate nella documentazione di Monitoraggio di Azure.
È possibile inviare log solo da un'origine dati specifica a un'area di lavoro. Per inviare dati da una singola origine dati a più aree di lavoro (destinazioni) con un record di dominio standard, creare un record di dominio per ogni area di lavoro.
Passaggi successivi
Altre informazioni sui tipi di connettore dati di Microsoft Sentinel. Per altre informazioni, vedi:
Per informazioni più approfondite sulla trasformazione in fase di inserimento, sull'API Log personalizzati e sulle regole di raccolta dati, vedere gli articoli seguenti nella documentazione di Monitoraggio di Azure: