Acquisire dati da Splunk in Esplora dati di Azure

Importante

Questo connettore può essere utilizzato in Real-Time Intelligence in Microsoft Fabric. Usare le istruzioni in questo articolo con le eccezioni seguenti:

Splunk Enterprise è una piattaforma software che consente di inserire dati da molte origini contemporaneamente. L'indicizzatore Splunk elabora i dati e li archivia per impostazione predefinita nell'indice principale o in un indice personalizzato specificato. La ricerca in Splunk usa i dati indicizzati per la creazione di metriche, dashboard e avvisi. Esplora dati di Azure è un servizio di esplorazione dati rapido e a scalabilità elevata per dati di log e di telemetria.

In questo articolo si apprenderà come usare il componente aggiuntivo Splunk Esplora dati di Azure per inviare dati da Splunk a una tabella nel cluster. Creare una tabella e un mapping dei dati, indirizzare Splunk all'invio di dati nella tabella e quindi convalidare i risultati.

Gli scenari seguenti sono più adatti per l'inserimento di dati in Azure Esplora dati:

  • Dati con volumi elevati: Azure Esplora dati è progettato per gestire in modo efficiente grandi quantità di dati. Se l'organizzazione genera un volume significativo di dati che richiede l'analisi in tempo reale, Azure Esplora dati è una scelta appropriata.
  • Dati delle serie temporali: Azure Esplora dati eccelle nella gestione dei dati delle serie temporali, ad esempio log, dati di telemetria e letture dei sensori. Organizza i dati in partizioni basate sul tempo, semplificando l'esecuzione di analisi e aggregazioni basate sul tempo.
  • Analisi in tempo reale: se l'organizzazione richiede informazioni dettagliate in tempo reale dal flusso dei dati, le funzionalità quasi in tempo reale di Azure Esplora dati possono essere utili.

Prerequisiti

Creare una tabella e un oggetto di mapping

Dopo aver creato un cluster e un database, creare una tabella con uno schema che corrisponda ai dati di Splunk. Si crea anche un oggetto di mapping che trasforma i dati in ingresso nello schema della tabella di destinazione.

Nell'esempio seguente viene creata una tabella denominata WeatherAlert con quattro colonne: Timestamp, TemperatureHumidity, e Weather. Si crea anche un mapping denominato WeatherAlert_Json_Mapping che estrae le proprietà dal codice JSON in ingresso come indicato dall'oggetto path e le restituisce nell'oggetto specificato column.

Nell'editor di query dell'interfaccia utente web, esegui i comandi seguenti per creare la tabella e la mappatura:

  1. Creare una tabella:

    .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
    
  2. Verificare che la WeatherAlert tabella sia stata creata ed è vuota:

    WeatherAlert
    | count
    
  3. Creare un oggetto di mapping:

    .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
        ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
            { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
            { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
            { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
          ]```
    
  4. Usare l'entità servizio nei Prerequisiti per concedere le autorizzazioni necessarie per usare il database.

    .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
    

Installare il componente aggiuntivo di Splunk per Esplora dati di Azure

Il componente aggiuntivo Splunk comunica con Azure Esplora dati e invia i dati alla tabella specificata.

  1. Scarica il componente aggiuntivo di Esplora dati di Azure.

  2. Accedere all'istanza di Splunk come amministratore.

  3. Vai a App>Gestisci app.

  4. Selezionare Installa l'app dal file e quindi selezionare il file del componente aggiuntivo di Esplora dati di Azure scaricato.

  5. Seguire le istruzioni per completare l'installazione.

  6. Selezionare Riavvia ora.

  7. Verificare che il componente aggiuntivo sia installato andando a Dashboard>Azioni di avviso e cercando il componente aggiuntivo Esplora dati di Azure.

    Screenshot della pagina Azioni di avviso che mostra il componente aggiuntivo Azure Esplora dati.

Creare un nuovo indice in Splunk

Creare un indice in Splunk che specifica i criteri per i dati da inviare a Esplora dati di Azure.

  1. Accedere all'istanza di Splunk come amministratore.
  2. Passare a Impostazioni>Indici.
  3. Specificare un nome per l'indice e configurare i criteri per i dati da inviare a Esplora dati di Azure.
  4. Configurare le proprietà rimanenti in base alle esigenze e quindi salvare l'indice.

Configurare il componente aggiuntivo Splunk per inviare dati ad Azure Esplora dati

  1. Accedere all'istanza di Splunk come amministratore.

  2. Passare al dashboard e cercare usando l'indice creato in precedenza. Ad esempio, se è stato creato un indice denominato WeatherAlerts, cercare index="WeatherAlerts".

  3. Selezionare Salva come>Avviso.

  4. Specificare il nome, l'intervallo e le condizioni necessari per l'avviso.

    Screenshot della finestra di dialogo Crea avviso che mostra le impostazioni del componente aggiuntivo Esplora dati di Azure.

  5. In Azioni trigger, selezionare Aggiungi azioni>Invia a Microsoft Esplora dati di Azure.

    Schermata della finestra di dialogo per la creazione di un avviso che mostra l'azione di attivazione del componente aggiuntivo di Esplora dati di Azure.

  6. Configurare i dettagli delle connessioni, come indicato di seguito:

    Impostazione Descrizione
    URL di inserimento cluster Specifica l'URL di inserimento dei dati del cluster di Esplora dati di Azure. Ad esempio: https://ingest-<mycluster>.<myregion>.kusto.windows.net.
    ID cliente Specificare l'ID client dell'applicazione Microsoft Entra creata in precedenza.
    Segreto del client Specificare il segreto client dell'applicazione Microsoft Entra creata in precedenza.
    ID del tenant Specificare l'ID tenant dell'applicazione Microsoft Entra creata in precedenza.
    Database Specificare il nome del database a cui si desidera inviare i dati.
    Tabella Specificare il nome della tabella a cui si desidera inviare i dati.
    Mapping Specificare il nome dell'oggetto di mapping creato in precedenza.
    Rimuovi campi aggiuntivi Selezionare questa opzione per rimuovere i campi vuoti dai dati inviati al cluster.
    Modalità persistente Selezionare questa opzione per abilitare la modalità di durabilità durante l'inserimento. Se impostato su true, il throughput di acquisizione viene influenzato.

    Screenshot della finestra di dialogo Crea avviso che mostra le impostazioni di connessione del componente aggiuntivo di Azure Esplora dati.

  7. Selezionare Salva per salvare l'avviso.

  8. Passare alla pagina Avvisi e verificare che l'avviso venga visualizzato nell'elenco degli avvisi.

    Schermata della pagina Crea avvisi che mostra il componente aggiuntivo Esplora dati di Azure.

Verificare che i dati vengano inseriti in Azure Esplora dati

Dopo l'attivazione dell'avviso, i dati vengono inviati alla tabella Esplora dati di Azure. È possibile verificare che i dati vengano inseriti eseguendo una query nell'editor di query dell'interfaccia utente Web.

  1. Eseguire la query seguente per verificare che i dati vengano inseriti nella tabella:

    WeatherAlert
    | count
    
  2. Eseguire il seguente codice per visualizzare i dati:

    WeatherAlert
    | take 100
    

    Screenshot dell'editor di query KQL che mostra i risultati di una query per ottenere 100 record dalla tabella.