Guida alla migrazione di Log Analytics per i cluster Azure HDInsight

Azure HDInsight è un servizio cluster gestito e pronto per l'organizzazione. Questo servizio esegue framework di analisi open source come Apache Spark, Hadoop, HBase e Kafka in Azure. Azure HDInsight è integrato con altri servizi di Azure per consentire ai clienti di gestire meglio le applicazioni di analisi dei Big Data.

Log Analytics offre uno strumento nel portale di Azure per modificare ed eseguire query di log. Le query provengono dai dati raccolti dai log di Monitoraggio di Azure e analizzarne i risultati in modo interattivo. I clienti possono usare query di Log Analytics per recuperare record che soddisfano criteri specifici. Possono anche usare query per identificare le tendenze, analizzare i modelli e fornire informazioni dettagliate sui dati.

Integrazione di Azure HDInsight abilitata con Log Analytics nel 2017. I clienti di HDInsight hanno adottato rapidamente questa funzionalità per monitorare i cluster HDInsight ed eseguire query sui log nei cluster. Anche se l'adozione di questa funzionalità è aumentata, i clienti hanno fornito commenti e suggerimenti sull'integrazione:

• I clienti non possono decidere quali log archiviare e l'archiviazione di tutti i log può diventare costosa.
• Gli attuali schemi di log di HDInsight non seguono convenzioni di denominazione coerenti e alcune tabelle sono ripetitive.
• I clienti vogliono un dashboard predefinito per monitorare facilmente l'indicatore KPI dei cluster HDInsight.
• I clienti devono passare a Log Analytics per eseguire query semplici.

Panoramica della soluzione

Considerando il feedback dei clienti, il team di Azure HDInsight ha investito nell'integrazione con Monitoraggio di Azure. Questa integrazione consente di:

• Nuovo set di tabelle nell'area di lavoro Log Analytics dei clienti. Le nuove tabelle vengono recapitate tramite una nuova pipeline di Log Analytics.
• Maggiore affidabilità
• Consegna più rapida dei log
• Raggruppamento di tabelle basate sulle risorse e query predefinite

Vantaggi della nuova integrazione di Monitoraggio di Azure

Questo documento illustra le modifiche apportate all'integrazione di Monitoraggio di Azure e fornisce alle procedure consigliate per l'uso delle nuove tabelle.

Schemi riprogettati: la formattazione dello schema per la nuova integrazione di Monitoraggio di Azure è più organizzata e facile da comprendere. Esistono due terzi con un minor numero di schemi per rimuovere la maggior ambiguità possibile negli schemi legacy.

Registrazione selettiva: sono disponibili log e metriche tramite Log Analytics. Per risparmiare sui costi di monitoraggio, verrà rilasciata una nuova funzionalità di registrazione selettiva. Usare questa funzionalità per attivare e disattivare diversi log e origini delle metriche. Con questa funzionalità, sarà necessario pagare solo per ciò che si usa. Per altri dettagli, vedere Registrazione selettiva

L'integrazione del portale del cluster log: il riquadro di Log è una novità del portale del cluster HDInsight. Chiunque abbia accesso al cluster può passare a questo riquadro per eseguire query su qualsiasi tabella a cui la risorsa cluster invia i record. Gli utenti non devono più accedere all'area di lavoro Log Analytics per visualizzare i record per una risorsa cluster specifica.

Integrazione del portale del cluster Insights: il riquadro diInsights non è disponibile nel portale del cluster HDInsight. Dopo aver abilitato la nuova integrazione di Monitoraggio di Azure, è possibile selezionare il riquadro di Insights e un dashboard delle metriche e log predefiniti specifici del tipo del cluster verranno popolati automaticamente. Questi dashboard sono stati rinnovati rispetto alle soluzioni di Azure precedenti. Forniscono informazioni approfondite sulle prestazioni e sull'integrità del cluster.

Scenari dei clienti

Le sezioni seguenti descrivono come i clienti possono usare la nuova integrazione di Monitoraggio di Azure in diversi scenari. La sezione attivare una nuova di integrazione di Monitoraggio di Azure illustra come attivare e usare la nuova integrazione di Monitoraggio di Azure. La sezione Migrazione dal modello classico di Monitoraggio di Azure alla nuova integrazione di Monitoraggio di Azure include informazioni aggiuntive per gli utenti che dipendono dall'integrazione precedente di Monitoraggio di Azure.

Nota

Solo i cluster creati a partire da fine settembre 2020 sono idonei alla nuova integrazione di Monitoraggio di Azure.

Attivare una nuova integrazione di Monitoraggio di Azure

Nota

È necessario avere un'area di lavoro Log Analytics creata in una sottoscrizione a cui si ha accesso prima di abilitare la nuova integrazione. Per altre informazioni su come creare di un'area di lavoro Log Analytics, vedere Creare un'area di lavoro Log Analytics nel portale di Azure.

Attivare la nuova integrazione passando alla pagina del portale del cluster e scorrere verso il basso il menu a sinistra fino a raggiungere la sezione Monitoraggio. Nella sezione Monitoraggio selezionare Monitorare l'integrazione. Quindi, selezionare Abilita e scegliere l'area di lavoro Log Analytics a cui inviare i log. Selezionare Salva dopo aver scelto l'area di lavoro.

Accedere alle nuove tabelle

Esistono due modi per accedere alle nuove tabelle.

Approccio 1:

Il primo modo per accedere alle nuove tabelle è attraverso l'area di lavoro Log Analytics.

1. Passare all'area di lavoro Log Analytics selezionata quando è stata abilitata l'integrazione.
2. Scorrere verso il basso nel menu a sinistra della schermata e selezionare Log. Verrà visualizzato un editor di query Log con un elenco di tutte le tabelle nell'area di lavoro.
3. Se le tabelle sono raggruppate per Soluzione, le nuove tabelle HDI si trovano nella sezione Gestione dei log.
4. Se si raggruppano le tabelle per Tipo di risorsa, le tabelle si trovano nella sezione Cluster HDInsight, come illustrato nell'immagine seguente.

Nota

Questo processo descrive come è stato eseguito l'accesso ai log nell'integrazione precedente. È quindi necessario che l'utente abbia accesso all'area di lavoro.

Approccio 2:

Il secondo modo per accedere alle nuove tabelle consiste nell'accedere al portale del cluster.

1. Passare alla pagina del portale del cluster e scorrere verso il basso il menu a sinistra fino a visualizzare la sezione Monitoraggio. In questa sezione verrà visualizzato il riquadro Log.
2. Selezionare Log e verrà visualizzato un editor di query Log. L'editor contiene tutti i log associati alla risorsa cluster. I log sono stati inviati all'area di lavoro Log Analytics quando è stata abilitata l'integrazione. Questi log forniscono il controllo degli accessi in base al ruolo (RBAC). Con il controllo degli accessi in base al ruolo, gli utenti che hanno accesso al cluster, ma non all'area di lavoro, possono visualizzare i log associati al cluster.

Per un confronto, gli screenshot seguenti mostrano la visualizzazione dell'area di lavoro di integrazione legacy e la nuova visualizzazione dell'area di lavoro di integrazione:

Visualizzazione dell'area di lavoro di integrazione legacy

Nuova visualizzazione dell'area di lavoro di integrazione

Usare le nuove tabelle

Queste integrazioni consentono di usare le nuove tabelle:

Query predefinite da usare con nuove tabelle

Nell'editor di query Log impostare l'interruttore su Query sopra l'elenco delle tabelle. Assicurarsi di raggruppare le query secondo tipo di risorsa e che non sia impostato alcun filtro per un tipo di risorsa diverso da cluster HDInsight. L'immagine seguente mostra l'aspetto dei risultati raggruppati per tipo di risorsa e filtrati per cluster HDInsight. Selezionare solo una e viene visualizzata nell'editor di query Log. Assicurarsi di leggere i commenti inclusi nelle query, perché alcuni richiedono di immettere alcune informazioni, ad esempio il nome del cluster, affinché la query venga eseguita correttamente.

Creare query personalizzate

È possibile immettere query personalizzate nell'editor di query Log. Le query usate nelle tabelle precedenti non saranno valide nelle nuove tabelle perché molte delle nuove tabelle hanno schemi nuovi e perfezionati. Le query predefinite sono ottimi riferimenti per la modellazione delle query nelle nuove tabelle.

Insights

Le informazioni dettagliate sono dashboard di visualizzazione specifici del cluster creati usando cartelle di lavoro di Azure. Questi dashboard offrono grafici e visualizzazioni dettagliate del funzionamento del cluster. I dashboard includono sezioni per ogni tipo di cluster, YARN, metriche di sistema e log dei componenti. Per accedere al dashboard del cluster, visitare la pagina del cluster nel portale, scorrere verso il basso fino alla sezione Monitoraggio e selezionare il riquadro Insights. Il dashboard viene caricato automaticamente se è stata abilitata la nuova integrazione. Attendere alcuni secondi per il caricamento dei grafici durante la query sui log.

Cartelle di lavoro di Azure personalizzate

È possibile creare cartelle di lavoro di Azure personalizzate con grafici e visualizzazioni personalizzati. Nella pagina del portale del cluster scorrere verso il basso fino alla sezione Monitoraggio e selezionare il riquadro Cartelle di lavoro nel menu a sinistra. È possibile iniziare a usare un modello vuoto o usare uno dei modelli nella sezione Cluster HDInsight. È disponibile un modello per ogni tipo di cluster. I modelli sono utili se si desidera salvare personalizzazioni specifiche non fornite dalle informazioni dettagliate predefinite di HDInsight. È possibile inviare richieste di nuove funzionalità in HDInsight Insights se si ritiene che manchi qualcosa.

Avvisi

È possibile aggiungere avvisi personalizzati ai cluster e alle aree di lavoro nell'editor di query Log. Passare all'editor di query Log selezionando il riquadro Log nel portale del cluster o dell'area di lavoro. Eseguire una query e quindi selezionare Nuova regola di avviso come illustrato nello screenshot seguente. Per altre informazioni, vedere configurazione degli avvisi.

Eseguire la migrazione alla nuova integrazione di Monitoraggio di Azure

Se si utilizza l'integrazione classica di Monitoraggio di Azure, è necessario apportare alcune modifiche ai nuovi formati di tabella dopo aver eseguito il passaggio alla nuova integrazione di Monitoraggio di Azure.

Per abilitare la nuova integrazione di Monitoraggio di Azure, seguire i passaggi descritti nella sezione Attivare una nuova integrazione di Monitoraggio di Azure.

Eseguire query in Log Analytics

Poiché il nuovo formato di tabella è diverso da quello precedente, è necessario rielaborare le query in modo da poter usare le nuove tabelle. Dopo aver abilitato la nuova integrazione di Monitoraggio di Azure, è possibile esplorare le tabelle e gli schemi per identificare i campi usati nelle query precedenti.

È disponibile una tabella di mapping tra la tabella precedente e la nuova tabella per trovare rapidamente i nuovi campi da usare per eseguire la migrazione dei dashboard e delle query.

Query predefinite: sono state create query predefinite che illustrano come usare le nuove tabelle per situazioni comuni. Le query predefinite mostrano anche quali informazioni sono disponibili in ogni tabella. È possibile accedere alle query predefinite seguendo le istruzioni riportate nella sezione Query predefinite da usare con le nuove tabelle in questo articolo.

Aggiornare i dashboard per i cluster HDInsight

Se sono stati creati più dashboard per monitorare i cluster HDInsight, è necessario modificare la query dietro la tabella dopo aver abilitato la nuova integrazione di Monitoraggio di Azure. Il nome della tabella o il nome del campo potrebbero cambiare nella nuova integrazione, ma tutte le informazioni presenti nell'integrazione precedente sono incluse.

Fare riferimento alla tabella di mapping tra la precedente tabella/schema e la nuova tabella/schema per aggiornare la query dietro i dashboard.

Dashboard predefiniti

Sono stati anche migliorati i dashboard predefiniti a livello di cluster. Nella parte superiore destra di ogni grafico è presente un pulsante che consente di visualizzare la query sottostante che produce le informazioni. Il grafico è un ottimo modo per familiarizzare con il modo in cui è possibile eseguire query sulle nuove tabelle in modo efficace.

Abilitare entrambe le integrazioni per accelerare la migrazione

È possibile attivare contemporaneamente sia l'integrazione classica che la nuova integrazione di Monitoraggio di Azure su un cluster idoneo per entrambe le integrazioni per eseguire rapidamente la migrazione alla nuova integrazione di Monitoraggio di Azure. La nuova integrazione è disponibile per tutti i cluster creati dopo la metà di settembre 2020.

In questo modo, è possibile eseguire facilmente un confronto affiancato per le query in uso.

Abilitazione dell'integrazione classica

Se si utilizza un cluster creato dopo la metà di settembre 2020, verrà visualizzata la nuova esperienza del portale nel portale del cluster. Per abilitare la nuova pipeline, è possibile seguire i passaggi descritti nella sezione Attivare una nuova integrazione di Monitoraggio di Azure. Per attivare l'integrazione classica in questo cluster, passare alla pagina del portale del cluster. Selezionare il riquadro Monitoraggio dell'integrazione nella sezione Monitoraggio del menu sul lato sinistro della pagina del portale del cluster. Selezionare Configurare l'integrazione dei cluster di Monitoraggio di Azure per HDInsight (classica). Viene visualizzato un contesto laterale con un interruttore che è possibile usare per abilitare e disabilitare l'integrazione classica di Monitoraggio di Azure.

Nota

Non verranno visualizzati log o metriche dall'integrazione classica tramite i log e la pagina Informazioni dettagliate del portale del cluster. Solo i nuovi log di integrazione e le nuove metriche saranno presenti in tali posizioni.

La creazione di nuovi cluster con l'integrazione classica di Monitoraggio di Azure non sarà più disponibile dopo il 1° gennaio 2023.

Sequenza temporale di rilascio e supporto

• L’integrazione classica di Monitoraggio di Azure non sarà disponibile dopo il 15 ottobre 2021. Non è possibile abilitare l'integrazione classica di Monitoraggio di Azure dopo tale data.
• L'inserimento di integrazione di Monitoraggio di Azure classico non funzionerà dopo il 31 agosto 2024.
• I cluster HDInsight con l'integrazione di Monitoraggio di Azure (anteprima) non saranno supportati oltre il 1° febbraio 2025.
• L'integrazione di Monitoraggio di Azure esistente (anteprima) continuerà a funzionare fino al 31 gennaio 2025. Sarà disponibile un supporto limitato per l'integrazione di Monitoraggio di Azure (anteprima).
  • Se la soluzione richiede modifiche all'immagine, i clienti devono passare alla nuova integrazione.
  • Microsoft non applica patch ai cluster di integrazione (anteprima) di Monitoraggio di Azure, ad eccezione dei problemi di sicurezza critici.

Appendice: Mapping delle tabelle

Per i mapping delle tabelle di log dall'integrazione classica di Monitoraggio di Azure a quelle nuove, vedere Mapping delle tabelle dei log.

Contenuto correlato

Eseguire query nei log di Monitoraggio di Azure per monitorare i cluster HDInsight