Guida alla migrazione di Log Analytics per i cluster Azure HDInsight

Azure HDInsight è un servizio cluster gestito e pronto per l'organizzazione. Questo servizio esegue framework di analisi open source come Apache Spark, Hadoop, HBase e Kafka in Azure. Azure HDInsight è integrato con altri servizi di Azure per consentire ai clienti di gestire meglio le applicazioni di analisi dei Big Data.

Log Analytics offre uno strumento nel portale di Azure per modificare ed eseguire query di log. Le query provengono dai dati raccolti dai log di Monitoraggio di Azure e analizzano in modo interattivo i risultati. I clienti possono usare query di Log Analytics per recuperare record che soddisfano criteri specifici. Possono anche usare query per identificare le tendenze, analizzare i modelli e fornire informazioni dettagliate sui dati.

Integrazione di Azure HDInsight abilitata con Log Analytics nel 2017. I clienti di HDInsight hanno adottato rapidamente questa funzionalità per monitorare i cluster HDInsight ed eseguire query sui log nei cluster. Anche se l'adozione di questa funzionalità è aumentata, i clienti hanno fornito commenti e suggerimenti sull'integrazione:

• I clienti non possono decidere quali log archiviare e archiviare tutti i log possono diventare costosi.
• I log degli schemi HDInsight correnti non seguono convenzioni di denominazione coerenti e alcune tabelle sono ripetitive.
• I clienti vogliono un dashboard predefinito per monitorare facilmente l'indicatore KPI dei cluster HDInsight.
• I clienti devono passare a Log Analytics per eseguire query semplici.

Panoramica della soluzione

Considerando il feedback dei clienti, il team di Azure HDInsight ha investito nell'integrazione con Monitoraggio di Azure. Questa integrazione consente di:

• Nuovo set di tabelle nell'area di lavoro Log Analytics dei clienti. Le nuove tabelle vengono recapitate tramite una nuova pipeline di Log Analytics.
• Maggiore affidabilità
• Recapito più rapido dei log
• Raggruppamento di tabelle basate sulle risorse e query predefinite

Nota

La nuova integrazione di Azure Montitor è disponibile in anteprima pubblica in tutte le aree in cui è disponibile HDInsight.

Vantaggi della nuova integrazione di Monitoraggio di Azure

Questo documento illustra le modifiche apportate all'integrazione di Monitoraggio di Azure e fornisce le procedure consigliate per l'uso delle nuove tabelle.

Schemi riprogettati: la formattazione dello schema per la nuova integrazione di Monitoraggio di Azure è più organizzata e facile da comprendere. Esistono due terzi con un minor numero di schemi per rimuovere la maggior ambiguità possibile negli schemi legacy.

Registrazione selettiva: sono disponibili log e metriche tramite Log Analytics. Per risparmiare sui costi di monitoraggio, verrà rilasciata una nuova funzionalità di registrazione selettiva. Usare questa funzionalità per attivare e disattivare diversi log e origini delle metriche. Con questa funzionalità, dovrai pagare solo per ciò che usi. Per altri dettagli, vedere Registrazione selettiva

Registra l'integrazione del portale del cluster: il riquadro Log è una novità del portale del cluster HDInsight. Chiunque abbia accesso al cluster può passare a questo riquadro per eseguire query su qualsiasi tabella a cui la risorsa cluster invia i record. Gli utenti non devono più accedere all'area di lavoro Log Analytics per visualizzare i record per una risorsa cluster specifica.

Integrazione del portale del cluster Insights: il riquadro Informazioni dettagliate è anche una novità del portale del cluster HDInsight. Dopo aver abilitato la nuova integrazione di Monitoraggio di Azure, è possibile selezionare il riquadro Informazioni dettagliate e un dashboard delle metriche e log predefiniti specifici del tipo del cluster verranno popolati automaticamente. Questi dashboard sono stati rinnovati rispetto alle soluzioni di Azure precedenti. Forniscono informazioni approfondite sulle prestazioni e sull'integrità del cluster.

Scenari dei clienti

Le sezioni seguenti descrivono come i clienti possono usare la nuova integrazione di Monitoraggio di Azure in diversi scenari. La sezione Attiva una nuova integrazione di Monitoraggio di Azure descrive come attivare e usare la nuova integrazione di Monitoraggio di Azure. La sezione Migrazione da Monitoraggio di Azure classico alla nuova integrazione di Monitoraggio di Azure include informazioni aggiuntive per gli utenti che dipendono dall'integrazione precedente di Monitoraggio di Azure.

Nota

Solo i cluster creati alla fine di settembre 2020 e dopo sono idonei per la nuova integrazione di Monitoraggio di Azure.

Attivare una nuova integrazione di Monitoraggio di Azure

Nota

È necessario avere un'area di lavoro Log Analytics creata in una sottoscrizione a cui si ha accesso prima di abilitare la nuova integrazione. Per altre informazioni su come creare un'area di lavoro Log Analytics, vedere Creare un'area di lavoro Log Analytics nel portale di Azure.

Attivare la nuova integrazione passando alla pagina del portale del cluster e scorrere verso il basso il menu a sinistra fino a raggiungere la sezione Monitoraggio . Nella sezione Monitoraggio selezionare Monitoraggio integrazione. Selezionare quindi Abilita ed è possibile scegliere l'area di lavoro Log Analytics a cui inviare i log. Selezionare Salva dopo aver scelto l'area di lavoro.

Accedere alle nuove tabelle

Esistono due modi per accedere alle nuove tabelle.

Approccio 1:

Il primo modo per accedere alle nuove tabelle consiste nell'area di lavoro Log Analytics.

1. Passare all'area di lavoro Log Analytics selezionata quando è stata abilitata l'integrazione.
2. Scorrere verso il basso nel menu a sinistra della schermata e selezionare Log. Verrà visualizzato un editor di query Logs con un elenco di tutte le tabelle nell'area di lavoro.
3. Se le tabelle sono raggruppate per soluzione, le nuove tabelle HDI si trovano nella sezione Gestione dei log.
4. Se si raggruppano le tabelle in base al tipo di risorsa, le tabelle si trovano nella sezione Cluster HDInsight, come illustrato nell'immagine seguente.

Nota

Questo processo descrive come è stato eseguito l'accesso ai log nell'integrazione precedente. È quindi necessario che l'utente abbia accesso all'area di lavoro.

Approccio 2:

Il secondo modo per accedere alle nuove tabelle consiste nell'accedere al portale del cluster.

1. Passare alla pagina del portale del cluster e scorrere verso il basso il menu a sinistra fino a visualizzare la sezione Monitoraggio . In questa sezione verrà visualizzato il riquadro Log .
2. Selezionare Log e viene visualizzato un editor di query Log. L'editor contiene tutti i log associati alla risorsa cluster. I log sono stati inviati all'area di lavoro Log Analytics quando è stata abilitata l'integrazione. Questi log forniscono l'accesso basato sulle risorse.These logs provide resource-based access (RBAC). Con il controllo degli accessi in base al ruolo, gli utenti che hanno accesso al cluster, ma non all'area di lavoro, possono visualizzare i log associati al cluster.

Per un confronto, gli screenshot seguenti mostrano la visualizzazione dell'area di lavoro di integrazione legacy e la nuova visualizzazione dell'area di lavoro di integrazione:

Visualizzazione dell'area di lavoro di integrazione legacy

Nuova visualizzazione dell'area di lavoro di integrazione

Usare le nuove tabelle

Queste integrazioni consentono di usare le nuove tabelle:

Query predefinite da usare con nuove tabelle

Nell'editor di query Log impostare l'interruttore su Query sopra l'elenco delle tabelle. Assicurarsi di raggruppare le query in base al tipo di risorsa e che non sia impostato alcun filtro per un tipo di risorsa diverso dai cluster HDInsight. L'immagine seguente mostra l'aspetto dei risultati raggruppati in base al tipo di risorsa e filtrati per i cluster HDInsight. Selezionare solo una e viene visualizzata nell'editor di query Log. Assicurarsi di leggere i commenti inclusi nelle query, perché alcuni richiedono di immettere alcune informazioni, ad esempio il nome del cluster, affinché la query venga eseguita correttamente.

Creare query personalizzate

È possibile immettere query personalizzate nell'editor di query Log. Le query usate nelle tabelle precedenti non saranno valide nelle nuove tabelle perché molte delle nuove tabelle hanno schemi nuovi e perfezionati. Le query predefinite sono ottimi riferimenti per la modellazione delle query nelle nuove tabelle.

Informazioni dettagliate

Le informazioni dettagliate sono dashboard di visualizzazione specifici del cluster creati con cartelle di lavoro di Azure. Questi dashboard offrono grafici dettagliati e visualizzazioni del modo in cui il cluster è in esecuzione. I dashboard includono sezioni per ogni tipo di cluster, YARN, metriche di sistema e log dei componenti. È possibile accedere al dashboard del cluster visitando la pagina del cluster nel portale, scorrere verso il basso fino alla sezione Monitoraggio e selezionando il riquadro Informazioni dettagliate . Il dashboard viene caricato automaticamente se è stata abilitata la nuova integrazione. Attendere alcuni secondi per il caricamento dei grafici durante la query sui log.

Cartelle di lavoro di Azure personalizzate

È possibile creare cartelle di lavoro di Azure personalizzate con grafici e visualizzazioni personalizzati. Nella pagina del portale del cluster scorrere verso il basso fino alla sezione Monitoraggio e selezionare il riquadro Cartelle di lavoro nel menu a sinistra. È possibile iniziare a usare un modello vuoto o usare uno dei modelli nella sezione Cluster HDInsight. È disponibile un modello per ogni tipo di cluster. I modelli sono utili se si desidera salvare personalizzazioni specifiche non fornite dalle informazioni dettagliate predefinite di HDInsight. È possibile inviare richieste di nuove funzionalità in HDInsight Insights se si ritiene che manchino qualcosa.

Avvisi

È possibile aggiungere avvisi personalizzati ai cluster e alle aree di lavoro nell'editor di query di log. Passare all'editor di query Log selezionando il riquadro Log nel portale del cluster o dell'area di lavoro. Eseguire una query e quindi selezionare Nuova regola di avviso, come illustrato nello screenshot seguente. Per altre informazioni, vedere Configurazione degli avvisi.

Eseguire la migrazione alla nuova integrazione di Monitoraggio di Azure

Se si usa l'integrazione classica di Monitoraggio di Azure, è necessario apportare alcune modifiche ai nuovi formati di tabella dopo aver eseguito il passaggio alla nuova integrazione di Monitoraggio di Azure.

Per abilitare la nuova integrazione di Monitoraggio di Azure, seguire la procedura descritta nella sezione Attivare una nuova integrazione di Monitoraggio di Azure.

Eseguire query in Log Analytics

Poiché il nuovo formato di tabella è diverso da quello precedente, è necessario rielaborare le query in modo da poter usare le nuove tabelle. Dopo aver abilitato la nuova integrazione di Monitoraggio di Azure, è possibile esplorare le tabelle e gli schemi per identificare i campi usati nelle query precedenti.

È disponibile una tabella di mapping tra la tabella precedente e la nuova tabella per trovare rapidamente i nuovi campi da usare per eseguire la migrazione dei dashboard e delle query.

Query predefinite: sono state create query predefinite che illustrano come usare le nuove tabelle per situazioni comuni. Le query predefinite mostrano anche quali informazioni sono disponibili in ogni tabella. È possibile accedere alle query predefinite seguendo le istruzioni riportate nella sezione Query predefinite da usare con le nuove tabelle di questo articolo.

Aggiornare i dashboard per i cluster HDInsight

Se sono stati creati più dashboard per monitorare i cluster HDInsight, è necessario modificare la query dietro la tabella dopo aver abilitato la nuova integrazione di Monitoraggio di Azure. Il nome della tabella o il nome del campo potrebbero cambiare nella nuova integrazione, ma tutte le informazioni presenti nell'integrazione precedente sono incluse.

Fare riferimento alla tabella di mapping tra la tabella o lo schema precedente alla nuova tabella/schema per aggiornare la query dietro i dashboard.

Dashboard predefiniti

Sono stati anche migliorati i dashboard predefiniti a livello di cluster. In alto a destra di ogni grafico è presente un pulsante che consente di visualizzare la query sottostante che produce le informazioni. Il grafico è un ottimo modo per acquisire familiarità con il modo in cui è possibile eseguire query sulle nuove tabelle in modo efficace.

Abilitare entrambe le integrazioni per accelerare la migrazione

È possibile attivare sia le integrazioni classiche che le nuove integrazioni di Monitoraggio di Azure contemporaneamente in un cluster idoneo per entrambe le integrazioni per eseguire rapidamente la migrazione alla nuova integrazione di Monitoraggio di Azure. La nuova integrazione è disponibile per tutti i cluster creati dopo la metà di settembre 2020.

In questo modo, è possibile eseguire facilmente un confronto affiancato per le query in uso.

Abilitazione dell'integrazione classica

Se si usa un cluster creato dopo la metà di settembre 2020, verrà visualizzata la nuova esperienza del portale nel portale del cluster. Per abilitare la nuova pipeline, è possibile seguire i passaggi descritti nella sezione Attivare una nuova integrazione di Monitoraggio di Azure. Per attivare l'integrazione classica in questo cluster, passare alla pagina del portale del cluster. Selezionare il riquadro di integrazione Monitoraggio nella sezione Monitoraggio del menu sul lato sinistro della pagina del portale del cluster. Selezionare Configura Monitoraggio di Azure per l'integrazione dei cluster HDInsight (versione classica). Viene visualizzato un contesto laterale con un interruttore che è possibile usare per abilitare e disabilitare l'integrazione classica di Monitoraggio di Azure.

Nota

Non verranno visualizzati log o metriche dall'integrazione classica tramite i log e la pagina Informazioni dettagliate del portale del cluster. Solo i nuovi log di integrazione e le nuove metriche saranno presenti in tali posizioni.

La creazione di nuovi cluster con l'integrazione classica di Monitoraggio di Azure non è disponibile dopo il 1° gennaio 2023.

Sequenza temporale di rilascio e supporto

• L'integrazione classica di Monitoraggio di Azure non sarà disponibile dopo il 15 ottobre 2021. Non è possibile abilitare l'integrazione classica di Monitoraggio di Azure dopo tale data.
• Le integrazioni di monitoraggio di Azure classiche esistenti continueranno a funzionare. Sarà disponibile un supporto limitato per l'integrazione classica di Monitoraggio di Azure.
  • I problemi verranno esaminati dopo che i clienti inviano il ticket di supporto.
  • Se la soluzione richiede modifiche all'immagine, i clienti devono passare alla nuova integrazione.
  • Non verranno applicate patch ai cluster di integrazione di Monitoraggio di Azure classici, ad eccezione dei problemi di sicurezza critici.

Appendice: Mapping delle tabelle

Per i mapping delle tabelle di log dall'integrazione classica di Monitoraggio di Azure a quello nuovo, vedere Mapping delle tabelle di log.

Contenuto correlato

Eseguire query nei log di Monitoraggio di Azure per monitorare i cluster HDInsight