Qualità della Valutazione

La funzionalità di Qualità della Valutazione è un miglioramento al precedente pannello dei Prerequisiti.

Funzionalità di Qualità della Valutazione On Demand

I risultati della valutazione sono validi solo nella misura in cui lo sono i dati raccolti su cui si basano tali risultati. L'individuazione e la raccolta di dati non riuscita degradano il valore dei risultati della valutazione e possono contribuire a percezioni di bassa qualità. A volte, questi problemi non vengono neanche rilevati se non si ha la possibilità di farli venire a galla e di fornire indicazioni utili per risolverli. Questo importante miglioramento all'attuale pannello sull' attenzione ai prerequisiti nella dashboard di valutazione di Azure log Analytics è stato sviluppato con due obiettivi in mente:

• Problemi nella qualità della valutazione della superficie che danno l'opportunità di correggere ed eseguire nuovamente la valutazione per garantire una buona qualità della valutazione.
• Riduzione al minimo della necessità di incrementare i ticket di supporto per risolvere i problemi nella qualità dell'invio dei dati, offrendo contenuti di correzione specifici su cui si può agire.

In particolare, le capacità introdotte sul mercato per migliorare il pannello dell'area di attenzione ai prerequisiti esistenti includono:

1. Categorizzazione degli stati potenziali di errore nelle fasi di esecuzione della valutazione iniziale, inclusa l'individuazione e la raccolta dei prerequisiti.

2. Indice di qualità della valutazione per una percentuale del %success sulla raccolta dei dati di valutazione.

3. Un grafico a ciambella aggiornato per rappresentare visivamente le categorie e l'indice di qualità della valutazione.

Cosa rappresenta Un "Indice di Qualità della Valutazione"?

AssessmentQualityIndex = Flussi di lavoro dei prerequisiti superati/Flussi di lavoro dei prerequisiti totali

Quando la valutazione viene eseguita, vengono eseguiti vari Agenti di Raccolta e poi vengono eseguiti degli Analizzatori sui ciò che è stato acquisito. Se qualche Agente di raccolta fallisce (ad esempio, perché il WMI Remoting non è riuscito a raggiungere una destinazione), non avremo nulla su cui eseguire l'analisi. Questo comporterà un risultato di valutazione incompleto che riduce la qualità di ciò che forniamo.

I prerequisiti furono inizialmente creati per risolvere questo problema. Prima dell'esecuzione, gli Agenti di raccolta vengono eseguiti in "modalità prerequisiti" per verificare se i prerequisiti specifici sono stati soddisfatti (verifichiamo se il WMI Remoting è attivo sulla destinazione). Se dei prerequisiti non vengono rilevati, esponiamo tali fallimenti nel portale di Azure nella scheda "Prerequisiti", ma l'implementazione iniziale dei prerequisiti non ha fatto molto per poter mostrare all'utente finale un quadro generale della qualità della valutazione.

Si consideri il seguente scenario. Si sta eseguendo ADAssessment e vengono identificati 100 obiettivi durate la Scoperta. Viene eseguito l'Agente di raccolta in modalità prerequisiti per verificare che WMI Remoting sia attivo, ma l'operazione fallisce per ogni destinazione, poiché la funzionalità non è stata abilitata negli ambienti corrispondenti. Prima della qualità della valutazione, in Azure si poteva vedere un singolo errore di prerequisito relativo a "WMI Remoting non abilitato". Tuttavia, in realtà i flussi di lavoro dei prerequisiti non riusciti sarebbero 100 e non ci sarebbe quasi nulla da analizzare, con il risultato di una valutazione scadente. Questo non sarebbe stato necessariamente evidente, dato che in Azure si sarebbe visto un solo errore sui prerequisiti.

Ora, con la funzionalità di Qualità della Valutazione, viene fornito un Indice di Qualità della Valutazione, che è semplicemente la percentuale di Flussi di Lavoro dei Prerequisiti Passati sul Totale dei Flussi di Lavoro dei Prerequisiti. Nell'esempio precedente verrà quindi visualizzato un indice di qualità della valutazione pari allo 0% o all'1%, che indica che la qualità complessiva della valutazione era estremamente scadente a causa di errori nei prerequisiti.

Nota

Nella vita reale, ADAssessment esegue probabilmente una gamma più ampia di flussi di lavoro sui prerequisiti, non solo il WMI Remoting, pertanto è più probabile che venga visualizzato un Indice di Qualità della Valutazione superiore.

Qual è la differenza tra Errore di Individuazione, Errori Importanti sui Prerequisiti e Altri Errori sui Prerequisiti?

La valutazione passa attraverso varie fasi durante l'esecuzione. In primo luogo, viene eseguita l'Individuazione per trovare i vari nodi da valutare. Successivamente, vengono eseguiti vari Agenti di Raccolta in Modalità Prerequisiti. Infine, vengono eseguiti gli Agenti di raccolta in modo regolare, quindi Analisi.

I prerequisiti riguardano principalmente le prime due fasi: L'Individuazione e gli Agenti di Raccolta vengono eseguiti in Modalità Prerequisiti.

Il file di output dei prerequisiti ora specifica la fase in cui si è verificato l'errore per ogni prerequisito e noi la renderemo visibile in Azure.

Perché la voce degli Errori Importanti dei Prerequisiti viene visualizzata solo qualche volta nel Grafico/Legenda a Ciambella?

Quando gli autori IP creano le proprie Valutazioni, possono contrassegnare facoltativamente i Flussi di Lavoro come importanti. Questo significa che il Flusso di Lavoro è fondamentale per la qualità della valutazione. Se la valutazione non include flussi di lavoro importanti definiti, NON verranno visualizzati gli errori principali dei prerequisiti nel grafico ad anello/legenda in Azure.

Perché talvolta visualizziamo solo "Errori di Individuazione", ma non le altre categorie in Azure?

Se il test di MVE (Ambiente Minimo Vitale) ha esito negativo durante l'Individuazione, significa che non sono stati soddisfatti alcuni prerequisiti fondamentali (in SQLAssessment non è stato possibile trovare Server SQL). In tal caso, gli Agenti di Raccolta non vengono neanche eseguiti in Modalità Prerequisiti: l'esecuzione della valutazione viene terminata in anticipo. In questo caso, vengono visualizzati solamente gli Errori di Individuazione in Azure.

Perché viene visualizzato un pannello vuoto per la Qualità della Valutazione?

Non tutti i sistemi per la raccolta dati e per le attività pianificate che inviano dati a quest'area di lavoro di Log Analytics hanno eseguito nuovamente la Valutazione coi nuovi bit di Qualità della Valutazione. Si risolve automaticamente quando:

1. Tutti i computer per la raccolta dati e le attività pianificate su tali computer hanno eseguito nuovamente la valutazione usando i nuovi bit, OPPURE
2. il periodo di Conservazione dei dati (predefinito in 30 giorni) causa la decadenza dei dati obsoleti, lasciando solo dei dati "validi" generati dopo il rilascio della funzionalità Qualità della valutazione.

La funzionalità di Qualità della Valutazione ha reso necessaria l'aggiunta di una nuova colonna CustomData ai file di output della valutazione e la nuova UX analizza questa nuova colonna CustomData per generare le statistiche visualizzate nel nuovo pannello di Qualità della Valutazione.

Questo ha reso difficile la compatibilità con le versioni precedenti. La nuova UX funziona solo se la valutazione è stata eseguita utilizzando le nuove modifiche del Client ODA che popolano la colonna CustomData. Abbiamo quindi, nella nostra UX, un codice che identifica se l'area di lavoro di Log Analytics presenta dei record in cui CustomData è popolata, a indicare che la valutazione è stata eseguita con i nuovi bit. In caso contrario, rientriamo nel vecchio pannello dei prerequisiti. Se CustomData ESISTE, visualizziamo il nuovo pannello sulla Qualità della Valutazione.

Ma è possibile che più sistemi per la raccolta di dati (o anche più attività pianificate nello STESSO sistema di raccolta dati) inviino dei dati a una singola area di lavoro di Log Analytics e che questo pannello sia un'aggregazione dei risultati sui prerequisiti di tutti i sistemi di raccolta dati connessi all'area di lavoro. Che cosa succede, quindi, se alcuni sistemi hanno inviato i dati con la nuova colonna CustomData, ma altri no? Visualizziamo la vecchia UX o la nuova UX?

Questo è il caso in cui verrà visualizzato il pannello vuoto nella schermata. Non è stata un'ottima soluzione, pertanto questo stato intermedio difettoso verrà visualizzato solo fino a quando tutti i sistemi di raccolta dati avranno inviato i dati utilizzando i nuovi bit.

Ci sono alcuni sfortunati casi limite che potrebbero risultare in una spiacevole esperienza per i clienti:

1. Sappiamo che, per alcune valutazioni, è comune che più attività pianificate siano configurate sullo stesso sistema per la raccolta dati (ad esempio, valutazioni client di Windows) e tali attività pianificate siano impostate per l'esecuzione in giorni diversi. Supponiamo che abbiate due attività, una per lunedì e una per mercoledì. Dopo l'esecuzione dell'attività di lunedì, si vedrà il pannello vuoto fino a quando la seconda attività verrà eseguita mercoledì, momento in cui il cliente dovrebbe iniziare a vedere il nuovo pannello sulla qualità della valutazione.

2. Cosa succederebbe se 3 sistemi per la raccolta dati svolgessero una Valutazione SQL e puntassero alla stessa area di lavoro di Log Analytics, ma uno di tali sistemi fosse stato disattivato 2 settimane fa? Gli altri due sistemi eseguirebbero la valutazione con i nuovi bit, ma poiché il terzo sistema è stato disattivato non potrà eseguire la valutazione con i nuovi bit. In questo scenario, il cliente vedrebbe il pannello vuoto.

3. Questo problema è stato riscontrato in alcune delle nostra aree di lavoro di test in cui MOLTE persone eseguono valutazioni e inviano dati alla stessa area di lavoro di Log Analytics. In questo caso, è molto difficile (probabilmente impossibile) rintracciare tutti e far loro eseguire di nuovo le valutazioni utilizzando i nuovi bit.

Tuttavia, il problema si risolve automaticamente quando si verifica una delle due circostanze seguenti:

1. Tutti i sistemi per la raccolta dati e le attività pianificate su tali sistemi hanno eseguito nuovamente la valutazione utilizzando i nuovi bit, OPPURE

2. Il periodo di Conservazione dei Dati (predefinito in 30 giorni) causa la decadenza dei dati obsoleti, lasciando solo dei dati "validi" generati dopo il rilascio della funzionalità sulla Qualità della Valutazione.

Per questo motivo, abbiamo deciso che questa fosse una quantità accettabile di agitazione da sopportare.

Nello scenario peggiore, i clienti possono sempre creare una nuova area di lavoro di Log Analytics o utilizzare l'API del Data Purger, quindi eseguire nuovamente la valutazione che si tradurrà in un pannello pulito sulla Qualità della Valutazione.