Tenere traccia dei risultati test

Quando si creano e si eseguono test, è necessario poterne verificare lo stato e, ad esempio, conoscere il numero di test pronti per l'esecuzione oppure la percentuale di superamento dei vari test o il numero di test eseguiti fino a quel momento.

Opzioni di creazione report disponibili

• Grafici semplici (Visual Studio Online o Team Web Access)

• Query elemento di lavoro (Visual Studio Online o Team Web Access)

• Report preesistenti sui dati del warehouse (solo TFS locale)

• Creazione di report personalizzati dai dati del warehouse (solo TFS locale)

I grafici semplici consentono di visualizzare facilmente le risposte a molte delle domande sullo stato dei test. È possibile aggiungere questi grafici alla home page, in modo che l'intero team possa esaminarne immediatamente l'avanzamento. Per usare i grafici semplici con Team Web Access, è necessario disporre di TFS 2013 Update 4 o versione successiva.

Creare ed eseguire query elemento di lavoro per generare report dall'hub di lavoro. È possibile generare un grafico anche da una query elemento di lavoro elenco semplice. Si può, ad esempio, creare una query per visualizzare i bug attivi e le relative priorità e quindi generare un grafico per raggruppare rapidamente questi bug in base alla priorità.

Se però con i grafici semplici non si riesce a ottenere i report necessari, è possibile analizzare i dati in modo più approfondito con TFS locale. È possibile accedere a report esistenti nei dati del warehouse oppure creare report personalizzati con Excel.

Stato dei test con i grafici semplici

È possibile creare questi grafici dall'hub di test per Team Web Access o per Visual Studio Online.

Tenere traccia dello stato di avanzamento dei test

Usare grafici dei risultati del test per tenere traccia dell'avanzamento dei test. Scegliere in un set di campi pre-popolati fisso relativo ai risultati. Per impostazione predefinita, viene creato un grafico a torta per ogni piano di test. Questo grafico viene raggruppato in base al campo del risultato in modo da visualizzare i risultati più recenti per tutti i test inclusi nel piano.

Visualizzare il grafico predefinito nella scheda Grafici.

Aggiungere i propri grafici per i risultati del test per visualizzare gli elementi importanti per il proprio team. Se si conosce già la modalità di aggiunta di un grafico, passare ai possibili esempi di grafici riportati di seguito.

1. Selezionare il piano di test o il gruppo di test per il proprio grafico nella scheda Piano di test. Quindi, creare un nuovo grafico.

   

2. Selezionare il tipo di grafico. In base al grafico, configurare i campi che si vogliono usare per il raggruppamento oppure per righe e colonne.

   

   Tutti i grafici eseguono il roll-up delle informazioni relative a eventuali gruppi di test figlio del piano di test o del gruppo di test selezionato.

3. Salvare il grafico. Il grafico verrà ora visualizzato nella scheda dei grafici relativa al piano di test o al gruppo di test selezionato.

Esempi di risultati dei test

Qual è lo stato del test per un gruppo di test specifico?

Selezionare il gruppo di test dalla scheda Piano di test e aggiungere il grafico a torta dei risultati del test. Raggruppare in base al risultato.

Qual è lo stato del test per le storie utente che il mio team sta testando per questo sprint?

Se sono stati creati gruppi di testi basati sui requisiti nel piano di test per le storie utente, è possibile creare un grafico a questo scopo.

1. Raggruppare i gruppi di test basati sui requisiti in un gruppo di test statico.

2. Selezionare questo gruppo di test statico nella scheda Piano di test.

3. Aggiungere i risultati del test al grafico a barre in pila. Scegliere Gruppo come punto pivot delle righe e Risultato come punto pivot delle colonne.

   

Quanti test restano da eseguire per ogni tester?

Selezionare il piano di test dalla scheda Piano di test e aggiungere il grafico di tabella pivot dei risultati del test. Scegliere Tester come punto pivot delle righe e Risultato come punto pivot delle colonne.

Come posso controllare la qualità in base alle configurazione?

Usare un grafico a barre in pila oppure un grafico tabella pivot. Scegliere Configurazione come punto pivot delle righe e Risultato come punto pivot delle colonne.

Come posso tenere traccia del motivo per cui i test del team non riescono?

Per l'analisi degli errori, usare un grafico a barre in pila oppure un grafico tabella pivot. Scegliere Tester per le righe e Tipo di errore per le colonne (il tipo di errore per i risultati del test può essere impostato solo con Microsoft Test Manager).

Come posso tenere traccia della risoluzione per i test del team non superati?

Per l'analisi della risoluzione, usare un grafico a barre in pila oppure un grafico tabella pivot. Scegliere Tester per le righe e Risoluzione per le colonne (il tipo di risoluzione per i risultati del test può essere impostato solo con Microsoft Test Manager).

Tenere traccia dello stato di un test case

Usare i grafici del test case per esaminare l'avanzamento della creazione dei test case. I grafici per i test case offrono la flessibilità di creare report sulle colonne aggiunte alla scheda Test. Per impostazione predefinita, i campi dei test case non vengono aggiunti alla vista nella scheda Test.

Se si conosce già la modalità di aggiunta di un grafico, passare agli esempi di grafici che è possibile creare per i test case, riportati di seguito.

1. Aggiungere eventuali campi da usare per il grafico del test case dalla scheda Test con l'opzione Colonne. I campi verranno quindi visualizzati come scelte in elenchi a discesa per il raggruppamento dei grafici del test case.

2. Selezionare il piano di test o il gruppo di test per il proprio grafico nella scheda Piano di test. Aggiungere quindi il grafico del test case.

   

   Tutti i grafici eseguono il roll-up delle informazioni relative a eventuali gruppi di test figlio del piano di test o del gruppo di test selezionato.

3. Selezionare il tipo di grafico. In base al grafico, configurare i campi che si vogliono usare per il raggruppamento, per righe e colonne, oppure l'intervallo (solo grafici di tendenza).

   

   Non è possibile eseguire il raggruppamento in base al gruppo di test per i grafici del test case.

4. Salvare il grafico. Il grafico verrà ora visualizzato nella scheda dei grafici relativa al piano di test o al gruppo di test selezionato.

Esempi di test case

Come posso tenere traccia del burn-down per la creazione dei test case?

Usare un grafico di tendenza ad area in pila per visualizzare il burn-down per il numero di test case pronti per l'esecuzione. Scegliere Stato per il campo Stack di e Crescente per il campo Ordina.

Come posso tenere traccia del burn-down per lo stato di automazione?

Usare un grafico di tendenza ad area in pila per visualizzare il burn-down per il numero di test case automatizzati. Scegliere Stato automazione per il campo Stack di e Crescente per il campo Ordina.

Se i test case nel mio piano di test sono di proprietà di più team, posso vedere quanti test case appartengono a ogni team e le priorità dei test?

Se i team sono organizzati in base al percorso area, è possibile usare un grafico a torta del test case. Scegliere Percorso area per il campo Raggruppa per.

Se si vogliono conoscere le priorità di questi test, creare un grafico a barre in pila. Scegliere Percorso area per le righe e Priorità per le colonne.

Come posso tenere traccia dello stato di creazione del test in base ai membri del team?

I proprietari dei test case vengono monitorati in base al campo Assegnato a. Usare un grafico a barre in pila oppure un grafico tabella pivot. Scegliere Assegnato a per le righe e Stato per le colonne.

Domande e risposte

D: Posso visualizzare i risultati dei test recenti per un singolo test case?

R: Sì. Selezionare il test case in un gruppo di test, quindi scegliere di visualizzare il riquadro dei dettagli del test.

Visualizzare i risultati dei test recenti per questo test case.

D: Come vengono visualizzati i dati nei grafici per i test case contenuti in più gruppi di test?

R: Per i grafici del test case, se un test case è stato aggiunto a più gruppi di test in un piano verrà conteggiato una sola volta. Per i grafici dei risultati del test, ciascuna istanza di un test eseguita viene conteggiata per ciascuno dei gruppi di test separatamente.

D: Quali utenti possono creare grafici?

R: Per creare grafici, è necessario avere almeno una licenza Basic.

D: Come posso condividere lo stato del test del team con tutte le parti interessate?

R: Aggiungere un grafico alla home page del team affinché tutti i membri possano visualizzarlo. Usare il menu di scelta rapida del grafico.

Per eseguire questa operazione è necessario essere un amministratore del team. Anche i membri del team con licenze Stakeholder possono visualizzare i grafici del test sulla home page. Altre informazioni sulla home page sono disponibili qui. In alternativa, vedere le informazioni sull'amministrazione del team.

D: Come posso modificare o eliminare un grafico?

R: Selezionare l'opzione desiderata dal menu di scelta rapida del grafico.

Tenere traccia dei bug con i grafici semplici

Per ottenere informazioni più precise sulla qualità dell'applicazione, è inoltre importante sapere quali sono i bug individuati e risolti, conoscere la priorità degli eventuali bug attivi, oltre a individuare una tendenza nei bug. È possibile generare grafici semplici per qualsiasi query elenco semplice creata nella pagina delle query dell'hub di lavoro. Per informazioni su come eseguire questa operazione con Team Web Access o Visual Studio Online, fare clic qui.

Domande e risposte

D: È possibile tenere traccia dei bug appositamente creati da test case?

R: Quando si crea un bug da Test Runner, questo viene automaticamente collegato al test case in esecuzione. Per individuare tutti i bug creati dai test case, aprire Microsoft Test Manager, passare alla scheda Test e quindi scegliere Verifica bug. Per eseguire nuovamente il test di un bug che è stato corretto, scegliere Verifica.

Tenere traccia dei risultati di test automatizzati con Microsoft Test Manager

Per visualizzare i grafici di esecuzioni di test recenti, usare Microsoft Test Manager. È possibile aprirlo nei computer in cui sono stati installati Visual Studio Test Professional o Visual Studio Ultimate. Connetterlo al progetto team e al piano di test, quindi scegliere Centro test.

Per ottenere un elenco di esecuzioni di test recenti, scegliere Test, Analizza esecuzioni dei test. Ogni voce dell'elenco rappresenta un'esecuzione dei test:

Microsoft Test Manager supporta un processo in cui si esaminano i risultati test dopo il relativo completamento. Qualsiasi esecuzione che includa test non superati viene contrassegnata come Analisi necessaria. Se si aprono i dettagli dell'esecuzione dei test, è possibile aggiungere note, assegnare un motivo per gli errori, creare bug o altri elementi di lavoro e impostare il flag su Completato:

È possibile modificare il motivo per i tipi di errore, se richiesto dal processo di test.

Tenere traccia della qualità della compilazione

Se è installato TFS locale, è possibile usare questo report per visualizzare le percentuali di test superati/non superati per i test automatizzati che vengono eseguiti nel processo di compilazione. Consente di visualizzare le percentuali di test superati per ognuna delle compilazioni permettendo di verificare eventuali miglioramenti.

Per questo report deve inoltre essere installato SQL Server Reporting Services per TFS.

Tenere traccia dell'idoneità al rilascio

Se è installato TFS locale, è anche possibile visualizzare la cronologia dei test superati e non superati. Per esaminare le tendenze relative alle percentuali di superamento per stabilire quando si è pronti per il rilascio, è possibile usare questo report. Durante l'esecuzione dei test è anche possibile verificare i miglioramenti della qualità dell'app.

Per questo report deve inoltre essere installato SQL Server Reporting Services per TFS.

Report personalizzati solo per TFS locale

Per i report personalizzati deve inoltre essere installato SQL Server Reporting Services per TFS.

Se è installato TFS locale, i piani di test e i gruppi di test sono considerati elementi di lavoro con TFS 2013 Update 3 o versione successiva. È possibile creare report di Excel personalizzati da una query in base a esigenze specifiche per piani di test, gruppi di test, test case, storie utente, requisiti e bug. Per informazioni su come creare un report di Excel da una query elenco semplice, fare clic qui.

È possibile adottare altre personalizzazioni se il portale del progetto team è configurato con SharePoint Server Enterprise Edition. In tal caso è possibile usare i report di Excel per creare un dashboard.

Se non si riesce comunque a ottenere il report necessario, sono disponibili altre opzioni per visualizzare i dati direttamente. È infatti possibile creare report usando il cubo dei dati OLAP (Online Analytical Processing) (TFS_Analysis), che è ottimizzato per la creazione di report, oppure usare il database warehouse relazionale (TFS_Warehouse). Per informazioni, fare clic qui.

Domande e risposte

D: Sono disponibili report che posso usare se non ho TFS 2013 Update 4 per i grafici semplici?

R: Se l'installazione di TFS locale include servizi relativi ai report, è possibile visualizzare il grafico stato di avanzamento piano test in cui viene mostrato il numero di test di questo sprint superati o non superati. Aprire http://<Team Foundation Server>/Reports e passare al TfsReports > DefaultCollection > proprio progetto > Tests. In alternativa, in Visual Studio, in Team Explorer, aprire Report.

D: È possibile visualizzare un riepilogo dei risultati dei test più recenti da MTM?

R: Sì. In MTM passare alla scheda Piano e quindi scegliere Risultati. È possibile visualizzare i risultati per gruppo per vedere se ogni storia utente ha superato i test.