Che cos'è Azure Test Plans?
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
I piani di test di Azure offrono potenti strumenti per favorire la qualità e la collaborazione durante il processo di sviluppo. Questa soluzione di gestione dei test basata su browser supporta test manuali pianificati, test di accettazione degli utenti, test esplorativi e feedback degli stakeholder.
Nota
Questo articolo si applica ad Azure DevOps Services e azure DevOps Server 2020 e versioni successive. La maggior parte delle informazioni è valida per le versioni locali precedenti, ma le immagini mostrano solo esempi per la versione più recente. Inoltre, l'interfaccia utente è cambiata significativamente con il rilascio di Azure DevOps Server 2020. Per una panoramica delle nuove interfacce e delle funzionalità supportate, vedere Esplorare i piani di test.
Come funzionano i piani di test di Azure?
Tramite una combinazione di strumenti basati su browser, piani di test, report di stato, parametri, configurazioni, esecuzioni e strumenti di test e funzionalità di integrazione DevOps, Piani di test di Azure supporta gli obiettivi di test seguenti:
Eseguire test manuali ed esplorativi:
- Organizzare test manuali pianificati: designare tester e test conduce a organizzare i test in piani di test e gruppi di test.
- Eseguire test di accettazione utente: designare i tester di accettazione utente per verificare che il valore fornito soddisfi i requisiti dei clienti, riutilizzando gli artefatti di test creati dai team di progettazione.
- Eseguire test esplorativi: avere sviluppatori, tester, team UX, proprietari di prodotti e altri esplorano i sistemi software senza usare piani di test o gruppi di test.
- Raccogliere commenti e suggerimenti degli stakeholder: coinvolgere gli stakeholder esterni al team di sviluppo, ad esempio gli utenti delle divisioni di marketing e di vendita, per eseguire test.
Automatizzare i test: integrare i piani di test di Azure con Azure Pipelines per supportare i test all'interno di CI/CD. Associare piani di test e test case alle pipeline di compilazione o versione. Aggiungere attività della pipeline per acquisire e pubblicare i risultati dei test. Esaminare i risultati dei test tramite report di stato predefiniti e report di test della pipeline.
Garantire la tracciabilità: collegare test case e gruppi di test a storie utente, funzionalità o requisiti per la tracciabilità end-to-end. Collegare automaticamente test e difetti ai requisiti e alle compilazioni da testare. Aggiungere ed eseguire test dalla lavagna o usare l'hub Piani di test per team più grandi. Tenere traccia dei test dei requisiti con i risultati della pipeline e il widget Requisiti.
Tenere traccia dei report e dell'analisi: monitorare i risultati e lo stato dei test con grafici di rilevamento configurabili, widget specifici del test per i dashboard e report predefiniti, ad esempio report di stato, report dei risultati dei test della pipeline e il servizio Analisi.
Nota
Test di carico e prestazioni: mentre il servizio test di carico basato sul cloud di Azure DevOps è deprecato, è disponibile Test di carico di Azure. Test di carico di Azure è un servizio di test di carico completamente gestito che consente di usare gli script Apache JMeter esistenti per generare un carico su larga scala. Per altre informazioni, vedi Informazioni su Test di carico di Azure. Per altre informazioni sulla deprecazione dei test di carico di Azure DevOps, vedere Modifiche alle funzionalità di test di carico in Visual Studio e test di carico cloud in Azure DevOps.
Vantaggi chiave
I piani di test di Azure offrono ai team di sviluppo software i vantaggi seguenti.
Test su qualsiasi piattaforma: con il portale Web Piani di test è possibile usare qualsiasi browser supportato per accedere a tutte le funzionalità di test manuali. Consente di creare ed eseguire test manuali tramite un'interfaccia semplice basata su browser a cui gli utenti possono accedere da tutti i principali browser in qualsiasi piattaforma.
Raccolta di dati di diagnostica avanzata: usando il client Test Runner e Test Runner basato sul Web è possibile raccogliere dati di diagnostica avanzati durante i test manuali. Questi dati includono screenshot, un log delle azioni immagine, registrazioni dello schermo, code coverage, tracce IntelliTrace e dati di impatto sui test per le app sottoposte a test. Questi dati vengono inclusi automaticamente in tutti i bug creati durante il test, semplificando la riproduzione dei problemi da parte degli sviluppatori.
Tracciabilità end-to-end: Azure DevOps offre la tracciabilità end-to-end dei requisiti, delle compilazioni, dei test e dei bug con il collegamento di elementi di lavoro ad altri oggetti. Gli utenti possono tenere traccia della qualità dei requisiti dalle schede sulla scheda. I bug creati durante il test vengono collegati automaticamente ai requisiti e alle compilazioni da testare, che consentono di tenere traccia della qualità dei requisiti o delle compilazioni.
Analisi integrata: il servizio Analisi fornisce dati che generano feed in report predefiniti, widget di dashboard configurabili e report personalizzabili tramite Power BI. I dati tengono traccia dello stato e delle tendenze del piano di test per i test manuali e automatizzati. Analisi dei test offre visibilità quasi in tempo reale nei dati di test per compilazioni e versioni. I team possono agire su questi dati per migliorare il materiale di test per mantenere le pipeline integre.
Piattaforma estendibile. È possibile combinare gli strumenti e le tecnologie già noti con gli strumenti di sviluppo più adatti per l'integrazione e l'estensione di Azure DevOps. Usare le API REST e il modello di contributo disponibili per la piattaforma di test per creare estensioni che offrono l'esperienza necessaria per il ciclo di vita della gestione dei test.
Scenari supportati e requisiti di accesso
L'accesso alle funzionalità del portale Web di Azure DevOps viene gestito tramite livelli di accesso assegnati agli utenti. I tre livelli di accesso principali sono Stakeholder, Basic e Basic+Test plans come descritto in Informazioni sui livelli di accesso. La tabella seguente indica il livello di accesso necessario per eseguire le attività associate ai piani di test di Azure. Oltre ai livelli di accesso, selezionare le funzionalità richiedono autorizzazioni per l'esecuzione. Per altre informazioni, vedere Accesso e autorizzazioni di test manuali.
Scenario e attività
Portatore d'interessi
Base
Basic +Test Plans
Pianificazione dei test
- Creare piani di test e gruppi di test
- Gestire le impostazioni di esecuzione del piano di test
- Gestire le configurazioni
✔️
Esecuzione di test
- Eseguire test in qualsiasi piattaforma (Windows, Linux, Mac) con Test Runner
✔️
✔️
Eseguire test esplorativi con l'estensione Test & Feedback
✔️
✔️
✔️
Analizzare ed esaminare i test
- Creare grafici con vari pivot, ad esempio priorità, configurazione e così via, per tenere traccia dello stato di avanzamento dei test
- Esplorare i risultati dei test
- Esportare i piani di test e i gruppi di test per la revisione
- Test di accettazione utente: assegnare test e invitare tramite posta elettronica
✔️
✔️
Testing manuale ed esplorativo
Per supportare test manuali ed esplorativi, i piani di test di Azure usano tipi di elementi di lavoro specifici del test per pianificare e creare test. Fornisce inoltre due strumenti di test per supportare l'esecuzione di test. Gli hub Piani di test, Parametri e Configurazioni forniscono gli strumenti per creare e gestire in modo efficiente gli elementi di test, le relative impostazioni e configurazioni. I gruppi di test possono essere dinamici, ovvero gruppi di prodotti basati sui requisiti e suite basate su query, per comprendere la qualità dei requisiti associati in fase di sviluppo o statici per coprire i test di regressione.
Tipi di elementi di lavoro specifici del test
I tipi di elemento di lavoro, ovvero piani di test, gruppi di test, test case, passaggi condivisi e parametri condivisi, supportano diversi collegamenti espliciti per supportare il rilevamento dei requisiti e la condivisione dei passaggi di test e dei dati in molti test case. I test case possono essere assegnati come manuali o automatizzati. Per una descrizione di ognuno di questi elementi di test, vedere Testare oggetti e termini.
In Azure DevOps la relazione tra un risultato del test, un'esecuzione di test e un test case può essere considerata come segue:
- Test case: uno scenario specifico o un set di passaggi progettati per convalidare una particolare funzionalità o funzionalità.
- Esecuzione test: istanza in cui vengono eseguiti uno o più test case. Ogni esecuzione di test può includere più test case.
- Risultato del test: risultato di un'esecuzione di test. Ogni test case all'interno di un'esecuzione di test ha un proprio risultato di test, che indica se è stato superato o non riuscito.
Nota
Con Azure DevOps Server 2020 e versioni successive, è possibile eseguire test automatizzati aggiungendo attività di test alle pipeline. La definizione di piani di test, test case e gruppi di test non è necessaria quando vengono usate attività di test.
Definire piani di test e gruppi di test
È possibile creare e gestire piani di test e gruppi di test dall'hub Piani di test. Aggiungere uno o più gruppi di test, statici, basati sui requisiti o basati su query, ai piani di test. Esportare e condividere piani di test e gruppi di test con i team. Per informazioni su come, vedere Creare piani di test e gruppi di test e Copiare o clonare piani di test, gruppi di test e test case.
Creare test usando test case
È possibile definire test case manuali definendo i passaggi di test e facoltativamente i dati di test a cui fare riferimento. I gruppi di test sono costituiti da uno o più test case. È possibile condividere test case all'interno dei gruppi di test. La visualizzazione Griglia per la definizione dei test case supporta operazioni di copia, incolla, inserimento ed eliminazione. Assegnare rapidamente uno o più tester per eseguire i test. Visualizzare i risultati dei test e i riferimenti a un test case tra gruppi di test. Per informazioni su come, vedere Creare test case.
All'interno di ogni test case si specifica un set di passaggi di test con i risultati previsti. Facoltativamente, è possibile aggiungere passaggi condivisi o parametri condivisi. Per la tracciabilità, collegare i test case alle storie utente, alle funzionalità o ai bug che testano.
Gestire i parametri condivisi
Usare l'hub Parametri per definire e gestire i parametri condivisi tra test case. I parametri condivisi forniscono il supporto per la ripetizione di test manuali più volte con dati di test diversi. Ad esempio, se gli utenti possono aggiungere quantità diverse di un prodotto a un carrello acquisti, si vuole verificare che una quantità di 200 lavori e una quantità di 1.
Gestire configurazioni e variabili di test
Con l'hub Configurazioni, i team possono definire, esaminare e gestire configurazioni e variabili di test a cui fanno riferimento i piani di test. Le configurazioni di test offrono supporto per testare le applicazioni in sistemi operativi, Web browser e versioni diversi. Come per i parametri condivisi, le configurazioni di test possono essere condivise tra più piani di test.
Testare l'esecuzione e gli strumenti di test
Con gli strumenti, gli sviluppatori, i tester e gli stakeholder seguenti possono avviare test e acquisire dati avanzati durante l'esecuzione dei test e registrare automaticamente i difetti del codice collegati ai test. Verifica la tua applicazione con test sulle app desktop o Web.
- Test Runner: strumento basato su browser per testare le applicazioni Web e una versione client desktop per testare le applicazioni desktop avviate dall'hub Piani di test per eseguire test manuali. Test Runner supporta la raccolta di dati avanzata durante l'esecuzione di test, ad esempio il log delle azioni dell'immagine, la registrazione video, il code coverage e così via. Consente inoltre agli utenti di creare bug e contrassegnare lo stato dei test.
- Estensione Test & Feedback: estensione gratuita per supportare test esplorativi a cui si accede da browser Chrome, Microsoft Edge o Firefox. L'estensione acquisisce le interazioni con l'applicazione esaminata tramite immagini o video e immettendo commenti verbali o scritti di tipo. Le informazioni vengono acquisite nel tipo di elemento di lavoro Risposta feedback per tenere traccia dei dati di risposta.
Funzionalità di esecuzione dei test
È possibile eseguire le attività seguenti usando gli strumenti indicati.
| Attività | Hub dei piani di test | Test Runner | Estensione Test & Feedback |
|---|---|---|---|
| Test di contrassegno bulk | ✔️ | ||
| Superati o non superati i test o i passaggi di test | ✔️ | ✔️ | |
| Modifiche inline ai test durante l'esecuzione | ✔️ | ✔️ | |
| Sospendere e riprendere i test | ✔️ | ✔️ | |
| File bug durante l'esecuzione del test | ✔️ | ✔️ | |
| Acquisire screenshot, log azioni immagine e registrazione dello schermo durante l'esecuzione del test | ✔️ | ✔️ | |
| Aggiornare i bug esistenti durante l'esecuzione del test | ✔️ | ✔️ | |
| Verificare i bug | ✔️ | ✔️ | |
| Assegnare una compilazione per l'esecuzione del test | ✔️ | ||
| Assegnare le impostazioni di test | ✔️ | ||
| Esaminare le esecuzioni dei test | ✔️ |
Eseguire test
Dall'hub Piani di test, scheda Esegui , i membri del team possono avviare l'esecuzione dei test per uno o più test case definiti per un gruppo di test. Le scelte includono l'esecuzione di Test Runner per un'applicazione Web o desktop. Facoltativamente, i membri del team possono selezionare Esegui con opzioni per scegliere altri client supportati per i test manuali o selezionare una compilazione per i test automatizzati. Per altre informazioni, vedere Eseguire test manuali.
Test Runner
Test Runner esegue test per le applicazioni Web e desktop. Contrassegnare i passaggi di test e i risultati dei test come superamento o esito negativo e raccogliere dati di diagnostica, ad esempio informazioni di sistema, log delle azioni immagine, registrazioni dello schermo e acquisizioni dello schermo durante il test. I bug segnalati durante i test includono automaticamente tutti i dati di diagnostica acquisiti per consentire agli sviluppatori di riprodurre i problemi. Per altre informazioni, vedere Eseguire test per le app Web ed Eseguire test per le app desktop.
Test di accettare utente
Il test di accettazione dell'utente (UAT) consente ai team di offrire il valore richiesto dai clienti. È possibile creare piani e gruppi di test UAT, invitare diversi tester a eseguire questi test e monitorare lo stato dei test e i risultati usando grafici leggeri. Per informazioni su come, vedere Test di accettazione utente.
Test esplorativi con l'estensione Test & Feedback
L'estensione Test & Feedback è una semplice estensione basata su browser che è possibile usare per testare le app Web in qualsiasi momento e ovunque, ed è abbastanza semplice per tutti i membri del team da usare. Consente di migliorare la produttività consentendo di dedicare più tempo a trovare i problemi e a ridurre il tempo di archiviazione.
Feedback degli stakeholder
È consigliabile cercare feedback da parte di stakeholder esterni al team di sviluppo, ad esempio team di marketing e vendite, che è fondamentale per lo sviluppo di software di buona qualità. Gli sviluppatori possono richiedere commenti e suggerimenti sulle storie utente e sulle funzionalità. Gli stakeholder possono rispondere alle richieste di feedback usando l'estensione test e feedback basata su browser, non solo per valutare e inviare commenti, ma anche acquisendo dati di diagnostica avanzati e inviando direttamente bug e attività. Per altre informazioni, vedere Richiedere commenti e suggerimenti degli stakeholder e inviare commenti e suggerimenti degli stakeholder.
Test automatizzati
Il test automatizzato è facilitato dall'esecuzione di test all'interno di Azure Pipelines. Analisi dei test offre visibilità quasi in tempo reale nei dati di test per compilazioni e versioni. Consente di migliorare l'efficienza della pipeline identificando problemi di qualità ripetitivi e ad alto impatto.
I piani di test di Azure supportano i test automatizzati nei modi seguenti:
Associare piani di test o test case alle pipeline di compilazione o versione
Specificare le attività di abilitazione del test all'interno di una definizione della pipeline. Azure Pipelines offre diverse attività, incluse le attività seguenti che supportano un'esperienza completa di creazione di report e analisi dei test.
- Attività Pubblica risultati test: usare per pubblicare i risultati dei test in Azure Pipelines.
- Attività test di Visual Studio: usare per eseguire unit test e funzionali (Selenium, Appium, test codificati dell'interfaccia utente e altro ancora) con Visual Studio Test Runner.
- Attività dell'interfaccia della riga di comando di .NET Core: usare per compilare, testare, creare un pacchetto o pubblicare un'applicazione dotnet.
Per altre attività, vedere Pubblicare l'attività Risultati test
Fornire report predefiniti e widget del dashboard configurabili per visualizzare i risultati dei test della pipeline.
Raccogliere i risultati dei test e i dati di test associati nel servizio Analisi.
Tracciabilità
Piani di test di Azure supporta il collegamento di bug e requisiti ai test case e ai gruppi di test. Inoltre, il portale Web seguente, gli strumenti correlati ai test supportano la tracciabilità:
- Visualizzare gli elementi collegati a un test case: visualizzare i piani di test, i gruppi di test, i requisiti e i bug a cui si collega un test case.
- Aggiungere ed eseguire test dalla scheda: una funzionalità di Azure Boards che supporta la definizione di test case dalle storie utente, dalle funzionalità o dai bug della scheda. Inoltre, è possibile avviare l'estensione Test Runner o Test & Feedback per eseguire test o eseguire test esplorativi.
- Widget qualità dei requisiti: widget configurabile usato per tenere traccia della qualità in modo continuo da una pipeline di compilazione o versione. Il widget mostra il mapping tra un requisito e i risultati dei test più recenti eseguiti in base a tale requisito. Fornisce informazioni dettagliate sulla tracciabilità dei requisiti. Ad esempio, i requisiti non soddisfano la qualità, i requisiti non testati e così via.
Visualizzare gli elementi collegati a un test case
Dall'hub piani di test è possibile visualizzare e aprire i gruppi di test, i requisiti e i bug collegati a un test case. La scheda Gruppi di test indica anche i piani di test e i progetti che fanno riferimento al test case. La scheda Requisiti elenca gli elementi di lavoro collegati al test case che appartengono alla categoria dei requisiti. Inoltre, è possibile creare una query di collegamenti diretti che elenca gli elementi che si collegano ai test case tramite il tipo di collegamento Test/Testato per . Per altre informazioni, vedere Creare test case e Usare collegamenti diretti per visualizzare le dipendenze.
Aggiungere ed eseguire test dalla scheda
Dalle bacheche di Azure Boards è possibile aggiungere test da una storia utente o una funzionalità, collegando automaticamente il test case alla storia utente o alla funzionalità. È possibile visualizzare, eseguire e interagire con i test case direttamente dalla scheda e monitorare progressivamente lo stato direttamente dalla scheda. Per altre informazioni, vedere Aggiungere, eseguire e aggiornare i test inline.
Widget Qualità requisiti
Il widget Qualità requisiti visualizza un elenco di tutti i requisiti nell'ambito, insieme alla frequenza di superamento per i test e al conteggio dei test non superati . Se si seleziona un numero di test non superati, viene visualizzata la scheda Test per la build o la versione selezionata. Il widget consente anche di tenere traccia dei requisiti senza alcun test associato. Per altre informazioni, vedere Tracciabilità dei requisiti.
Creazione di report e analisi
Per supportare la creazione di report e l'analisi, i piani di test di Azure supportano grafici di rilevamento dei test, un hub esecuzioni di test, diversi report di test predefiniti, widget del dashboard e dati di test archiviati nel servizio Analisi.
- Grafici di test configurabili: è possibile ottenere informazioni dettagliate sull'attività di creazione ed esecuzione del piano di test creando grafici di rilevamento dei test.
- Report di stato: tenere traccia dello stato di avanzamento di uno o dei piani di test o dei gruppi di test.
- Esecuzioni di test: esaminare i risultati delle esecuzioni di test manuali e automatizzate.
- Widget dashboard: widget configurabili che visualizzano i risultati dei test in base alle build o alle versioni selezionate. I widget includono il widget Stato distribuzione e il widget Test Results Trend (Advanced).
- Analisi dei test: ottenere informazioni dettagliate dai report predefiniti della pipeline o creare report personalizzati eseguendo query sul servizio Analisi.
Grafici di test configurabili
Configurare rapidamente grafici leggeri per tenere traccia dei risultati dei test manuali usando i tipi di grafico desiderati e aggiungere i grafici al dashboard per analizzare facilmente questi risultati. Scegliere un criterio di conservazione per controllare per quanto tempo vengono conservati i risultati dei test manuali. Per altre informazioni, vedere Tenere traccia dello stato dei test.
Report sullo stato di avanzamento
Con l'hub del report di stato, i team possono tenere traccia dello stato di avanzamento di più di un piano di test o di un gruppo di test. Questo report consente di rispondere alle domande seguenti:
- Quanto è stato completato il test?
- Quanti test sono stati superati, non superati o bloccati?
- È probabile che il test venga completato in tempo?
- Qual è la frequenza di esecuzione giornaliera?
- Quali aree di test necessitano di attenzione?
Esecuzioni di test
L'hub Esecuzioni visualizza i risultati delle esecuzioni di test, che includono tutte le esecuzioni di test, sia manuali che automatizzate.
Nota
L'hub Esecuzioni è disponibile con Azure DevOps Server 2020 e versioni successive. Richiede l'abilitazione del servizio Analytics usato per archiviare e gestire i dati di esecuzione dei test. Per altre informazioni sul servizio, vedere Che cos'è il servizio Analytics?
Scegliere un'esecuzione specifica per visualizzare un riepilogo dell'esecuzione del test.
Stato della distribuzione
Il widget Stato distribuzione configurabile mostra una visualizzazione combinata dello stato della distribuzione e della frequenza di superamento dei test in più ambienti per un set recente di compilazioni. Per configurare il widget, specificare una pipeline di compilazione, un ramo e le pipeline di versione collegate. Per visualizzare il riepilogo dei test in più ambienti in una versione, il widget fornisce una visualizzazione matrice di ogni ambiente e la velocità di superamento dei test corrispondente.
Passare il puntatore del mouse su qualsiasi riepilogo della compilazione ed è possibile visualizzare altri dettagli, in particolare il numero di test superati e non riusciti.
Tendenza dei risultati dei test (avanzate)
Il widget Tendenza risultati test (avanzato) offre visibilità quasi in tempo reale sui dati di test per più compilazioni e versioni. Il widget mostra una tendenza dei risultati dei test per le pipeline selezionate. È possibile usarlo per tenere traccia del numero giornaliero di test, velocità di superamento e durata del test. La qualità dei test di rilevamento nel tempo e il miglioramento del materiale collaterale dei test è fondamentale per mantenere una pipeline DevOps integra. Il widget supporta il rilevamento delle metriche avanzate per una o più pipeline di compilazione o pipeline di versione. Il widget consente anche di filtrare i risultati dei test in base al risultato, allo stack delle metriche e altro ancora. Per altre informazioni, vedere Configurare il widget Test Results Trend (Advanced).
Analisi del testo
I test predefiniti e i widget supportati dai test derivano i dati dal servizio Analisi. Il servizio Analisi è la piattaforma di creazione di report per Azure DevOps e supporta la scheda Analisi e test e i report di drill-down disponibili nell'hub Pipelines . Il report di drill-down Degli errori di test fornisce un riepilogo dei test superati e non superati. Per altre informazioni, vedere Analisi dei test.
È anche possibile creare report personalizzati eseguendo query sul servizio Analisi. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
Passaggi successivi
Articoli correlati
- Esplorare i piani di test
- Copiare o clonare piani di test, gruppi di test e test case
- Associare i test automatizzati e i test case
- Informazioni sulla richiesta e la fornitura di commenti e suggerimenti
- Panoramica dell'integrazione e della collaborazione tra servizi
- Informazioni sui test della pipeline