Probar diferentes configuraciones

  • Artículo

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Es probable que los usuarios instalen o ejecuten la aplicación en una amplia variedad de configuraciones, como diferentes sistemas operativos, exploradores web y otras variaciones. Querrá ejecutar al menos algunas de las pruebas en fases que tengan esas configuraciones diferentes.

Use los planes de prueba para decidir qué pruebas desea ejecutar en qué configuraciones. Debe asegurarse de que al ejecutar las pruebas que ha configurado las fases para las configuraciones que necesita.

Puede dibujar una matriz esquemática de las combinaciones que desea probar:

Matriz de prueba de configuraciones del sistema operativo y del explorador

Después, puede hacer lo siguiente:

Requisitos previos

  • Debe conectarse a un proyecto. Si todavía no tiene un proyecto, cree uno.
  • Debe agregarse a un proyecto. Para conseguir que lo agreguen, consulte Agregar usuarios a un proyecto o equipo.
  • Para ver o agregar configuraciones de prueba, debe tener acceso básico o superior.
  • Para agregar configuraciones de prueba, debe tener establecido el permiso Administrar configuraciones de prueba de nivel de proyecto en Permitir. De forma predeterminada, este permiso se concede a los miembros de los grupos Colaborador y Project Administración istrator.

Para más información, consulte Permisos y acceso de prueba manual.

Trabajar con la herramienta de línea de comandos TCM

Para usar la herramienta de línea de comandos TCM, debe tener los siguientes elementos en su lugar:

  • Instalado Visual Studio 2017 Professional o una versión anterior. Puede acceder a TCM desde el símbolo del sistema y los directorios siguientes:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Para ejecutar un comando TCM, especifique los /collection parámetros y /teamproject , y /login según sea necesario.

    Parámetro Descripción
    /Colección:CollectionURL Necesario. Especifica el URI de la colección de proyectos de equipo. El formato del URI es el siguiente:
    - Para Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Para Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Si no se usa ningún directorio virtual, el formato del URI es el siguiente:http://ServerName:Port/CollectionName
    /teamproject:project Necesario. Nombre del proyecto que contiene los objetos de prueba en los que desea clonar o importar pruebas automatizadas.
    /login:username,[password] Opcional. Especifica el nombre y la contraseña de un usuario de Azure DevOps válido y quién tiene permisos para ejecutar el comando. Use esta opción si las credenciales de Windows no tienen los permisos adecuados o usa la autenticación básica o no está conectado a un dominio.

  • Debe ser miembro válido de uno o varios proyectos a los que desea acceder y tener los permisos necesarios en función de los comandos que ejecute. Para obtener más información, consulte Acceso a pruebas manuales y permisos.

  • Debe tener los mismos niveles de acceso necesarios para agregar planes de prueba y conjuntos de pruebas para clonar o importar objetos de prueba.

Visualización de configuraciones y variables

A menudo quiere ver las configuraciones que ya están disponibles para ejecutar las pruebas.

Puede ver una lista de configuraciones de prueba y variables de configuración en la página Configuraciones .

En el proyecto, seleccione Configuraciones de planes>de prueba en el área de navegación izquierda. Aquí verá todas las configuraciones y variables de prueba disponibles actualmente para los planes de prueba.

Captura de pantalla de Editor de Power Query, Planes de prueba de consultas.

Seleccione una configuración o variable para ver más información sobre ella en la ventana a la derecha.

Creación de configuraciones y variables

Una configuración de prueba es una combinación de valores de variable de configuración. Las variables de configuración podrían ser, por ejemplo, sistema operativo, explorador, tipo de CPU, base de datos. Una configuración puede ser "CPU de Windows 8 + 32 bits" o "CPU de Windows 10 + 64 bits".

Cree primero las variables de configuración. A continuación, combine varios valores de variable para crear una configuración.

  1. Abra la página Configuraciones en el portal web De planes de prueba, seleccione el + icono y seleccione Nueva variable de configuración.

    Captura de pantalla que muestra la opción Nueva variable de configuración en el menú Nuevo.

  2. Escriba un nombre para la variable, como Browser y una descripción. Seleccione Agregar nuevo valor y agregue un valor. Agregue tantos valores como desee a la variable de configuración y guárdelo.

    Captura de pantalla que muestra cómo agregar valores a una nueva variable de configuración.

  3. Repita los pasos para crear cualquier otra variable de configuración que necesite. Por ejemplo, cree una variable de configuración denominada Sistema operativo con los nombres de cada sistema operativo en el que desea probar.

    Captura de pantalla que muestra cómo establecer los valores de una variable de configuración de sistemas operativos.

  4. Seleccione el + icono y seleccione Nueva configuración de prueba.

    Captura de pantalla que muestra la opción Nueva configuración de prueba en el menú Nuevo.

  5. Escriba un nombre para la configuración de prueba y agregue las variables de configuración que ha creado. Elija un valor para cada variable para esta configuración.

    Captura de pantalla que muestra cómo agregar variables a la nueva configuración de prueba.

    Asegúrese de que Asignar a nuevos planes de prueba está activado para que esta configuración sea el valor predeterminado para todos los nuevos planes de prueba que cree.

  6. Guarde la nueva configuración de prueba.

Una configuración de prueba es una combinación de valores de variable de configuración. Las variables de configuración podrían ser, por ejemplo, sistema operativo, explorador, tipo de CPU, base de datos. Una configuración puede ser "CPU de Windows 8 + 32 bits" o "CPU de Windows 10 + 64 bits".

Primero debe crear las variables de configuración. A continuación, combine varios valores de variable para crear una configuración.

  1. Abra la página Configuraciones en el portal web De planes de prueba, elija el new icono y seleccione Nueva variable de configuración.

    Adición de una nueva variable de configuración

  2. Escriba un nombre para la variable, como Browser, y escriba un valor. Agregue tantos valores como desee a la variable de configuración y guárdelo.

    Establecimiento de los valores de una nueva variable de configuración

  3. Repita los pasos para crear cualquier otra variable de configuración que necesite. Por ejemplo, cree una variable de configuración denominada Sistema operativo con los nombres de cada sistema operativo en el que desea probar.

    Establecimiento de los valores de una variable de configuración de sistemas operativos

  4. Elija el new icono y seleccione Nueva configuración de prueba.

    Adición de una nueva configuración de prueba

  5. Escriba un nombre para la configuración de prueba y agregue las variables de configuración que ha creado. Elija un valor para cada variable para esta configuración.

    Adición de variables a la nueva configuración de prueba

    Asegúrese de que Se comprueba Asignar a nuevos planes de prueba para que esta sea la configuración predeterminada para todos los nuevos planes de prueba que cree.

  6. Guarde la nueva configuración de prueba.

Asignación de configuraciones a planes y conjuntos de pruebas

Puede asignar configuraciones a un conjunto de pruebas o a un caso de prueba individual. Las configuraciones asignadas a un conjunto de pruebas se aplican a todas las pruebas o conjuntos dentro de él.

  1. Para asignar una configuración a un conjunto de pruebas, en la página Planes de prueba, seleccione un plan. En el área Conjuntos de pruebas, seleccione un conjunto de pruebas y seleccione Más opciones o haga clic con el botón derecho para abrir el menú contextual y, a continuación, seleccione Asignar configuración.

    Captura de pantalla que muestra la opción de menú Asignar configuración.

    Si agrega varias configuraciones a un conjunto de pruebas, los casos de pruebas se repiten con cada una de las configuraciones asignadas.

    Captura de pantalla que muestra varias asignaciones de configuración a un conjunto de pruebas.

  2. Si es necesario, invalide la configuración predeterminada asignada a un caso de prueba y asigne la configuración que necesita. Seleccione uno o varios casos de prueba, abra el menú contextual y seleccione Asignar configuración.

    Captura de pantalla que muestra la asignación de una configuración asignada a un caso de prueba.

  3. Busque y seleccione las configuraciones que se van a asignar a los casos de prueba.

    Captura de pantalla que muestra las configuraciones de configuración de un caso de prueba.

Puede asignar configuraciones a un plan de prueba, un conjunto de pruebas o un caso de prueba individual. Las configuraciones asignadas a un plan de prueba o conjunto de pruebas se aplican a todas las pruebas o conjuntos dentro de él.

  1. Para asignar una configuración a un plan de prueba, en la página Planes de prueba, abra el menú contextual del plan y elija Asignar configuración al plan de prueba.

    Asignación de una configuración a un plan de prueba

  2. Para asignar una configuración a un conjunto de pruebas, abra el menú contextual del conjunto y elija Asignar configuración al conjunto de pruebas.

    Asignación de una configuración a un conjunto de pruebas

    Si agrega varias configuraciones a un plan o conjunto de pruebas, los casos de prueba se repiten en el plan o conjunto con cada una de las configuraciones que haya asignado.

    Asignación de varias configuraciones a un conjunto de pruebas

  3. Si es necesario, invalide la configuración predeterminada asignada a un caso de prueba y asigne la configuración que necesita. Seleccione uno o varios casos de prueba, abra el menú contextual y elija Asignar configuraciones.

    Invalidación de la configuración predeterminada asignada a un caso de prueba

  4. Busque y seleccione las configuraciones que se van a asignar a estos casos de prueba.

    Establecimiento de las configuraciones necesarias para un caso de prueba

Ejecución de pruebas con cada configuración

Configure una plataforma de prueba para una configuración determinada, como probar la aplicación con Google Chrome en Windows 10.

  1. Seleccione y ejecute una prueba que tenga asignada esta configuración.

    Captura de pantalla que muestra una prueba con una configuración específica y la opción Ejecutar para la aplicación web seleccionada.

    A medida que ejecuta la prueba, aparece un recordatorio de la configuración en la barra de estado.

    Captura de pantalla que muestra la configuración de esta prueba en la barra de estado.

  1. Configure una plataforma de prueba para una configuración determinada, como probar la aplicación con Google Chrome en Windows 10.

  2. Seleccione y ejecute una prueba que tenga asignada esta configuración.

    Ejecución de la prueba con la configuración asignada

    Al ejecutar la prueba, se muestra un recordatorio de la configuración necesaria en la barra de estado de la ventana Ejecutor de pruebas.

    La configuración necesaria aparece en la ventana Ejecutor de pruebas.

Seguimiento de los resultados de las pruebas para cada configuración

  1. Abra la página Gráficos del conjunto de pruebas, seleccione Nuevo y seleccione Nuevo gráfico de resultados de pruebas.

    Captura de pantalla que muestra la opción de menú Nuevo gráfico de resultados de pruebas.

  2. Elija un tipo de gráfico, como un gráfico circular o un gráfico de barras, y, a continuación, seleccione Agrupar por>configuración y elija Aceptar.

    Captura de pantalla que muestra cómo elegir una opción de configuración para agrupar por en el cuadro de diálogo Configurar gráfico.

    Se crea un gráfico que puede ayudarle a realizar un seguimiento de las pruebas en función de las configuraciones. Puede anclar este gráfico al panel.

    Captura de pantalla que muestra un gráfico de barras con valores para Not run, Passed y Failed.

Si tiene un caso de prueba que aparece en varios conjuntos de pruebas, puede establecer las distintas configuraciones de cada conjunto. El mismo caso de prueba puede tener diferentes opciones de configuración en diferentes conjuntos de pruebas y planes de prueba.

  1. Abra la página Gráficos del plan de pruebas o conjunto de pruebas, elija Nuevo y seleccione Nuevo gráfico de resultados de pruebas.

    Creación de un nuevo gráfico de resultados de prueba

  2. Elija el tipo de gráfico que necesita, seleccione Configuración en la lista Agrupar por y elija Aceptar.

    Elección del tipo de gráfico que necesita

    Se crea un gráfico que puede ayudarle a realizar un seguimiento de las pruebas en función de las configuraciones. Puede anclar este gráfico al panel.

    Gráfico de resultados de pruebas de configuración

Si tiene un caso de prueba que aparece en varios planes de prueba y conjuntos de pruebas, puede establecer las distintas configuraciones de cada uno de ellos. El mismo caso de prueba puede tener diferentes opciones de configuración en diferentes conjuntos de pruebas y planes de prueba.