Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Publicado el 1 de julio de 2016 por Liberty Munson (Microsoft)
Posiblemente haya oído que pueden transcurrir 8 semanas desde que hace un examen beta hasta que sale el resultado... a veces tarda más tiempo y, en raras ocasiones, puede ser menos. Como psicóloga, que supuestamente sé lo que está pensando, me consta que estará preguntándose por qué tarda tanto tiempo.
Estos son algunos de los factores que afectan al tiempo que un examen permanece en versión beta:
Rapidez con la que se ocupan los puestos del examen beta. Necesitamos al menos 250 candidatos cualificados (es decir, que cumplen la descripción de la experiencia del perfil de audiencia) para realizar el examen mientras está en versión beta. Más es siempre mejor, porque sé que algunos usuarios no cualificados también intentarán realizar la versión beta, y estas respuestas pueden afectar a lo que sucede en la siguiente fase del desarrollo del examen (vea el punto 2 siguiente). A veces podemos proporcionar más de 250 exámenes rápidamente, pero por lo general se tarda más tiempo. Antes, el vale que permitía hacer el examen beta de forma gratuita era válido hasta que el examen real se publicaba, pero necesitamos acelerar este proceso, de ahí que hayamos acotado su uso a un período de 3 semanas. Cuanto más rápido se cumpla el objetivo de 250 resultados del examen, más rápido podremos pasar a la siguiente fase de desarrollo del examen. Si no tenemos 250 resultados al final del período de 3 semanas, tendremos que ampliar la versión beta y, obviamente, esto significa que también se extiende el tiempo que se tarda en pasar a la siguiente fase del desarrollo del examen.
¿Por qué necesitamos más de 250 resultados? Porque queremos resultados estables del rendimiento biométrico de cada elemento, formulario y del examen en general. La siguiente fase del desarrollo del examen denominada "selección de elementos" es la evaluación de pruebas psicométricas (estadísticas). Calculamos una amplia variedad de estadísticas para cada elemento y formulario para evaluar su eficacia en la evaluación de aptitudes y capacidades de los candidatos. Entre ellas se incluyen el valor p (porcentaje de personas que responden correctamente), las correlaciones biseriales puntuales (básicamente, me indican si la pregunta diferencia las calificaciones altas de las bajas), las mediciones de elementos, la veracidad, el tiempo medio invertido, las puntuaciones alfa, media, mediana y de moda, las curvas de características de prueba, etc. Todo esto me da información sobre la validez y calidad de cada elemento y del grupo de elementos general. Además, leo todos los comentarios beta para comprender mejor la información proporcionada por los candidatos y los posibles problemas con elementos que pueden no haberse detectado en las estadísticas. Este análisis tarda aproximadamente una semana.
Una vez realizada esta revisión, nos reunimos con expertos en la materia para revisar elementos de los que no estoy segura. No soy una experta técnica, por lo que me baso en su experiencia como ayuda para saber si un elemento puesto en tela de juicio debe mantenerse, corregirse o eliminarse. Durante esta reunión, también recopilamos información de los SME para establecer la nota de corte o de paso.
Después de esta reunión, compilo toda la información, finiquito el grupo de elementos y la nota de corte y, tras ello, monto los formularios reales (bueno, acudo a un proveedor que hace esto último según las pautas que le proporciono sobre la distribución de contenido en los formularios). [Un formulario es la instancia del examen que se ve, es decir, la combinación de elementos que se entregan durante la administración]. Este proceso tarda algo más de una semana.
Una vez que tenemos las especificaciones de la versión real del examen, las "compilamos", se las pasamos al proveedor de entrega de exámenes, que configura el examen en su sistema y lo prueba para asegurarse de que todo (incluida la calificación) funciona según lo previsto. Alguien de mi equipo también revisa esta versión "publicada previamente". Esto tarda aproximadamente 2 semanas.
El examen real ya está publicado y el proveedor de entrega de exámenes puede reevaluar a todos los candidatos beta. En esto se tarda aproximadamente una semana.
Sumándolo todo. . . 8 semanas, siendo optimistas. Ya sabe qué es lo que se cuece entre bambalinas.
¿Le han surgido nuevas preguntas a raíz de esto?
