Sökvägen från betaprov till live-examen

Publicerad 01 jul 2016 av Liberty Munson (Microsoft)

---

Du kanske har hört att det kan ta 8 veckor från att ta en beta examen för att få ditt resultat ... Ibland tar det längre tid, och vid sällsynta tillfällen kan det faktiskt gå snabbare. Så eftersom jag är psykolog och, som vanligt antas, tankeläsare, vet jag att du undrar "varför tar det så lång tid?"

Här är några av de faktorer som påverkar hur lång tid ett prov stannar i beta:

1. Hur snabbt vi fyller betaplatser. Vi behöver minst 250 kvalificerade kandidater (vilket innebär att de uppfyller beskrivningen av målgruppsprofilen) för att ta provet i betaversion. Mer är alltid bättre eftersom jag vet att vissa okvalificerade personer också kommer att delta i betatestningen, och dessa responser kan påverka utfallet i nästa fas av examensutvecklingen (se #2 nedan). Ibland kan vi leverera över 250 prov snabbt. ofta tar det längre tid. Tidigare var kupongen som låter dig ta betaprovet gratis giltig tills provet gick live, men vi måste påskynda den här processen, så vi har begränsat användningen till en 3-veckorsperiod. Ju snabbare vi når målet med 250 provresultat, desto snabbare kan vi gå vidare till nästa steg i examensutvecklingen. Om vi inte har 250 resultat i slutet av 3-veckorsperioden måste vi förlänga betaversionen, och det innebär naturligtvis att den tid det tar innan vi kan gå vidare till nästa steg i examensutvecklingen också skjuts ut.

2. Varför behöver vi över 250 resultat? Eftersom vi vill ha stabila uppskattningar av den psykometriska prestandan för varje objekt, formulär och det övergripande provet. Utvärdering av dessa psykometrier (statistik) är nästa fas i examensutvecklingen som kallas "objektval". Vi beräknar en mängd olika statistik för varje objekt och formulär för att utvärdera hur effektiva de är vid bedömning av kandidatfärdigheter och förmågor. Dessa inkluderar p-värde (procent av personer som svarar korrekt), punkt-biseriella korrelationer (visar om frågan skiljer mellan höga och låga prestationer), frågemått, tillförlitligheter, mediantid, alfa, medel, median, lägespoäng, testets karakteristiska kurvor, etc. Allt detta ger mig insikt i giltigheten och kvaliteten för varje fråga och den övergripande frågepoolen. Dessutom läste jag varje betakommentare för att bättre förstå kandidatfeedback och potentiella problem med objekt som kanske inte har identifierats via statistiken. Den här analysen tar ungefär en vecka.

3. När jag har gjort den här granskningen träffar vi ämnesexperter för att granska objekt som jag är osäker på. Jag är ingen teknisk expert, så jag förlitar mig på deras expertis för att hjälpa mig att avgöra om ett tvivelaktigt föremål kan hållas, fixas eller måste dödas. Under detta möte samlar vi också in information från de små och medelstora företagen för att fastställa nedskärnings- eller passningspoängen.

4. Efter det här mötet sammanställer jag all information, slutför objektpoolen och fastställer poänggränsen och sätter sedan ihop onlineformulären (ja, jag arbetar med en leverantör som gör den sista delen baserat på de riktlinjer som jag tillhandahåller om innehållsdistribution mellan formulären). [Ett formulär är den instans av provet som du ser när du sitter i den, det vill sa en kombination av objekt som levereras under din administration.] Den här processen tar lite mer än en vecka.

5. När vi har specifikationerna för liveversionen av provet "skapar" vi dem, överlämnar dem till vår provleveransleverantör, som sedan ställer in provet i sitt system och testar det för att säkerställa att allt fungerar (inklusive bedömning) som förväntat. Någon i mitt team granskar också den här "förpublicerade" versionen. Detta tar ca 2 veckor.

6. Provet är nu live, och leverantören för provleveransen kan sedan ompoängsätta alla betakandidater. Det här tar ungefär en vecka.

Så om du lägger till allt detta . . . bästa fallet är 8 veckor. Nu vet du magin som finns bakom gardinen!

Vilka nya frågor väcker detta för dig?