Der Weg von der Betaprüfung zur Liveprüfung
Veröffentlicht am 1. Juli 2016 von Liberty Munson (Microsoft)
Vielleicht ist Ihnen auch schon zu Ohren gekommen, dass es acht Wochen dauern kann, bis Sie die Ergebnisse Ihrer Betaprüfung erhalten – mal dauert es länger, in seltenen Fällen kürzer. Durch meine Erfahrungen als Psychologin und da ich zudem Gedanken lesen kann, weiß ich natürlich, dass Sie sich jetzt fragen: „Warum dauert das so lange?“
Die folgenden Faktoren beeinflussen u. a. die Dauer der Betaphase einer Prüfung:
Wie schnell werden die Plätze für die Betaprüfung vergeben. Für eine Betaprüfung werden mindestens 250 qualifizierte Kandidaten benötigt, die die Bedingungen des Zielgruppenprofils erfüllen. Hier gilt: Je mehr, desto besser, da sich immer auch einige ungeeignete Personen zur Betaprüfung anmelden. Und auch deren Antworten haben Auswirkungen auf die nächste Phase der Prüfungsentwicklung (siehe Punkt 2). Manchmal kommen schnell mehr als 250 Prüfungen zusammen, aber meistens dauert es länger. Zuletzt konnte der Gutschein für eine kostenlose Betaprüfung bis zur Liveschaltung der Prüfung genutzt werden. Zur Beschleunigung des Vorgangs haben wir die Gültigkeit nun auf drei Wochen begrenzt. Je schneller wir die Marke von 250 Prüfungsergebnissen erreichen, desto schneller können wir zur nächsten Phase der Prüfungsentwicklung übergehen. Wird innerhalb von drei Wochen das Ziel von 250 Ergebnissen nicht erreicht, muss die Betaphase verlängert und somit der Zeitpunkt des Übergangs zur nächsten Phase verschoben werden.
Wozu werden mehr als 250 Ergebnisse benötigt? Für eine stabile Einschätzung der psychometrischen Leistung aller Elemente, Formulare und der Gesamtprüfung. Die Auswertung der psychometrischen Daten (Statistiken) stellt die nächste Phase der Prüfungsentwicklung dar, die sogenannte „Elementauswahl“. Darin berechnen wir für jedes Element und jedes Formular eine ganze Reihe von Statistiken, um deren Effektivität bei der Bewertung der Fähigkeiten und Qualifikationen von Kandidat*innen einzuordnen. Dazu zählen der P-Wert (Prozentzahl der korrekten Antworten), punktbiseriale Korrelationen (zur Unterscheidung zwischen Low Performern und High Performern), Elementmeasures, Zuverlässigkeit, Medianwert der benötigten Zeit, Alpha-, Durchschnitts-, Median- und Moduswerte, Kennlinien usw. Anhand all dieser Daten lassen sich die Gültigkeit und Qualität der einzelnen Elemente und des gesamten Elementpools bewerten. Darüber hinaus lese ich jeden Kommentar zur Betaprüfung, um anhand des Kandidatenfeedbacks potenzielle Probleme mit Elementen zu identifizieren, die sich in den statistischen Daten nicht ablesen lassen. Diese Analyse dauert etwa eine Woche.
Im Anschluss an die Überprüfung finden Treffen statt mit den jeweiligen fachlichen Ansprechpartnern zu Elementen, bei denen ich noch unsicher bin. Da ich in technischen Fragen keine Expertin bin, verlasse ich mich auf deren Fachwissen, wenn es darum geht, ob ein problematisches Element beibehalten, korrigiert oder verworfen werden soll. Bei diesen Besprechungen sammeln wir auch Informationen zur Festlegung der erforderlichen Mindestpunktzahl.
Anschließend trage ich alle Informationen zusammen, lege den endgültigen Elementpool und die Mindestpunktzahl fest und erstelle die Liveformulare. Beim letzten Schritt arbeite ich mit einem Anbieter zusammen, der die Formulare basierend auf meinen Richtlinien zur Verteilung des Inhalts erstellt. [Bei einem Formular handelt es sich um die angezeigte Instanz der Prüfung, während Sie diese ablegen, d. h. die bei der Durchführung bereitgestellte Kombination von Elementen.] Dieser Vorgang dauert etwas länger als eine Woche.
Sobald die Angaben für die Liveprüfung vorliegen, wird ein Build erstellt und an unseren Prüfungsanbieter weitergeleitet. Dieser richtet die Prüfung dann im eigenen System ein und testet, ob der ganze Ablauf (einschließlich Bewertung) wie erwartet funktioniert. Auch eines meiner Teammitglieder testet und überprüft diese „vorveröffentlichte“ Version. Dieser Vorgang dauert etwa zwei Wochen.
Nach dem Liveschalten der Prüfung führt der Prüfungsanbieter für alle Kandidaten der Betaprüfung eine Neubewertung aus. Die Neubewertung dauert etwa eine Woche.
Rechnet man nun alles zusammen, . . kommt man im günstigsten Fall auf acht Wochen. Nun wissen Sie also, was in dieser Zeit bei uns alles geschieht.
Ergeben sich daraus neue Fragen?
