Universitätsbibliothek Wien

About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America

Hansmann, Brigitte Christine (2010) About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America.
Diplomarbeit, University of Vienna. Fakultät für Psychologie
BetreuerIn: Kubinger, Klaus D.

[img]
Preview
PDF
Alle Rechte vorbehalten / All rights reserved

Download (2945Kb)
DOI: 10.25365/thesis.9708
URN: urn:nbn:at:at-ubw:1-29231.62547.123854-9

Link zu u:search

Abstract in English

One problem within multiple choice tests is that even if a test taker does not know the answer of an item he or she can solve it, simply through lucky guessing. The aim of this study was not only to investigate if there are different guessing effects between the multiple choice format “1 out of 5” and the sequential response format “1 out of 5” but also if there are cultural differences in this cohesion between Austria and the USA. To investigate this topic 225 Psychology students of the University of Vienna, Austria and 104 Psychology students at the Cypress College, California executed a verbal computer test battery, which consisted out of the FRRT (Family Relations Reasoning Test) with 60 items and the Syllogisms 2009 with 10 items. Unfortunately it turned out that about 50 % of the American data had to be excluded of further analyses due to an extreme answering behaviour (editing times under one minute combined with low raw scores) of the test takers. Because of this fact, no Rasch model analyses of the English items had been feasible and therefore no test of equivalency via Rasch model between the two languages was possible. So, the focus was only put on the Austrian sample which showed significant results: It turned out that the items are significantly easier if they are in the multiple choice format “1 out of 5” – which means that they show a significant higher guessing probability – than the same items but in the sequential response format “1 out of 5”.

Schlagwörter in Englisch

multiple choice format / sequential response format / rasch model / guessing effect

Abstract in German

Problematisch bei Multiple Choice Tests ist, dass selbst eine Testperson, die keine Fähigkeiten besitzt ein bestimmtes Item zu lösen, dieses durch simples Raten doch lösen kann. Ziel dieser Studie war es nun, unterschiedliche Rateeffekte in den beiden Formaten Multiple-Choice „1 aus 5“ und dem sequentiellen Antwortformat „1 aus 5“ zu eruieren, wobei ein zusätzlicher Fokus auch auf Kulturunterschiede zwischen Österreich und den USA gerichtet wurde. Dazu wurde eine verbale Computer-Testbatterie, die aus den beiden Untertests FRRT (Family Relations Reasoning Test), bestehend aus 60 Items und den Syllogismen 2009, bestehend aus 10 Items, 225 deutschsprachigen Psychologie Studierenden an der Universität Wien und 104 englischsprachigen Psychologie Studierenden am Cypress College, California vorgegeben. Das Itemformat jedes Untertests variierte je Satz zufällig zwischen den beiden Antwortformaten. Es stellte sich heraus, dass ca. die Hälfte der Daten aus der amerikanischen Stichprobe für weitere Analysen ausgeschlossen werden musste, da die Studierenden ein auffälliges Antwortverhalten (Testbearbeitungszeiten unter einer Minute mit gleichzeitig niedrigen Rohscores) zeigten. Aus der daraus folgenden geringen Teilnehmerzahl in der amerikanischen Stichprobe war eine Analyse der englischen Items mit dem Rasch Modell nicht mehr möglich. Aus diesem Grund konnte keine Äquivalenzprüfung mittels Rasch Modell durchgeführt werden. Für die deutschsprachige Stichprobe konnte gezeigt werden, dass jene mit dem Rasch Modell konformen Items im Multiple Choice Antwortformat signifikant leichter waren, als dieselben Items im sequentiellen Antwortformat. Somit wiesen die Items im Multiple Choice Format einen signifikant höheren Rateeffekt auf, als im sequentiellen Format.

Schlagwörter in Deutsch

Multiple Choice Antwortformat / Sequentielles Antwortformat / Rasch Modell / Rateeffekt

Item Type: Hochschulschrift (Diplomarbeit)
Author: Hansmann, Brigitte Christine
Title: About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America
Umfangsangabe: 114 S.
Institution: University of Vienna
Faculty: Fakultät für Psychologie
Publication year: 2010
Language: eng ... Englisch
Supervisor: Kubinger, Klaus D.
Assessor: Kubinger, Klaus D.
Classification: 77 Psychologie > 77.08 Psychologische Diagnostik
AC Number: AC08129653
Item ID: 9708
(Das PDF-Layout ist ident mit der Druckausgabe der Hochschulschrift.)

Urheberrechtshinweis: Für Dokumente, die in elektronischer Form über Datennetze angeboten werden, gilt uneingeschränkt das österreichische Urheberrechtsgesetz; insbesondere sind gemäß § 42 UrhG Kopien und Vervielfältigungen nur zum eigenen und privaten Gebrauch gestattet. Details siehe Gesetzestext.

Edit item (Administrators only) Edit item (Administrators only)