Universitätsbibliothek Wien

The relationship between item formulation and item facility in multiple-choice reading tasks

Kummenecker, Gabriel (2020) The relationship between item formulation and item facility in multiple-choice reading tasks.
Diplomarbeit, University of Vienna. Philologisch-Kulturwissenschaftliche Fakultät
BetreuerIn: Dalton-Puffer, Christiane

[img] PDF-File
Alle Rechte vorbehalten / All rights reserved

Download (1682Kb)
DOI: 10.25365/thesis.61817
URN: urn:nbn:at:at-ubw:1-17285.79195.724569-0

Link zu u:search

Abstract in English

The aim of this study was to find out about the relationship between complex reading item formulations and the facility value of these items. Firstly, 76 similar reading items with regard to the construct and difficulty were selected from the Finnish Matriculation Examination. After having identified comparable items, the focus could be put on the relationship between difficult item formulations and the facility value. In total, 22 item features concerning the item formulation were defined. These referred to lexical aspects as well as to the length of the items and the number of clauses. Each of these features was correlated with the facility values of the items. Only a few features showed a weak negative correlation. Two of these were the ones dealing with difficult lexis. Hence, based on the present study, it seems important that item writers are aware of the relationship between difficult words in items and the facility value. The fact that there were only three item features out of 22 with a weak significant correlation suggests that features involving the text are more significant for the item facility value. Certain features could not be tested within this research project (e.g. even less frequently used words in items) and another much larger study came partly to different results, which is why further research in this field might be necessary.

Schlagwörter in Englisch

language testing assessment / multiple-choice reading item

Abstract in German

Das Ziel der vorliegenden Studie war es, die Beziehung zwischen komplexen Formulierung von Lese-Items und deren Lösungshäufigkeit zu erforschen. 76 vergleichbare Leseitems hinsichtlich Konstrukt und Schwierigkeitsgrad der finnischen Maturaprüfung wurden dafür ausgewählt. Nachdem somit besonders ähnliche Items herausgefiltert waren, blieb nur noch der Aspekt der komplexen Item-Formulierung als relevanter Faktor hinsichtlich der Lösungshäufigkeit bestehen. 22 Variablen hinsichtlich der Item-Formulierung wurden definiert, welche sich sowohl auf die Lexik als auch auf die Item-Länge und deren Satzteile bezogen. Jede dieser Variablen wurde mit der Lösungshäufigkeit der Items korreliert. Nur wenige dieser Variablen zeigten eine leichte negative Korrelation auf. Zwei signifikante Variablen hinsichtlich komplexer Lexik in den Items unterstützten einander in ihrer Aussagekraft. Folglich erscheint es wichtig, dass sich Testentwickelnde der Beziehung zwischen schwierigen Item-Formulierungen und der Lösungshäufigkeit bei der Aufgabenentwicklung bewusst sind. Da nur drei der 22 Variablen eine leichte negative Korrelation aufzeigten, ist die Hypothese aufzustellen, dass Variablen, welche auch Bezug auf die relevanten Textstellen nehmen, deutlich signifikanter für die Lösungshäufigkeit sind, wie eine ähnliche deutlich umfangreichere Studie herausgefunden hatte. Weitere relevante Item-Variablen konnten in diesem Forschungsprojekt nicht erfasst werden (z.B. noch selten gebräuchlichere Lexik in Items) und eine vergleichbare Studie kam zu teils anderen Erkenntnissen, weswegen weitere Forschungen in diesem Feld sinnvoll erscheinen.

Schlagwörter in Deutsch

Sprachtestung / Lesen / Multiple-Choice Item

Item Type: Hochschulschrift (Diplomarbeit)
Author: Kummenecker, Gabriel
Title: The relationship between item formulation and item facility in multiple-choice reading tasks
Umfangsangabe: 91 Seiten : Illustration
Institution: University of Vienna
Faculty: Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw.
Universitätslehrgang (ULG):
Lehramtsstudium UF Englisch UF Italienisch
Publication year: 2020
Language: eng ... Englisch
Supervisor: Dalton-Puffer, Christiane
MitbetreuerIn: Berger, Armin
Assessor: Dalton-Puffer, Christiane
Classification: 17 Sprach- und Literaturwissenschaft > 17.42 Sprachbeherrschung
17 Sprach- und Literaturwissenschaft > 17.41 Sprachdidaktik
AC Number: AC15627396
Item ID: 61817
(Das PDF-Layout ist ident mit der Druckausgabe der Hochschulschrift.)

Urheberrechtshinweis: Für Dokumente, die in elektronischer Form über Datennetze angeboten werden, gilt uneingeschränkt das österreichische Urheberrechtsgesetz; insbesondere sind gemäß § 42 UrhG Kopien und Vervielfältigungen nur zum eigenen und privaten Gebrauch gestattet. Details siehe Gesetzestext.

Edit item (Administrators only) Edit item (Administrators only)