Universitätsbibliothek Wien

Validating analytic rating scales

Berger, Armin (2014) Validating analytic rating scales.
Dissertation, University of Vienna. Philologisch-Kulturwissenschaftliche Fakultät
BetreuerIn: Dalton-Puffer, Christiane
Keine Volltext-Freigabe durch VerfasserIn.

[img] PDF-File - Zur Anzeige nicht freigegeben
Alle Rechte vorbehalten / All rights reserved

-
URN: urn:nbn:at:at-ubw:1-29765.15243.907666-1
URN: urn:nbn:at:at-ubw:1-29765.15243.907666-1

Link zu u:search

Abstract in English

The use of analytic rating scales for performance assessment at Austrian university language departments has increased considerably. However, very little empirical research has been conducted to investigate the effectiveness of such scales in general and the proficiency continuum represented by the scale levels in particular. The aim of this study was therefore to validate the proficiency continuum operationalised by the English Language Teaching and Testing initiative – a working group consisting of experts from the Universities of Graz, Klagenfurt, Salzburg, and Vienna – in two analytic rating scales: one for academic presentations and one for academic discussions. To this end, a multi-method approach to scaling the level descriptors, drawing on both Classical Test Theory and Item Response Theory, was designed. First, a sequencing procedure termed descriptor sorting involved 21 Austrian university language teachers ordering the proficiency descriptors into different levels of perceived difficulty. Second, descriptor calibration subjected the sorting task data to multi-faceted Rasch analysis so as to obtain an empirically validated list of the teachers’ interpretations. Finally, the most comprehensive procedure, referred to as descriptor-performance matching, aimed to establish a link between the teachers’ perceptions and real language use. The results showed that although the rank orders of the descriptors generated by the different procedures showed a strong linear relationship, the division of the descriptors into approximately equidistant proficiency bands resulted in less strongly associated level allocations. The findings suggest that validation procedures are an influential component in the assessment process and should therefore be mapped onto theoretical models of performance assessment.

Schlagwörter in Englisch

rating scale / validation / speaking proficiency / performance assessment / descriptors / scaling / multi-method approach / multi-faceted Rasch analysis

Abstract in German

Die Verwendung von analytischen Beurteilungsskalen zur Bewertung fremdsprachlicher Leistungen hat an den philologischen Instituten der österreichischen Universitäten stark zugenommen. Die empirischen Untersuchungen zur Effektivität solcher Instrumente allgemein und zum definierten Leistungskontinuum im Besonderen sind dagegen rar. Ziel der vorliegenden Studie war es daher, das Leistungskontinuum, wie es durch die English-Language-Teaching-and-Testing-Initiative (ELTT) bestehend aus ExpertInnen der Universitäten Graz, Klagenfurt, Salzburg und Wien in zwei analytischen Beurteilungsskalen – einer für akademische Präsentationen und einer für akademische Diskussionen – operationalisiert wurde, zu validieren. Hierfür wurde ein Mehrmethodenansatz zur Skalierung der Niveaubeschreibungen entwickelt, der sowohl Klassische Testtheorie als auch Probabilistische Testtheorie heranzog. Zunächst wurden 21 österreichische UniversitätslehrerInnen gebeten, eine als Descriptor-Sorting bezeichnete Sortieraufgabe durchzuführen und dabei einzelne Deskriptoren bestimmten Schwierigkeitsstufen zuzuordnen. Zweitens wurden die aus der Sortieraufgabe gewonnenen Daten im Zuge der sogenannten Descriptor-Calibration mittels Multifacetten-Rasch-Analyse untersucht, um die Interpretationen der Lehrenden empirisch zu validieren. Schließlich zielte das als Descriptor-Performance-Matching bezeichnete Verfahren darauf ab, die Auffassungen der Lehrenden mit realem Sprachgebrauch zu verbinden. Die Resultate zeigten, dass zwischen den verschiedenen Reihenfolgen der Deskriptoren zwar ein stark linearer Zusammenhang bestand, die Aufteilung der Deskriptoren auf äquidistante Leistungsbandbreiten jedoch zu weniger stark zusammenhängenden Niveauzuteilungen führte. Die Ergebnisse legen nahe, dass die Validierungsverfahren eine einflussreiche Komponente des Beurteilungsprozesses darstellen und daher in theoretischen Leistungsbeurteilungsmodellen entsprechend berücksichtigt werden sollten.

Schlagwörter in Deutsch

Beurteilungsskala / Validierung / mündliche Sprachkompetenz / Sprachtesten / Deskriptoren / Skalierung / Mehrmethodenansatz / Multifacetten-Rasch-Analyse

Item Type: Hochschulschrift (Dissertation)
Author: Berger, Armin
Title: Validating analytic rating scales
Subtitle: a multi-method approach to scaling descriptors for assessing academic speaking
Umfangsangabe: XVI, 390 S. : graph. Darst.
Institution: University of Vienna
Faculty: Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw.
Universitätslehrgang (ULG):
Dr.-Studium der Philosophie Anglistik und Amerikanistik
Publication year: 2014
Language: eng ... Englisch
Supervisor: Dalton-Puffer, Christiane
Assessor: Dalton-Puffer, Christiane
2. Assessor: Sigott, Günther
Classification: 17 Sprach- und Literaturwissenschaft > 17.42 Sprachbeherrschung
AC Number: AC12156091
Item ID: 35515
(Das PDF-Layout ist ident mit der Druckausgabe der Hochschulschrift.)

Urheberrechtshinweis: Für Dokumente, die in elektronischer Form über Datennetze angeboten werden, gilt uneingeschränkt das österreichische Urheberrechtsgesetz; insbesondere sind gemäß § 42 UrhG Kopien und Vervielfältigungen nur zum eigenen und privaten Gebrauch gestattet. Details siehe Gesetzestext.

Edit item (Administrators only) Edit item (Administrators only)