Organisation: Prozesse computerunterstützter Prüfungen

Welche organisatorischen Maßnahmen zur Vorbereitung, Durchführung und Nachbereitung computerunterstützter Lernfortschrittskontrollen notwendig sind, wird am Beispiel einer computerunterstützten Klausur demonstriert. Zentrale Fragestellung ist, wie die Organisation von Lernfortschrittskontrollen durch Computerunterstützung effektiv, effizient und zuverlässig gestaltet werden kann. Um E-Assessment zu etablieren, ist die Schaffung von geeigneten organisatorischen Strukturen und technologischen Komponenten bzw. Verfahren notwendig, mit denen computerunterstützte Klausuren in zuverlässiger und justiziabler Form durchgeführt werden können (Reepmeyer, 2008). Schon bei der Fragenerstellung und dem Pre- und Postreview sowie dem nach den Klausuren folgenden Einsichts- und Einspruchsverfahren zeigen Fragendatenbanksysteme eine große Effektivität und Effizienz (Vor dem Esche et al., 2011). Für die Prüfungen an sich müssen etwa räumliche, zeitliche und personelle Ressourcen koordiniert werden. Eine Voraussetzung für die Durchführung elektronischer Prüfungen mit größeren Teilnehmerzahlen stellen große Rechnerpools mit der entsprechenden Hard- und Software dar.
Bei mangelnden Rechnerkapazitäten in Massenprüfungen können Prüfungen simultan in mehreren Rechnerpools bzw. in mehreren aufeinanderfolgenden Zeitscheiben durchgeführt werden (Eilers et al., 2008; Reepmeyer, 2008; Wannemacher, 2007), oder den zu Prüfenden wird die Nutzung eigener Laptops in der Prüfung gestattet (meist Open-Book-Prüfungen; Schulz und Apostolopoulos, 2010). Darüber hinaus werden an einigen Universitäten elektronische Prüfungen in den normalen Hörsälen unter Einsatz universitätseigener Laptops oder gemieteter Laptops durchgeführt (Fischer, 2010).
Beispielsysteme
  • LPLUS: Kommerzielles elektronisches Prüfungssystem für summative Prüfungen in Hochschulen, Firmen und Handelskammern (LPLUS GmbH)
  • Q[kju:]: Kommerzielles System zur Prüfungsorganisation und -durchführung mit der Besonderheit, dass auch ein Komplettservice für summative Prüfungen inkl. Bereitstellung der Prüfungsserver und -laptops angeboten wird (IQuL GmbH)
  • CASUS: Kommerzielles elektronisches Prüfungssystem mit dem Schwerpunkt auf fallbasiertem Prüfen (Instruct AG)
  • Questionmark Perception: Ebenfalls ein kommerzielles elektronisches Prüfungssystem für summative Prüfungen, welches in Universitäten und in der freien Wirtschaft eingesetzt wird (Questionmark Corporation)
  • ILIAS: Lernmanagementsystem, welches Prüfungsfunktionalität insbesondere für diagnostische und formative Assessments bereitstellt (www.ilias.de)
  • SEB Safe Exam Browser: Unterstützung des sicheren Durchführens summativer Prüfungen (www.safeexambrowser.org)
  • Moodle – Quizmodule: Prüfungsmodul des Lernmanagementsystem Moodle, vorwiegend diagnostische und formative Prüfungen (www.moodle.org)
Vorbereitung Durchführung Nachbereitung
Fragenkataloge erstellen, reviewen und auf Server bereitstellen Systembetrieb sicherstellen Automatische beziehungsweise manuelle Korrekturen koordinieren und durchführen
Teilnehmerlisten erzeugen Anwesenheit/Identität der Teilnehmer/innen prüfen Rückmeldung an Teilnehmer/innen geben
Raum- und Zeitressourcen koordinieren Rechner- und Prüfungszugang koodinieren Notenlisten generieren und an das Prüfungsamt übermitteln
Teilnehmer- und Organisationsdaten in Prüfungssystem importieren Organisatorische Fragen klären Einsicht- und Einspruchnahme koordinieren
Teilnehmende mit dem Prüfungssystem vertraut machen Manipulation und Täuschung verhindern Prüfungs- bzw. Fragenkorrektur nach Einspruchsverfahren Archivierung sichern
Tab. 2: Organisatorische Prozesse in computerunterstützten Klausuren
Neben der Akzeptanz durch Prüfende und zu Prüfende ist die Akzeptanz durch das Prüfungsamt maßgeblicher Faktor bei der Initialisierung eines E-Assessment-Systems.
Die computerunterstützte Prüfungsorganisation birgt ferner vielfältige technische Herausforderungen: Die technische Zuverlässigkeit von Prüfungssystemen zählt zu den zentralen Bedingungen für die Akzeptanz der neuen Prüfungsformen, weshalb die Entwicklung spezieller Sicherheitskonzepte erforderlich ist (Wannemacher, 2007). Der Ausfall eines Prüfungsrechners oder des Gesamtsystems darf nicht dazu führen, dass ein Prüfungsteilnehmer oder eine Prüfungsteilnehmerin seine/ihre Prüfung nicht zu Ende führen kann (Reepmeyer, 2008). Dem Problem technischer Ausfälle wird bei modernen Prüfungssystemen durch Maßnahmen, wie regelmäßige Backups bzw. Replikationen der Aktionen der Prüfungsteilnehmer/innen und die Möglichkeit zur Prüfungsfortsetzung an einer Ersatzstation, entgegengewirkt. Um Manipulationen vorzubeugen, sind eine Einschränkung der Netzwerkfunktionalität und die Abkopplung des Prüfungssystems vom Internet ratsam. Der Zugriff auf (unerlaubte) Fremdanwendungen sollte gesperrt und ein Datenaustausch zwischen Rechnern verhindert werden (Reepmeyer, 2008; Wannemacher, 2007). Auch kann durch individuelle Aufgaben beziehungsweise eine variierende Anordnung der Aufgaben einer Manipulation des Prüfungsergebnisses vorgebeugt werden. Alle diese Vorgänge sind in der jeweiligen Prüfungsordnung detailliert festzulegen, damit E-Prüfungen als rechtssichere Prüfungsform zulässig sind (Horn et al., 2013).
Um die Lernenden an die neue digitale Organisationsform der Klausuren und neue Frageformate zu gewöhnen, bieten sich Trainingsphasen im Vorfeld der eigentlichen Prüfungen an, in denen der Prüfungsablauf erprobt werden kann (Wannemacher, 2007).
Der konkrete organisatorische Ablauf computerunterstützter Prüfungen kann stark variieren. Tabelle 2 zeigt mögliche organisatorische Prozesse dieser Prüfungsform (Gruttmann, 2010).
Geben Sie jeweils Beispiele aus Ihrem Umfeld für die vier Kategorien, in die ein Assessment-System aus technischer Sicht eingeordnet werden kann.
TECHNISCHE KLASSIFIZIERUNG Korrekturunterstützung
manuell automatisch
Internetanbindung online Web-Based 
Assisted 
Assessment (WAA) Web-Based Assessment (WBA)
  stand-alone Computer-Assisted Assessment (CAA) Computer-Based 
Assessment 
(CBA)
Tab. 3: Technische Klassifizierung der E- Assessment-Systeme
Es wird deutlich, dass auch computerunterstützte Klausuren mit einem erheblichen organisatorischen Aufwand verbunden sind. Sowohl im Vorfeld einer Prüfung, als auch während und nach der Prüfung, sind diverse Arbeiten zu erledigen, um einen reibungslosen Ablauf der Prüfungen unter rechtssicheren Bedingungen zu gewährleisten. Computerunterstützte Klausuren eignen sich aufgrund dieser Aufwände in besonderem Maß zur Prüfung großer Gruppen. Insbesonders bei regelmäßig wiederkehrenden Prüfungen rentieren sich die aufwendige Ausarbeitung einer umfassenden Aufgabendatenbank und die mitunter kostenintensive Infrastruktur.