Am 09. und 10.11.2023 fand an der FH Dortmund ein Treffen der SIG E-Assessment statt. Auch wenn einige Krankheitsfälle für Lücken in der Runde sorgten, konnten die Teilnehmenden beide Tage für einen konstruktiven Austausch nutzen.

Überarbeitung der Fragenerstellung

Nach einer kurzen Begrüßung und Vorstellungsrunde ging es direkt zum Thema Fragenrevision. Dieses Projekt zählt zu den Großprojekten für die ILIAS Version 10 und hat als übergeordnetes Ziel, den Workflow zur Erstellung von Fragen im ILIAS-Test zu verbessern und Standards zu etablieren. Außerdem sollen alte UI-Komponenten (Elemente der Benutzeroberfläche) ausgemustert werden. Es soll dann geprüft werden, welche neuen Komponenten geeignet sind. Denis Strassner (Leiter der SIG E-Assessment) und Stephan Kergomard (kergomard – software for meaningful learning) stellten den Teilnehmenden die vorgesehene Vorgehensweise vor und beantworteten zahlreiche offene Fragen.

Ferdinand Engländer (CaT Concepts and Training GmbH) präsentierte ein von der Hochschule Bremen beauftragtes Paper. Es zeigt die Chancen der Überarbeitung der Fragen-Erstellung auf, indem es den aktuellen Zustand des Tests in ILIAS mit anderen Quiz-Tools vergleicht. Auch die Lehrenden-Umfrage von ILIAS.nrw (siehe unten) ist Bestandteil des Bremer Papers:

Wie für Open Source Software üblich, hängt der Erfolg dieses großen Projekts von der Beteiligung und Unterstützung der Community ab. Während des Treffens der SIG E-Assessment fanden sich bereits einige Unterstützer*innen und auch das Teilprojekt E-Assessment von ILIAS.nrw wird die eigenen Kompetenzen einbringen.

Durchführung von E-Klausuren

Anschließend stellten die Kolleginnen Stefanie Gerl und Nadja Pfattheicher von der Friedrich-Alexander-Universität Erlangen-Nürnberg das eigene Konzept zur Durchführung von Digitalen Prüfungen vor und teilten ihre Erfahrungen mit den Teilnehmenden der SIG.

An der FAU werden Digitale Prüfungen sowohl als Fernprüfung als auch als Präsenzprüfung angeboten. Vor Ort stehen in einem begrenzten Zeitraum bis zu 400 Chromebooks zur Verfügung, um auf Basis von Tests in ILIAS Prüfungen durchführen zu können. Die Prozesse sind dabei durch lokale Anpassungen in ILIAS und Eigenentwicklungen teilautomatisiert.

Im zweiten Teil dieses Slots wurden in Kleingruppen die Herausforderungen und dazugehörigen Lösungsansätze bei der Vorbereitung, Durchführung und Nachbereitung von Digitalen Prüfungen gesammelt und zum Schluss im Plenum vorgestellt. Dabei entstand ein sehr konstruktiver Austausch zwischen den Teilnehmenden, die die verschiedenen Lösungsansätze rege diskutierten. Die Ergebnisse werden nachbereitet und innerhalb der SIG zur Verfügung gestellt.

Das Teilprojekt E-Assessment durfte sich am Freitagvormittag in einem eigenen Slot vorstellen und begann mit einem spannenden Quiz zum Warmwerden, welches allerlei Fragen zum Test in ILIAS enthielt – wissen Sie z.B. wie viele Fragetypen es in ILIAS gibt oder wann die Autosave-Funktion eingeführt wurde?*

Nachdem kurz die Ergebnisse der Lehrenden-Umfrage des Teilprojekts angeschnitten wurden, lag der Fokus auf den daraus abgeleiteten Maßnahmen. Nun gilt es nämlich, Informations- und Unterstützungsangebote auszubauen und auf die konkreten Probleme einzugehen, die die Lehrenden in der Umfrage genannt haben. So werden zu den verschiedenen Themen Informationsmaterialien erarbeitet, die die Hochschulen dann für sich verwenden und bei Bedarf anpassen können. Alle Ergebnisse werden in der Kategorie des Teilprojekts auf ilias.nrw veröffentlicht.

Als weiteren Beitrag zur Verbesserung des Test-Objekts in ILIAS hat das Teilprojekt E-Assessment alle vorhandenen Fragetypen analysiert und die Antwortoptionen sowie die Punkteingabe für jeden Fragetyp dokumentiert. Diese Daten helfen nun, die Eingabe von Punkten und Antwortmöglichkeiten in allen Fragetypen zu vereinheitlichen, und können gleichzeitig als Standard für zukünftige Fragetypen dienen.

Darüber hinaus werden die Daten auch dem eingangs erwähnten Großprojekt Überarbeitung der Fragenerstellung zugutekommen und hier die Analyse der Ist-Situation unterstützen.

Schließlich wurden in einem Workshop positive und negative Aspekte sowie Verbesserungsvorschläge zu vier Themen im Test gesammelt: Einstellungen, Fragenpools, Durchführung und Ergebnisse/Archivierung. Die Teilnehmenden diskutierten verschiedene Eindrücke und Ideen und es kristallisierten sich einige als sinnvoll erachtete Verbesserungen, wie z.B. die Überarbeitung der Lebenszyklus-Angabe zu jeder Frage oder der Fragen-Beschreibung, heraus. Es stellte sich zudem heraus, dass einige als negativ eingestufte Punkte bereits für die Weiterentwicklung eingeplant sind. Die Ergebnisse des Workshops können ebenfalls in das Großprojekt zur Überarbeitung der Fragenerstellung einfließen und werden im Nachgang des Treffens zur Verfügung gestellt.

Zum Abschluss präsentierte Denis Strassner die aktuellen Entwicklungen sowie die wichtigsten Änderungen beim ILIAS-Test im Hinblick auf ILIAS 9. Hervorzuheben sind hier der Wegfall einiger ungenutzter Optionen im Bereich der Einstellungen und die Überarbeitung der Detaillierten Testergebnisse, die zukünftig übersichtlicher und benutzerfreundlicher gestaltet sind.

Nach zwei Tagen intensiven Austauschs ist das Teilprojekt E-Assessment überzeugt, dass die nächsten Monate sehr spannend für die Weiterentwicklung des Bereichs Test & Assessment werden. Wir sind höchst motiviert und freuen uns, die Rückmeldungen der Lehrenden in diese Arbeit integrieren zu können.

*Es gibt 15 Fragetypen im ILIAS-Test und die Autosave-Funktion wurde 2012 mit ILIAS 4.3 eingeführt.

Headerbild von: ILIAS Kompetenzzentrum, image by storyset on Freepik
Fotos von: Lea Ganzek