Wir werfen erneut einen Blick in den Maschinenraum der ILIAS-Community und zeigen, was hinter den Kulissen passiert, bevor eine neue ILIAS-Version erscheint. Nach dem ersten Beitrag zum Upgrade für die HISinOne-Kursübertragung richtet sich der Fokus diesmal auf eine andere zentrale Säule der Qualitätssicherung: das Community-Testing.

Bevor eine neue große ILIAS-Version wie ILIAS 9 veröffentlicht wird – das Update steht an der FH Dortmund bald an – prüfen zahlreiche Freiwillige aus der ILIAS-Community jede Komponente der neuen Version auf Herz und Nieren. Sie klicken sich durch Menüs, testen Funktionen und melden Fehler. Ihr Einsatz sorgt dafür, dass die meisten Fehler bereits vor dem Release gefunden und behoben werden – ihr gemeinsames Ziel: Eine stabile, fehlerfreie und alltagstaugliche Version für alle. Was dafür alles nötig ist, haben wir im Gespräch mit dem ILIAS-Testmanager Fabian Kruse erfahren.

ILIAS ist groß. Sehr groß. Zahlreiche Komponenten – vom Lernmodul über den Test bis zum Portfolio oder Kalender – greifen ineinander und ermöglichen die vielfältigen Einsatzszenarien, die ILIAS als Lernmanagementsystem auszeichnen. Damit diese Komponenten zuverlässig funktionieren, braucht es Menschen, die sie im Detail kennen und prüfen.

Jeder gefundene Fehler ist dabei ein kleiner Erfolg. Denn jeder Bug, der in der Testphase entdeckt und behoben wird, erspart später hunderten Administrator*innen, Lehrenden und Lernenden Kopfzerbrechen. Das Community-Testing ist also nicht nur eine technische Aufgabe, sondern ein echter Beitrag zur Qualitätssicherung und Nachhaltigkeit von Open-Source-Software.

Sobald die Beta-Version einer neuen ILIAS-Version erscheint, wird sie auf einer offiziellen Testinstallation bereitgestellt – zum Beispiel für ILIAS 10 unter https://test10.ilias.de. Dort können alle Tester*innen direkt loslegen.

Die Tests selbst werden mit Hilfe der Plattform TestRail organisiert, auf die alle Tester*innen Zugriff erhalten. Dort sind Tausende von Testfällen hinterlegt, die genau beschreiben, was zu tun ist:

1. Ein Testfall wird geöffnet.

2. Die beschriebenen Schritte werden auf der Test-Installation ausgeführt.

3. Alles funktioniert wie erwartet? Dann wird der Fall als passed markiert.

4. Tritt ein Problem auf, wird er als failed eingetragen – und ein Bug-Report (Fehlerbericht) in Mantis, dem Bug-Tracker, angelegt.

Auf diese Weise entsteht ein eng verzahntes System aus Rückmeldung, Fehlerbehebung und Nachtest. Sobald ein Fehler behoben wurde, wird der Testfall erneut ausgeführt – bis alles reibungslos funktioniert.

Damit das alles klappt, braucht es klare Rollen – und engagierte Menschen, die sie ausfüllen. ILIAS ist modular aufgebaut – die einzelnen Werkzeuge, Objekte und Services in ILIAS werden dabei als Komponenten bezeichnet. Jede Komponente (wie die Übung oder der Test) hat eigene Authorities, Tester*innen und Testfall-Autor*innen:

• Code Authorities und andere Entwickler*innen sind für den Code einer Komponente verantwortlich und sorgen dafür, dass Bugs (Fehler) behoben werden und neue Features sauber integriert sind.

• Tester*innen sind häufig erfahrene Anwender*innen, die die Komponente aus der Praxis kennen. Sie wissen, worauf es im Alltag ankommt – und wo kleine Fehler große Folgen haben können.

• Autor*innen kümmern sich entweder als Authority dauerhaft um die Testfälle einer Komponente – oder sie helfen im Test Case Lab mit, im Wechsel die anderen Komponenten mit Testfällen zu versorgen. Sie formulieren aus, was genau geprüft wird, welche Vorbedingungen gelten und was das erwartete Ergebnis ist.

Gemeinsam sorgen alle dafür, dass jede Komponente gründlich geprüft und stabil veröffentlicht werden kann. Und genau dieses Zusammenspiel macht das Community-Testing so erfolgreich.

Damit das Testen von ILIAS reibungslos läuft, kommen vier zentrale Tools zum Einsatz:

• Test-Installation – Hier wird getestet: Jede neue Version bekommt ihre eigene Testinstanz, z.B. https://test10.ilias.de. Diese wird zu jeder vollen Stunde automatisch aktualisiert und bleibt so stets auf dem neuesten Stand der Entwicklung. Die Test-Installation steht nicht nur allen Tester*innen offen, sondern auch den Entwickler*innen – so können neue Funktionen frühzeitig ausprobiert, getestet und weiterentwickelt werden.

• TestRail – Hier wird dokumentiert: TestRail ist die Management-Software zur Verwaltung aller Testfälle und Testergebnisse und das Herzstück des Testmanagements. Hier liegen die Testfälle, zu denen die Testergebnisse transparent dokumentiert werden.

• Mantis – Hier wird gemeldet: Mantis ist die zentrale Plattform für alle Fehlerberichte: https://mantis.ilias.de. Funktioniert etwas nicht, wie es soll, kann hier geprüft werden, ob das Problem bereits an anderer Stelle aufgetreten ist und an die Community gemeldet wurde.

• Feature Wiki – Hier wird gesammelt: die Sammelstelle für alle neuen Features, inklusive der zugehörigen Testfälle: http://feature.ilias.de

Testmanager Fabian Kruse im Gespräch

All diese Tools, Rollen und Abläufe würden ins Leere laufen, gäbe es nicht eine zentrale Person im Community-Testing: den Testmanager.

Fabian Kruse koordiniert die Testphase, behält den Überblick über den Testfortschritt, unterstützt Tester*innen bei Fragen und sorgt dafür, dass Testfälle, Tools und Prozesse ineinandergreifen. Damit ist er die zentrale Schnittstelle zwischen der Community inklusive Authorities und der technischen Infrastruktur – und maßgeblich dafür verantwortlich, dass aus vielen einzelnen Tests eine erfolgreiche gemeinsame Testphase wird.

Aktuell sind es konstant 70 bis 80 aktive Tester*innen, die an jeder großen Version mitarbeiten.

„Ich teste selbst auch richtig gerne! Das macht mir total Spaß.“

Fabian Kruse

Der ganze Prozess ist sehr dynamisch: Tester*innen wechseln, neue kommen hinzu, andere fallen zeitweise aus. Das hat Vorteile – frischer Blick, neue Perspektiven – aber auch Nachteile für die Kontinuität. Viele Tester*innen stehen ab November bereit, können sich jedoch ihre Zeit neben der alltäglichen Arbeit irgendwann nicht mehr so flexibel einteilen. Deshalb stößt Fabian die Tests frühzeitig an: „Mittlerweile versuche ich, Testfälle möglichst früh zu testen, um den Entwickler*innen mehr Vorlaufzeit zu geben und früh in der Saison viel weggetestet zu bekommen.“

Was braucht es, um ILIAS zu testen? Vor allem Zeit, Neugier und gute Betreuung. Community-Testing lebt von ganz unterschiedlichen Menschen. Manche nutzen das Testen bewusst als Lern- und Einarbeitungsphase in ILIAS, etwa an Hochschulen oder bei Service Providern: „Es gibt Leute, die nutzen das Testen als ILIAS-Schulung“, sagt Fabian. Das funktioniere prima, wenn jemand Lust und Zeit habe, sich einzuarbeiten.

Gleichzeitig gibt es technisch anspruchsvolle Bereiche wie ECS (E-Learning Community Server) oder LTI (Learning Tool Interoperability, ein technischer Standard, der es ermöglicht, externe Lernwerkzeuge nahtlos in Lernmanagementsysteme einzubinden), die spezielles Systemverständnis erfordern: „Da musst du wissen, wie das System funktioniert – und manchmal mit mittelmäßigen Testfällen arbeiten.“ Denn der enge Zeitrahmen bleibt ein strukturelles Problem: Zwischen der Klärung des Funktionsumfangs und dem Start der Beta-Phase fehlt oft Zeit, um Testfälle gründlich zu überarbeiten.

Die Pflege der Testfälle ist eine Daueraufgabe – und oft unsichtbar. „Testfall-Autor*innen sind Mangelware. Das ist ein eher undankbarer Job, viel unstrukturierter als das Testen selbst“, so der Testmanager. Über das Test Case Lab versucht er, diese Arbeit auf mehrere Schultern zu verteilen – nach dem Vorbild der Online-Hilfe, die ebenfalls redaktionell im Team entsteht. Eine Balance von Vollständigkeit und Testbarkeit ist dabei eher Leitbild als erreichbares Ziel: „Es ist ein Wabern um ein Ideal herum.“

In über 10 Jahren TestRail-Nutzung ist das System stark gewachsen: von 1.475 Testfällen in 35 Testläufen zu ILIAS 5.0 auf über 5.100 Fälle in 91 Läufen für ILIAS 11.

Saisonarbeit für Qualität: Winterzeit ist Testzeit

Für Fabian ist das Testing der intensivste Teil des Jahres: „Ich nehme in der Testphase keinen Urlaub und versuche trotz Teilzeit, jeden Tag erreichbar zu sein.“ Er beschreibt sein Arbeitsjahr als Saison-Leben: In der heißen Phase bleibt kaum Luft, im Sommer werden Überstunden abgebaut.

Er betont noch: „Einen ganz wichtigen Job macht auch der Systemadministrator des ILIAS-Vereins – ich bin nur der Manager.“ Vor jeder Testphase braucht es einen enormen technischen Vorlauf.  Stets müssen mehrere Testplattformen, angebundene Systeme, Plugins und Server vorbereitet werden, wobei vieles naturgemäß nicht auf Anhieb funktioniert.

Besonders herausfordernd ist das Ende der Testphase – wenn große Problemfälle und hartnäckige offene Tests bleiben. Hier zeigt sich die Community regelmäßig von ihrer stärksten Seite: Kurz vor Schluss knöpfen sich erfahrene Tester*innen genau diese Fälle vor und „kärchern den Rest weg“.

Was Community-Testing ausmacht

„Community-Testing ist, wenn viele Community-Mitglieder dazu beitragen, das kommende Release so stabil wie möglich zu machen.“

Fabian Kruse

Für Fabian liegt der Reiz seiner Arbeit vor allem in der Schnittstelle zwischen Entwicklung und Anwendung – und im direkten Kontakt mit den Menschen dahinter. Trotz aller Komplexität bleibt die Motivation hoch: „Ich liebe es, im Open-Source-Ansatz zu arbeiten!“ Dabei lieben nicht alle das Testen – obwohl sie gut darin wären. Umso wichtiger ist der Beitrag derjenigen, die es gerne tun. Besonders betont er den Anteil der Hochschulen: Ihr Beitrag zum Testing sei „riesig“ – sie stemmen den größten Teil der Arbeit.

„Ich finde, es ist eine großartige Community-Leistung, dass jedes Jahr ein neues Major Release von ILIAS erscheint.“

Fabian Kruse

Erst wenn mindestens 98 % aller Testfälle als bestanden gelten, darf eine neue Version als stable veröffentlicht werden. Diese Marke ist nicht verhandelbar – und markiert jedes Mal einen besonderen Moment im Release-Zyklus der ILIAS-Community. Sie steht für viele Wochen gemeinsamer Arbeit, für unzählige geprüfte Funktionen und für das Zusammenspiel in einer engagierten Community.

Das Community-Testing macht sichtbar, was Open Source im Kern bedeutet: Qualität entsteht nicht zufällig, sondern durch strukturierte Zusammenarbeit – oft im Hintergrund, aber mit großer Wirkung für alle, die ILIAS täglich einsetzen!

Headerbild von: ILIAS Kompetenzzentrum, image by sentavio on Freepik, background image by starline on Freepik