ProForma
Während für typische Assessmentaufgaben bereits geeignete standardisierte Systeme zur Verfügung stehen, fehlt noch eine einheitliche Unterstützung für die automatisierte Auswertung von Programmieraufgaben. Angesichts des hohen Klausuraufkommens dieser Aufgabenform — an den antragstellenden Hochschulen belegen im Schnitt etwas mehr als 20 % der Studierenden mindestens eine Veranstaltung, in der Programmierkenntnisse vermittelt werden — besteht Handlungsbedarf.
Im Paket ProgFormAssess sollen zahlreiche Werkzeuge verbunden werden, deren Aufgabe es ist, die von Studierenden online eingesendeten Programme oder Code-Fragmente automatisch validierend, verifizierend und stilbewertend zu prüfen und das Feedback an Lehrende und Studierende auszugeben. Durch die Integration von Peer-Reviews, bei denen Studierende den Programmcode von Kommilitonen durchsehen und kommentieren können, kann die Qualität der abgegebenen Programme weiter gesteigert werden.
Derzeit existieren an den beteiligten Hochschulen mehrere Eigenentwicklungen, die oft selbst auf bereits vorhandene Teil-Komponenten aus anderen Bereichen zurückgreifen. Da jedes Werkzeug eigene Stärken und Schwächen aufweist, sollen Lehrenden in ProgFormAssess Alternativen bei der Werkzeugauswahl ermöglicht werden. Dazu sollen die Technologien der einzelnen Partner zu vielfältig einsetzbaren Komponenten erweitert und in einem hochschulübergreifenden System aggregiert bereitgestellt werden. Verwaltungsfunktionalitäten können dabei von etablierten Lernmanagementsystemen übernommen werden. Gleichzeitig sollen existierende Inhalte zu einem hochschulübergreifenden Ressourcenpool fusioniert werden. Dieser ist so auszubauen, dass formative Assessments für häufig gelehrte Veranstaltungen mit Programmierbezug in ausreichender Zahl zur Verfügung stehen. Ein technisches und organisatorisches Vorbild ist die weltweite LON-CAPA-Initiative, deren Technologie ebenfalls aus der Fusion mehrerer Systeme hervorging.
Die ProFormA-Gruppe des eCULT-Projekts beschäftigt sich mit automatisch bewerteten Programmieraufgaben sowohl aus software-technischer als auch didaktischer Sicht. Dabei steht “FormA” für formatives Assessment, d.h. für Rückmeldungen zu Übungsaufgaben, welche die Studierenden zeitnah erhalten. Dies ist im Unterschied zu summativem Assessment zu sehen, welches Rückmeldungen am Semesterende bietet, z.B. durch eine Klausur. Formatives Assessment bietet Studierenden die Möglichkeit, das Feedback für ihre Lernprozesse zu nutzen. Sofern formatives Assessment über eine Lernplattform erfolgt, bietet es auch Lehrenden Rückmeldungen, und zwar über den Lernfortschritt und mögliche Lernschwierigkeiten der Studierenden.
An der ProFormA-Gruppe sind verschiedene eCULT-interne und externe Standorte beteiligt (in alphabetischer Reihenfolge):
- TU Clausthal (entwickelt die GATE-Software)
- Universität Duisburg-Essen (eCULT-extern, entwickelt die JACK-Software)
- Hochschule Hannover (entwickelt Graja, Grappa, aSQLg, …)
- Universität Osnabrück (entwickelt VIPS und andere Aufgaben-Plugins für StudIP)
- Ostfalia Hochschule (hat den Praktomat in LON-CAPA eingebunden)
Da viele verschiedene Systeme zur Bewertung von Programmieraufgaben im Einsatz sind, wurde ein XML-Austauschformat für Programmieraufgaben entwickelt, welches in diesem Beitrag beschrieben wird. Die Workshopreihe ABP (Automatische Bewertung von Programmieraufgaben) bietet EntwicklerInnen, DidakterInnen und Lehrenden Möglichkeiten zum Austausch über dieses Thema (ABP13, ABP15).