Didaktische Anregungen und Tipps

• Kernanliegen
  • Lernziele und Constructive Alignment
  • Lernf?rderlichkeit und Validit?t
  • Fairness und Transparenz
  • Kompetenzorientierung
• Aufgabengestaltung
  • Verst?ndnis statt Wissen pr¨¹fen
  • Wissen in Anwendung pr¨¹fen
  • Tiefes Verst?ndnis mithilfe neuer Lernressourcen pr¨¹fen:
  • Ressourcenreich pr¨¹fen
  • Kollaborativ pr¨¹fen und/oder Peer-Feedback
  • Kombinierte Leistungskontrollen
  • Aufgabentypen f¨¹r Pr¨¹fungen in Moodle
    • Freitext
    • Multiple Choice
    • Weitere (teil)automatisch korrigierbare Aufgabenformate in Moodle
• Pr¨¹fungsformate
  • Pr¨¹fungen mit Drittapplikationen
  • Open-Book Pr¨¹fungen
• Weitere Materialien
   

Kernanliegen

Lernziele und Constructive Alignment

Leistungskontrollen sollen eine ?berpr¨¹fung der in den Lernzielen festgehaltenen Kompetenzen erm?glichen. Sind Sie sich in der Gestaltung Ihrer Leistungskontrolle unsicher, lohnt es sich, sich priorit?r an den Lernzielen zu orientieren: Inwiefern erm?glicht die gew?hlte Methode eine valide Einsch?tzung des Erreichens der gew¨¹nschten Lernziele? Neben Alignment mit den Lernzielen ist auch das Alignment der Leistungskontrolle mit den Lernaktivit?ten der Lerneinheit wichtig (Constructive Alignment).

Lernf?rderlichkeit und Validit?t

Leistungskontrollen (und Pr¨¹fungen) sollen zwei Hauptanliegen gew?hrleisten. Erstens, sie sollen lernf?rderlich sein; das heisst, eine Leistungskontrolle soll so gestaltet sein, dass eine optimale Vorbereitung auf sie sowie die Arbeit w?hrend der Leistungskontrolle selbst zugleich auch zu einem optimalen Erwerb der eigentlichen Lernziele f¨¹hrt. Zweitens, sie sollen valide sein, das heisst das Erreichen der Lernziele auf geeignete Weise pr¨¹fen. Eine gute didaktische Gestaltung von Leistungskontrollen verbessert h?ufig sowohl Validit?t als auch Lernf?rderlichkeit. Dennoch m¨¹ssen meist auch Kompromisse zwischen diesen beiden Kernanliegen gefunden werden. Dabei lohnt es sich, die Lernf?rderlichkeit priorit?r zu behandeln; es sei denn, die Leistungskontrolle hat eine wichtige Selektions- oder Zertifizierungsfunktion zu erf¨¹llen (wie z.B. in Basispr¨¹fungen).

Fairness und Transparenz

Fairness und Gleichbehandlung sind ein wichtiges Grundprinzip in Leistungskontrollen. Durch ihre Selektionsfunktion ist es die Aufgabe von Leistungskontrollen, zwischen Studierenden, welche die Lernziele in unterschiedlichem Ausmass erreicht haben, zu unterscheiden. Andere Diskriminierungen sind nicht erw¨¹nscht. Gute Validit?t und Lernf?rderlichkeit sind Grundvoraussetzungen f¨¹r eine faire Pr¨¹fung. Dar¨¹ber hinaus muss den Studierenden transparent und klar verst?ndlich kommuniziert werden, was von Ihnen in der Pr¨¹fung erwartet wird und was sie in der Pr¨¹fung erwartet. Die Bewertungskriterien m¨¹ssen klar und f¨¹r alle Studierenden identisch sein. 

Kompetenzorientierung

Kompetenz wird, nach Weinert (2001, S.27f) definiert als "die bei Individuen verf¨¹gbaren oder durch sie erlernten kognitiven F?higkeiten und Fertigkeiten, um bestimmte Probleme zu l?sen, sowie die damit verbundenen [...] Bereitschaften und F?higkeiten, um die Probleml?sungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu k?nnen". Ein kompetenzorientiertes Pr¨¹fen bedingt deshalb einen Fokus auf die erfolgreiche Anwendung der in den Lernzielen vorgegebenen Kompetenzen in unterschiedlichem Grade neuartigen Problemstellungen sowie in m?glichst authentischen fachlichen Arbeitssituationen.

Aufgabengestaltung

Verst?ndnis statt Wissen pr¨¹fen

Sogenannte 'W'-Fragen (wie, weshalb, warum, wof¨¹r, womit etc.) sind ein einfacher und h?ufig zielf¨¹hrender Weg, konvergente Wissensfragen in offenere Aufgabenstellungen umzuformulieren. Solche Aufgaben bedingen neben Faktenwissen auch, dass dieses Wissen verstanden wird; sie sind deshalb durch blosses Auswendiglernen oder Nachschlagen m?glicher Antworten nur schwer zu l?sen.

Wissen in Anwendung pr¨¹fen

Wissen, welches wir zwar korrekt wiedergeben, aber nicht in konkreten und neuen Problemstellungen zur Anwendung bringen k?nnen ist inert. Eine gute M?glichkeit, Wissen in Anwendung zu pr¨¹fen stellen Fallstudien und Fallbeispiele sowie Projekte mit konkreten Problem- bzw. Aufgabenstellungen dar. Wissen, welches wir zur Anwendung bringen (m¨¹ssen), wird viel tiefer verarbeitet und f?rdert langanhaltendes und transferierbares Lernen. Umgekehrt erm?glichen Leistungskontrollen, die auf Arbeiten basieren, die das zur Anwendung bringen von Wissen voraussetzen, eine Einsch?tzung, inwiefern sich Studierende tiefes, transferierbares Wissen erarbeitet haben. 

Tiefes Verst?ndnis mithilfe neuer Lernressourcen pr¨¹fen

Tiefes Verst?ndnis und transferierbares Lernen kann man auch als 'Vorbereitung f¨¹r zuk¨¹nftiges Lernen' ("Preparation for Future Learning", PFL) begreifen. Ein Schachmeister wird auch eine v?llig neuartige Spielstrategie schneller lernen und tiefer verstehen als ein Novize. Dies kann man sich in Leistungskontrollen zunutze machen: Studierende erhalten als Teil einer Aufgabenstellung Lernressourcen (z.B. wissenschaftliche Fachartikel, eine neue stoffnahe statistische Methode etc.). Dabei ist wichtig, dass die Studierenden die Aufgabe mithilfe des bisher Gelernten allein nicht l?sen k?nnen, sondern sie m¨¹ssen zur L?sung der Aufgabe die Lernressource erfolgreich nutzen und von ihr lernen k?nnen.

Ressourcenreich pr¨¹fen

Statt Lernressourcen kann man Studierenden auch Arbeitsressourcen zur Verf¨¹gung stellen. Dies kann ein zu bearbeitender (z.B. historischer) Text, fachspezifische Software (z.B. Programmierumgebung), ein Datensatz, eine akademische Datenbank usw. sein. In den meisten Fachdisziplinen wird das Anwenden von Wissen ¨¹ber die Verwendung fachspezifischer Ressourcen und Werkzeuge vermittelt (z.B: Programmieren, Literaturrecherche, Design, Laborarbeit). Das erfolgreiche Anwenden von Wissen durch die Koordination mit solchen fachspezifischen Ressourcen setzt tiefes, internalisiertes und meist auch transferierbares (Fach)Wissen voraus.

Kollaborativ pr¨¹fen und/oder Peer-Feedback

Eine M?glichkeit, um grosse Studierendengruppen mithilfe von offenen Aufgaben zu pr¨¹fen, bieten Gruppenarbeiten (z.B. zweier bis f¨¹nfer Gruppen). Dies kann die Zunahme der Korrekturarbeit im Rahmen halten - insbesondere wenn keine Einzelnoten, sondern pass/fail oder Gruppennoten vergeben werden. ?hnliche ?berlegungen gelten auch f¨¹r den Einsatz von Peer-Feedback und Peer-Review. In einem ersten Schritt bewerten die Studierenden die Arbeiten ihrer Kommilitonen und geben Feedback. Die Examinatoren haben anschliessend die M?glichkeit, Feedback und Bewertung abzusegnen und zu ¨¹bernehmen, zu erg?nzen oder zu korrigieren. Die Moodle-Aktivit?t externe SeiteGegenseitige Beurteilungcall_made unterst¨¹tzt den gesamten Prozess f¨¹r Aufgaben mit Peer Feedback. Ein grosser Vorteil von kollaborativem Pr¨¹fen sowie von Peer-Feedback sind ihre ausgepr?gte Lernf?rderlichkeit.

Kombinierte Leistungskontrollen

Durch Kombination verschiedener (alternativer) Formen von Leistungskontrollen k?nnen Schw?chen einzelner Formate abgemildert werden. So kann es z.B. Sinn machen, eine Gruppenarbeit durch m¨¹ndliche Kurzpr¨¹fungen zu erg?nzen, um individuelle Noten festlegen zu k?nnen

Aufgabentypen f¨¹r Pr¨¹fungen in Moodle

Freitext

Dieser Fragetyp erlaubt es Antworten frei und selbstst?ndig zu formulieren. Da die Studierenden am Computer ihre Antworten einfach redigieren und deshalb pr?gnanter formulieren k?nnen, sind falsche oder schlechte Antworten h?ufig einfacher als solche zu identifizieren. Gleichzeitig bieten Freitextaufgaben am Computer den Vorteil leserlicher Texte, was die Korrekturzeit im Vergleich zu Papierpr¨¹fungen um bis zu 50% reduzieren kann. Zudem berichten zahlreiche Examinatoren, dass die Antworten am Computer umfangreicher und inhaltlich besser w¨¹rden. Das Freitextformat eignet sich gut f¨¹r divergente Aufgaben mit einer Vielzahl denkbarer L?sungsm?glichkeiten, wenig strukturierte Probleme oder qualitative Fragestellungen. Reine Wissensfragen hingegen passen in der Regel besser zu geschlossenen (z.B. Multiple Choice) oder halb-offenen (z.B. Kurzantwort) Aufgabenformaten.

Der Freitextfragetyp wird ausserdem eingesetzt, wenn Dateien w?hrend einer Pr¨¹fung hochgeladen werden m¨¹ssen. Das wird bei Pr¨¹fungen mit Drittapplikationen ben?tigt, wenn mithilfe einer Software Dateien erstellt werden, die zur Bewertung eingereicht werden m¨¹ssen.

Multiple Choice

Multiple Choice Aufgaben erm?glichen ein effizientes Pr¨¹fen konvergenter Fragestellungen. Dazu w?hlen Studierende zu einer Fragestellung aus einer Auswahl vorgegebener Antwortm?glichkeiten die passenden. An der ETH gibt es hierf¨¹r drei Fragtypen, die sich durch die Anzahl der Antwortm?glichkeiten bzw. der m?glichen Anzahl der korrekten Antworten unterscheiden:

• SC(ETH): Wie in der Bezeichnung "Single Choice" zum Ausdruck kommt, muss bei diesem Fragetyp genau eine der Antwortm?glichkeiten als richtig ausgew?hlt werden. Es wird immer empfohlen, nach der "besten" Antwort und nicht nach der "einzig richtigen" Antwort zu fragen. Das hei?t, dass nicht jede Option f¨¹r sich genommen richtig oder falsch sein muss, sondern dass eine der Optionen eindeutig die beste Antwort sein muss. Dies erleichtert die Entwicklung von differenzierteren Fragen, bei denen die Studierenden nicht nur auswendig gelerntes Faktenwissen, sondern auch ein tieferes Verst?ndnis von Konzepten unter Beweis stellen m¨¹ssen.
  Wenn nicht nach der besten Antwort, sondern nach der einzig richtigen Antwort gefragt wird und jede der Optionen f¨¹r sich genommen strikt richtig oder falsch ist, dann ist das Single-Choice-Format nicht zu empfehlen, da die Sch¨¹lerinnen und Sch¨¹ler die Optionen durch ein Ausschlussverfahren als richtig (oder falsch) identifizieren k?nnten. Stattdessen wird die Verwendung des MTF- oder Kprime-Formats empfohlen, wenn jede Option f¨¹r sich genommen strikt richtig oder falsch ist.
  

• MTF(ETH): Beim ¡®Multiple True-False¡¯ Fragetypen m¨¹ssen mehrere Antwortoptionen je als entweder richtig oder falsch bewertet werden (oder eine andere dichotome Kategorie, z. B. blau/rot, S?ugetier/Vogel usw.). Die Anzahl der Antwortoptionen ist dabei nicht limitiert. Um eine ?bersichtlichkeit zu gew?hrleisten, ist es jedoch zu empfehlen nur so viele Antwortoptionen zu benutzen, die auf einer Seite angezeigt werden k?nnen (ohne dass ein Scrollen notwendig ist). Dieser Fragetyp wird eingesetzt, wenn bei einer Fragestellung mehrere unabh?ngige Aspekte ber¨¹cksichtigt werden m¨¹ssen.
• Kprim: Der ¡®Kprim¡¯ Fragetyp ist ein Spezialfall des MTF (s.o.) Fragetypen. Bei diesem Fragtypen gibt es immer genau vier Antwortm?glichkeiten. Ein weiterer Unterschied zu MTF(ETH) Fragen sind die Bewertungsmethoden f¨¹r diesen Fragetypen. Standardm?ssig wird die Bewertung ?Kprim¡° gesetzt. Dabei erh?lt man die volle Punktzahl, wenn alle Antworten richtig sind, die halbe Punktzahl bei drei korrekten Anworten und ansonsten null Punkte.

Weitere (teil)automatisch korrigierbare Aufgabenformate in Moodle

• Kurzantwort: Dieser Fragetyp erm?glicht es kurze Textantworten einzugeben, die automatisch bewertet werden (Welcher Fluss fliesst durch Z¨¹rich? ¡®Limmat¡¯). Es ist jedoch Vorsicht geboten, da durch kleine Abweichungen von der Musterl?sung auch Antworten als falsch bewertet werden, die inhaltlich korrekt w?ren (z.B. ¡®Limatt¡¯). Aus diesem Grund m¨¹ssen alle Antworten zu Kurzantwortfragen, welche Moodle als falsch bewertet hat, manuell nachkontrolliert und gegebenenfalls neu bewertet werden. Es ist ausserdem zu empfehlen die Antwort so kurz wie m?glich zu halten, um m?glichen Fehlern vorzubeugen.

• Drag-and-drop Fragen:
  • Drag-and-drop Zuordnung: Beim Fragetyp "Drag-and-drop Zuordnung" k?nnen Begriffe oder Bilder einer ersten Liste per drag-and-drop zu Begriffen einer zweiten Liste zugeordnet werden. Es k?nnen mehr Antwortm?glichkeiten als tats?chlich ben?tigte Antworten definiert werden.
  • Drag-and-drop auf Text: Mit diesem Fragetypen k?nnen fehlende W?rter in einem L¨¹ckentext erg?nzt werden. Hierbei ist es m?glich mehr Antworten als tats?chlich vorhandene L¨¹cken zu definieren.
  • Drag-and-drop auf Bild: Dieser Fragetyp erm?glicht das Positionieren von Text oder Bildern auf vordefinierten Stellen in
    einem Bild. Dies eignet sich z.B. gut f¨¹r das Beschriften von Modellen. Es k?nnen mehr Antwortm?glichkeiten als Dropzonen im Bild definiert werden.

• L¨¹ckentext (Cloze): L¨¹ckentextfragen erlauben es, dass innerhalb einer Frage mehrere Fragetypen kombiniert zum Einsatz kommen (Kurzantwort, numerische Frage und Multiple Choice). Zur Erstellung einer Clozefrage, muss man der vorgegebenen externe SeiteSyntaxcall_made folgen. Eine Altenative stellt der Editor dar, der einem die Erstellung erleichtert. Da die M?glichkeiten der Single-Choice/ Multiple Choice Fragen in diesem Fragetypen limitiert sind, empfehlen wir prim?r die Fragetypen SC(ETH), MTF(ETH) und Kprim einzusetzen, wenn eine Multiple Choice Frage eingesetzt werden soll.

Pr¨¹fungsformate

Pr¨¹fungen mit Drittapplikationen (On 中国足球彩票 Online-Pr¨¹fung)

On 中国足球彩票 Online-Pr¨¹fungen an der ETH finden in einer abgesicherten Umgebung z.B. unter Einsatz des Safe Exam Browsers (SEB) statt. SEB besteht aus einer Browser- und einer Kioskkomponente. Diese sichert den Rechner w?hrend der Pr¨¹fung in einem sogenannten ?Kioskmodus¡° ab. In diesem Modus ist der Zugriff auf unerw¨¹nschte Systemfunktionen, Programme, Webseiten (ausser Moodle) und weitere Ressourcen unterbunden. Ist ein Zugriff auf bestimmte elektronische Ressourcen und Programme w?hrend der Pr¨¹fung explizit erw¨¹nscht (z.B. Software, Files, Webseiten), kommt ein fortgeschrittenes Setup mit einer Kombination aus Safe Exam Browser, virtueller Desktop Infrastruktur (?VDI¡°) und Moodle zum Einsatz, in welchem die erw¨¹nschten elektronischen Ressourcen gezielt freigegeben werden. Auf diese Weise k?nnen kompetenzorientierte Pr¨¹fungen mit Software (z.B. Jupyter Notebook, R-Studio) sowie Open-Book Pr¨¹fungen angeboten werden, deren Aufgaben sich eng an der jeweiligen fachlichen Praxis orientieren. Das Setup wird zu Beginn des Semesters festgelegt und den Studierenden mitgeteilt, damit sie sich mit der eingesetzten Software vertraut machen, bzw. auf das Pr¨¹fungsformat ?open-book¡° vorbereiten k?nnen.

Open-Book Pr¨¹fungen

In Open-Book Pr¨¹fungen ist die Verwendung von bspw. (handschriftlichen) Notizen, Vorlesungsunterlagen, fachlichen Textb¨¹chern, ?bungsserien aus dem Semester oder Online-Datenbanken explizit erlaubt. Da Notizen h?ufig digital abgespeichtert werden, k?nnen die Notizen bei einer On 中国足球彩票 Online-Pr¨¹fung auch in digitaler Form verf¨¹gbar gemacht werden. Open-Book Pr¨¹fungen haben an der ETH eine grosse Tradition: Bei circa jeder zweiten schriftlichen Pr¨¹fung an der ETH handelt es ich um eine Variante einer Open-Book Pr¨¹fung. 

Das Open-Book Format erm?glicht deutlich tiefergreifendere und anspruchsvollere Fragestellungen in einer Pr¨¹fung zu stellen. Beinhalten sie umfangreiche Informationsressourcen, welche den Studierenden noch nicht oder nur teilweise bekannt sind und welche zur erfolgreichen Bearbeitung von Aufgaben beigezogen werden m¨¹ssen, sind sie zudem geeignet, um Informationskompetenz und kritisches Denken im fachlichen Kontext zu pr¨¹fen.

F¨¹r die erfolgreiche Vorbereitung auf eine Open-Book Pr¨¹fung ist es deshalb notwendig die Inhalte verstehen, anwenden und kritisch hinterfragen zu k?nnen. Damit f?rdern Open-Book Pr¨¹fungen auch ein tiefergreifendes Lernen w?hrend der Pr¨¹fungsvorbereitung anstelle blinden Memorisierens unhinterfragten Faktenwissens. Die Komplexit?t von Open-Book Pr¨¹fungen ist dadurch deutlich erh?ht und es ist zu beachten, dass mehr Zeit zur Beantwortung der Fragen gew?hrt werden muss. Um Studierende optimal auf eine Open-Book Pr¨¹fung vorzubereiten, ist es wichtig die Studierenden fr¨¹hzeitig ¨¹ber die Pr¨¹fungsform zu informieren und in Lernaktivit?ten w?hrend des Semesters an sie heranzuf¨¹hren.

Weitere Materialien

• Tipps zur Pr¨¹fungsentwicklung
• Leitfaden f¨¹r das Planen, Durchf¨¹hren und Auswerten von Pr¨¹fungen an der ETHZ
• Leitfaden zur Notengebung bei schriftlichen Pr¨¹fungen
• externe Seite"Fifty tips for replacements for time-constrained, invigilated on-site exams" (Brown & Sambell)call_made
• externe Seite"Academic integrity, assessment security and digital assessment" (CRADLE)call_made