Tipps zur Erstellung von MC-Fragen

Die folgenden Regeln können auf alle Fragen im Antwortwahlverfahren angewendet werden.

• Inhalt
• Formatierung
• Stil
• Fragestamm
• Antwortalternativen

Inhalt

• Erstellen Sie jede Frage auf der Grundlage eines spezifischen Lernziels und dass darin angestrebte Lernzielniveau, das diese Frage prüfen soll (siehe auch Lernzieltaxonomien).
• Wichtige Fragenelemente sind thematische Einordnung, Herleitung (idealerweise als Szenario), konkrete Frage bzw. Aufgabenstellung und min. 3 Antwortalternativen (korrekte Antwort + min 2. Distraktoren). Ggf. sollten Bewertungs- und Bedienungshinweise ergänzt werden (s.a. Fragenaufbau).
• Halten Sie die spezifischen Inhalte der Fragen unabhängig voneinander (außer bei Aufgabenclustern). Kontrollieren Sie, ob bei der aktuellen Auswahl Fragen Hinweise für die Beantwortung einer anderen Frage enthalten.

  Gefahr unbeabsichtigter Lösungshinweise innerhalb einer Fragenzusammenstellung (Bücking 2011)

  Frage 1: Welches der folgenden Verfahren eignet sich aus ökonomischer Sicht am besten für die Synthese von Ammoniak? Frage 2: ... ... Frage 15: Zur industriellen Ammoniaksynthese wird häufig das Haber-Bosch-Verfahren angewendet. Bringen Sie die gezeigten Produktionsschritte in die richtige Reihenfolge.

  Frage 15 gibt hier einen deutlichen Hinweis auf die korrekte Antwort in Aufgabe 1

• Vermeiden Sie übermäßig spezielle und übermäßig allgemeine Fragen. Sehr spezielle Fragen erhöhen den Schwierigkeitsgrad der Prüfung, selten die Validität.
• Verzichten Sie auf triviale Fragen als „Füllmasse“.
• Vermeiden Sie subjektive Formulierungen und Fragen auf der Grundlage von Meinungen („Welche der folgenden ... denken Sie ist ...?“ oder„Was würden sie in folgender Situation empfehlen?“)

  Nicht eindeutige Fragestellung durch vage Formulierung des Fragenstamms
  Nicht eindeutig (SQA 2007, übersetzt)	Bessere Umsetzung (Bücking 2011)
  Ein Computer läuft langsam. Was könnte dafür veranwortlich sein? Unzureichender Arbeitspeicher Überhitzung Geringe Festplattenkapazität Virus	Die Rechengeschwindigkeit eines Arbeitsplatzrechners veringert sich abrupt im laufenden Betrieb, ohne das die Konfiguration verändert wurde. Welcher der folgenden Faktoren stellt die wahrscheinlichste Ursache dar? Unzureichender Arbeitspeicher Überhitzung Geringe Festplattenkapazität Virus
  Die Fragestellung ist nicht präzise, alle Antworten könnten richtig sein.	Die Fragestellung wurde präzisiert und es wird nach der wahrscheinlichsten, nicht der einzig richtigen Antwort gefragt.

• Vermeiden sie absichtliche Fallen und Irreführungen, etwa durch fein nuancierte Formulierungen, in denen der Schlüssel zur richtigen Lösung versteckt ist.
• Lassen Sie die Fragen von Fachkollegen inhaltlich kontrollieren.

Formatierung

• Die Frage sollte bei einer Bildschirmauflösung von 1280*1024px (XGA) vollständig, also ohne Notwendigkeit des Scrollens, angezeigt werden. Es besteht sonst die Gefahr, dass Frageninhalte übersehen werden. Graphiken und längere Texte ggf. auf separaten Anlagenreitern platzieren.
• Unterschiedliche Formatierung von Fragestellung und Antworten zur besseren Unterscheidung
• Beachten Sie die Grundregeln von Typo und Layout für Webseiten, u.a.
  • Verwendung von Serifen-freien Schriften wie Arial oder Verdana, minimal 10pt
  • Artefaktarme, gut erkennbare Graphiken möglichst geringer Dateigröße im Format JPG

Stil

• Halten Sie das Vokabular und die Grammatik der Fragen so einfach wie möglich. Berücksichtigen Sie dabei die Sprachkenntnisse ihrer Teilnehmer (insb. bei Nicht-Muttersprachlern).
• Verzichten Sie auf überflüssige Informationen (z.B. Graphiken lediglich zur optischen Aufwertung, Institutslogo) und Redundanzen.
• Kontrollieren Sie die Grammatik, Interpunktion und Rechtschreibung der Fragen und Antworten.
• Halten Sie den Leseaufwand der Antworten so gering wie möglich. Damit wird vermieden, dass unbeabsichtigt Textverständnis und Lesegeschwindigkeit mitgeprüft werden (wichtig vor allem bei Nicht-Muttersprachlern).
• Verlagern Sie möglichst viele inhaltliche Elemente von den Antworten in die Frage.

  Reduktion der Antwortkomplexität durch Vermeidung redundanter Textelemente
  Original (SQA 2007, übersetzt)	Bessere Umsetzung (Bücking 2011)
  Was passiert, wenn der Druck einer bestimmten Gasmenge konstant gehalten und das Volumen vergrößert wird? Die Temperatur des Gases wird sinken Die Temperatur des Gases wird steigen Die Temperatur des Gases bleibt gleich.	Wie muss sich die Temperatur einer bestimmten Gasmenge verändern, wenn der Druck konstant gehalten und das Volumen vergrößert wird? Die Temperatur muss ... steigen. sinken. gleich bleiben.
  Die Wiederholung des Antworttextes ist unnötig.	Die Antworttexte wurden gekürzt und die Aufgabenstellung präzisiert. Erläuterung: Die Temparatur muss erhöht werden, um die Bedingung „konstanter Druck bei steigendem Volumen“ zu erfüllen. Eine Temperaturerhöhung „passiert“ unter üblichen Versuchsbedingungen nicht automatisch.

Fragestamm

• Formulieren Sie den Fragenstamm nach Möglichkeit so, das die Frage auch ohne Ansehen der darunter aufgeführten Antwortalternativen beantwortet werden könnte (cover-the-options-rule). Dies führt oft zu präziseren Fragestellungen.

  Berücksichtigung der „Cover the Options-Rule“ (Bücking 2011)
  Übliche Fragestellung	Bessere Umsetzung
  Welche Merkmale treffen jeweils auf Cephalopoden zu? Merkmal 1: Porifera, Cnidaria, Ctenophora, Plathelmintes, Aschelminthes, Mollusca, Annelida, Arthropoda, Tentaculata, Echinodermata, Chaetognatha, Chordata Merkmal 2: 50, 150, 350, 750, 950, 1500 rezente Arten Merkmal 3: Kiemen, Lungen, Atemhöhle Merkmal 4: Linsenaugen, Blasenaugen, Grubenaugen, Ocellen, Komplexaugen	Charakterisieren Sie die Cephalopoda. Ordnen Sie sie dazu dem korrekten Stamm zu, schätzen die Anzahl der rezent bekannten Arten und nennen das bei den meisten Arten vorhandene Atmungssystem sowie den häufigsten Augentyp. Stamm: Porifera, Cnidaria, Ctenophora, Plathelmintes, Aschelminthes, Mollusca, Annelida, Arthropoda, Tentaculata, Echinodermata, Chaetognatha, Chordata Anzahl rezenter Arten ca. : 50, 150, 350, 750, 950, 1500 Atmungsystem: Kiemen, Lungen, Atemhöhle Augentyp: Linsenaugen, Blasenaugen, Grubenaugen, Ocellen, Komplexaugen
  Die Frage ist ohne Kenntnis der Antwortalternativen nicht beantwortbar, die Merkmale werden ohne Zusammenhang präsentiert.	Die Frage könnte auch ohne Kenntnis der Antwortlisten beantwortet werden, die Teilfragen stehen in einem sinnvollen Zusammenhang (charakterisierende Merkmale).

• Stellen Sie sicher, dass die Frage eindeutig beantwortbar und klar verständlich ist.

  Nicht eindeutige Fragestellung
  Original (Case & Swanson 2002, übersetzt und modifiziert)	Bessere Umsetzung (Bücking 2011)
  Der Weg zum Herzen eines Mannes führt durch venöse Adern der Leiste arterielle Adern der Leiste die Ellenbeuge den Magen das Handgelenk	Sie haben die Aufgabe, bei einem 40-jährigen Mann eine Herzkathederuntersuchung durchzuführen. Welche Zugangsstellen in das Blutgefäßsystem können dazu genutzt werden? Leiste Ellenbeuge Magen Handgelenk Kniekehle
  Je nach Betrachtungsperspektive und Zusammenhang könnte auch D richtig sein.	Die Fragestellung wurde in einen Kontext gestellt und präzisiert. Die Antworten wurden homogener und kürzer gestaltet.

  
  Verweisen Sie bei Beurteilungsfragen ggf. auf den zugrunde liegenden Standard oder Autor.
• Vermeiden Sie vage Formulierungen wie „ist assoziert mit“, „ist wichtig für“, „gelegentlich“ oder „in der Regel“.
• Verzichten sie so weit möglich auf Negativfragen („Was trifft nicht zu“). Falls solche Auschlussfragen gestellt werden, stellen sie die Negation, z.B. durch Fettdruck, optisch klar heraus.

Antwortalternativen

• Verwenden Sie möglichst viele, aber ausschließlich plausible Antwortalternativen. Zu empfehlen ist 1 richtige Antwort (Key) und 2-4 Falschantworten (Distraktoren).

  Verwendung plausibler und gleich schwerer Distraktoren (Case & Swanson 2002, übersetzt)
  Unzureichende Umsetzung	Bessere Umsetzung
  Wer war der primäre Autor der amerikanischen Unabhängigkeitserklärung? Abraham Lincoln Thomas Jefferson Franklin Roosevelt König George II Katharina die Große	Wer war der primäre Autor der amerikanischen Unabhängigkeitserklärung? George Washington Thomas Jefferson Alexander Hamilton Benjamin Franklin James Madison
  Die Alternativen sind sehr unterschiedlich. Die Frage kann auch mit geringen Kentnissen korrekt beantwortet werden und hat einen geringen Schwierigkeitsgrad.	Alle Antworten sind für Teilnehmer mit geringen Kenntnissen gleich plausibel, der Schwierigkeitsgrad ist höher.

• Stellen Sie sicher, dass eine Antwortalternative nach aktuellem Stand eindeutig die richtige oder beste Antwort ist.

  Eindeutigkeit der korrekten Antwort (Case & Swanson 2002)
  Unzureichende Umsetzung	Besseres Beispiel
  True statements about cystic fibrosis (CF) include: The incidence of CF is 1:2000 Children with CF usually die in their teens. Males with CF are sterile. CF is an autosomal recessive disease.	Which of the following is/are X-linked recessive conditions? Hemophilia A (classic hemophilia) Cystic fibrosis Duchenne’s muscular dystrophy Tay-Sachs disease
  A, B und C sind nicht homogen und nicht eindeutig. Expertenmeinungen können abweichen oder die Antwort ist abhängig von, hier nicht aufgeführten, Rahmenbedingungen. Bsp.: Antwort A ist nur nur ein Schätzwert, der unter anderem davon abhängt, welches Land und welche ethnische Gruppe betrachtet wird.	Die Antworten sind homogen (alles Krankheitsbilder), die richtigen Antworten eindeutig.

• Bei skalierbaren Antworten (Werte, Zeitpunkte) ordnen sie diese in einer logischen Reihenfolge an (z.B. aufsteigende Zahlenwerte) und verwenden dabei ein einheitliches Format.

  Nicht eindeutige Fragestellung
  Negativbeispiel (Case & Swanson 2002)	Bessere Umsetzung (Bücking 2011)
  Following a second episode of infection, what is the likelihood that a woman is infertile? Less than 20% 20 to 30% Greater than 50% 90% 75%	Following a second episode of infection, what is the likelihood that a woman is infertile? 0 - 20% 20 - 30% 30 - 50% 50 - 75% 75 - 100%
  A, B und C sind Bereiche, D und E dagegen feste Werte. Da D und E in C enthalten sind, können sie intuitiv ausgeschlossen werden.	Aller Antworten sind Wertebereiche, kein Bereich kann intuitiv ausgeschlossen werden. Unbefriedigend ist nach wie vor, dass die Bereiche unterschiedlich groß sind. Tipp: Als alternatives Fragenformat bietet sich hier ein Eingabfeld an, bei dem überprüft wird, in welchen Wertebereich die Antwort fällt (z.B. bei Eingabe eines Wertes zwischen 20-30 volle Punktzahl, 10-20 oder 30-40 halbe Punktzahl, außerhalb dieser Bereiche 0 Punkte).

  In allen anderen Fällen empfiehlt sich eine Zufallsreihenfolge der Antworten (Schutz vor Mustererkennung und Abgucken).
  Studentenregel: Von vier Antworten ist Antwort c) meistens richtig.
• Die Antwortalternativen sollten voneinander unabhängig sein und sich nicht überlappen.
  Wenn es zwei gegensätzliche Antworten gibt, wähle eine der beiden und verwerfe alle Anderen.
  Die Antwort, die die in den Antworten am häufigsten auftauchenden Elemente enthält, ist richtig.

  Konvergenzstrategie als Weg zur mutmaßlich richtigen Lösung (Case & Swanson 2002)

  Local anesthetics are most effective in the anionic form, acting from inside the nerve membrane cationic form, acting from inside the nerve membrane cationic form, acting from outside the nerve membrane uncharged form, acting from inside the nerve membrane uncharged form, acting from outside the nerve membrane

  Anwendung der Konvergenz-Strategie: „anionic form“ wird nur einmal genannt → A ausschliessen Bei 3 von 5 Antworten wird eine Ladung genannt (anionic /cationic) → D und E auschließen B und C sind ein Gegensatzpaar, im Gesamtvergleich tritt „outsite“ seltener auf → C auschließen Als richtige Antwort bleibt B Erläuterung: Testautoren starten oft mit der korrekten Antwort und bilden für die Distraktoren Permutationen der korrekten Antwortelemente. Die richtige Antwort hat dann oft die meisten Elemente mit den übrigen Antworten gemein. Tipp: Statt Single Choice könnte für diese Frage auch ein Lückentext mit Auswahllisten eingesetzt werden, bei dem zwischen anionic/cationic/uncharged bzw. inside/outside gewählt werden muss.

  Vermeiden sie dennoch Distraktoren, die der richtigen Antwort sehr nahe kommen.
• Die Antwortalternativen sollten inhaltlich homogen, von gleicher Qualität und ungefähr gleich lang sein

  Lösungshinweis durch inhomogene Antwortalternativen (Case & Swanson 2002)

  Secondary gain is synonymous with malingering a frequent problem in obsessive-compulsive disorder a complication of a variety of illnesses and tends to prolong many of them never seen in organic brain damage

  Antwort C ist am wahrscheinlichsten, da sie die längste Antwort ist und als einzige zwei Aussagen enthält. Der richtigen Antwort wird häufig mehr Aufmerksamkeit und Mühe gewidmet als den Distraktoren, so dass sie sich von den Distraktoren abhebt und intuitiv erkannt werden kann. Alle Antwortalternativen sollten daher gleichartig sein und möglichst nur eine Aussage treffen.

  
  Die längste oder komplexeste Antwort ist die richtige.
• Formulieren Sie die Antwortalternativen positiv, vermeiden Sie negative Formulierungen wie nicht oder außer. Auf keinen Fall sollten Sie doppelte Verneinungen einbauen (Frage: Welcher der folgenden ... gehört nicht dazu? Antwort: "Keine ...").
• Vermeiden Sie versteckte Hinweise auf die richtige Antwort:
  • Vage Formulierungen wie kann, sollte, manchmal, oft oder in der Regel.

    Mangelnde Eindeutigkeit und geringe Trennschärfe durch vage Formulierungen (Case & Swanson 2002)

    True statements about pseudogout include It occurs commonly in women It is often associated with acute pain It is usually hereditary Serum calcium levels are frequently increased

    Wertungen und Einschätzungen wie „oft“, „in der Regel“ oder „selten“ eignen sich, solange nicht der jeweilige Vergleichsmaßstab oder der Wertebereich präzise festgelegt wurde („öfter als...“), nicht für eine Richtig/Falsch-Entscheidung. Die Trennschärfe solcher Fragen ist gering und spiegelt weniger den Wissensstand als vielmehr das Antwort-Verhalten der PrüfungsteilnehmerInnen wider, insb. die Tendenz, bei Unkenntnis der Lösung eher Ja oder Nein zu wählen.

    
    Vage formulierte Antworten sind meist richtig.
  • Absolute Aussagen wie nie, immer oder vollkommen in falschen Antwortalternativen

    Lösungshinweise durch absolute Formulierungen in Distraktoren (Case & Swanson 2002)

    In patients with advanced dementia, Alzheimer’s type, the memory defect can be treated adequately with phosphatidylcholine (lecithin) could be a sequela of early parkinsonism is never seen in patients with neurofibrillary tangles at autopsy is never severe possibly involves the cholinergic system

    Die absolut formulierten Antworten in C und E wirken unwahrscheinlich und können intuitiv ausgeschlossen werden.

    
    Eine Antwort, die absolute Aussagen trifft, ist selten richtig.
  • Wertende Aussagen in falschen Antworten, z.B. „schlecht“, „ignoriert“ oder „zu wenig“
    Negativ klingende Aussagen sind meistens falsch
  • die Wiederholung eines Wortes aus der Frage in der richtigen Antwort

    Lösungshinweis durch Wiederholung von Begriffen aus der Frage in der richtigen Antwort (Case & Swanson 2002)

    A 58-year-old man with a history of heavy alcohol use and previous psychiatric hospitalization is confused and agitated. He speaks of experiencing the world as unreal. This symptom is called depersonalization derailment derealization focal memory deficit signal anxiety

    Die Wörter „unreal“ in der Frage und „derealization“ in der Antwort deuten darauf hin, dass C richtig ist.

    
    Die Antwort, die den Fachbegriff enthält oder die am wissenschaftlichsten klingt, ist richtig.
    Die am einfachsten klingende Antwort ist falsch.
  • Offensichtlich falsche, absurde oder lächerliche falsche Antworten.
  • Grammatikalische Fehler oder logische Brüche zwischen Frage und Antwort

    Lösungshinweise durch logische Brüche oder grammatikalische Fehler (Case & Swanson 2002)

    A 60-year-old man is brought to the emergency department by the police, who found him lying unconscious on the sidewalk. After ascertaining that the airway is open, the first step in management should be intravenous administration of examination of cerebrospinal fluid glucose with vitamin B1 (thiamine) CT scan of the head phenytoin diazepam

    A und C können ausgeschlossen werden, da sie weder grammatikalisch noch logisch zur Frage passen.

    
    
    

    A word used to describe a noun is called an: adjective conjunction pronoun verb

    Der Stamm endet of „an“, nur A beginnt mit einem Vokal.

    
    
    

    Crime is equally distributed among the social classes overrepresented among the poor overrepresented among the middle class and rich primarily an indication of psychosexual maladjustment reaching a plateau of tolerability for the nation

    D und E passen in nicht in die Logik der übrigen Antworten und können intuitiv ausgeschlossen werden.

    
    Grammatikalisch oder logisch nicht zur Frage passende Antworten können ausgeschlossen werden.
• Verzichten Sie, vor allem bei Schätz- und Bewertungsaufgaben, auf die Option ‘‘alle der obigen Antworten’’ und setzen sie ‘‘keine der obigen Antworten’’ sparsam ein.

  Verwendung von „alle der obigen Antworten“ oder „keine der obigen Antworten“ als Distraktoren (Case & Swanson 2002)

  Which city is closest to New York City? Boston Chicago Dallas Los Angeles none of the above

  Kenntnisreiche Studierende werden auch nicht genannte Optionen in ihre Überlegungen einbeziehen und geraten in ein Dilemma. Falls ein Kandidat E wählt, könnte er auch an Philadelphia gedacht haben.

  
  
  

  Zulässige Verwendung von „keine der obigen Antworten als richtige Antwort oder Distraktor (Bücking 2011)

  Welches ist die Lösung für x in der Gleichung 5(x-1)=10? 0 2 4 keine der obigen Antworten

  Die Option „keine der obigen Antworten“ wurde hier in zulässiger Wiese eingesetzt. Sinnvoller wäre ein Zahleneingabefeld, in das die korrekte Lösung eingetragen werden muss.

  
  Letztere Antwortalternative auf keinen Fall nach einem negativ formulierten Fragenstamm („Was gehört nicht dazu?“) verwenden! Falls sie eingesetzt wird, dann häufiger und so, dass sie gelegentlich auch richtig ist und nicht nur als Füllmasse dient.
• Häufig auftauchende Mißverständnisse und Fehlinterpretationen sind eine gute Quelle für Distraktoren. Verwenden Sie z.B. häufige und typische Falschantworten auf offene Klausurfragen früherer Jahrgänge als Grundlage für Distraktoren in nunmehr geschlossenen Fragen. Beachten Sie aber auch hier die genannten Grundsätze (keine Spitzfindigkeiten oder Fallen, nur plausible Antworten etc.).
• Korrekte Aussagen, die aber nicht die Frage beantworten sind oft gute Distraktoren.