Experiment zur Beurteilung von Dialogen

Versuchsleiter:  Janina Rado, Oliver Bott 

Teilprojekt A4
Sonderforschungsbereich 441: Linguistische Datenstrukturen 
Universität Tübingen

 Gefördert von der Deutschen Forschungsgemeinschaft		 SFB441 graphic Siegel der Universität Tübingen
Universität 
Tübingen
-----------------------

Herzlichen Dank für die Teilnahme an unserem Internet-Fragebogen!

Bitte lies die untenstehende Anleitung durch, bevor Du mit dem Versuch beginnst. In dieser Studie interessieren wir uns dafür, wie einfache Dialoge bestehend aus einer Frage und einer Antwort verstanden werden. Der Versuch sollte nicht länger als 30 Minuten dauern.

------------

Versuchsablauf

Zuerst werden wir Dich bitten, einige Angaben zur Person in ein Datenfenster einzutragen. Die so erhobenen Daten dienen rein wissenschaftlichen Zwecken und werden streng vertraulich und bei der weiteren Auswertung anonym behandelt. Du kannst den Versuch jederzeit abbrechen, wodurch Deine Daten ganz automatisch von der Weiterverarbeitung ausgeschlossen werden. Deine e-mail-Adresse brauchen wir nur deshalb, weil wir uns im Falle eines Gewinnes nach der Verlosung mit Dir in Verbindung setzen wollen!

------------

Instruktion

In diesem Experiment sollst Du kurze Dialoge beurteilen, die aus einer Frage und einer Antwort bestehen. Beurteilen sollst Du sie dahingehend, ob es sich bei der Antwort im Dialog um eine passende Antwort auf die vorausgegangene Frage handelt. Du sollst davon ausgehen, dass der antwortende Dialogpartner versucht, möglichst informativ zu sein (also nicht lügt, Informationen zurückhält, etc.).
Vergleiche etwa die beiden folgenden Dialoge (1a) und (1b):

(1a) Frage: Stimmt es eigentlich, dass man von allen Schülern sagen kann, dass sie diesen Lehrer nicht mögen?
Antwort: Ja, stimmt. Alle Schüler mögen diesen Lehrer nicht.
(1b) Frage: Stimmt es eigentlich, dass man von allen Schülern sagen kann, dass sie diesen Lehrer nicht mögen?
Antwort: Ja, stimmt. Nicht alle Schüler mögen diesen Lehrer.

Während die Antwort in (1a) angemessen ist, erscheint die Antwort in (1b) eher unangemessen. In (1b) hat man den Eindruck, dass die Antwort die Frage nicht wirklich beantwortet, so, als ob der antwortende Dialogpartner die Frage nicht richtig verstanden hätte. In (1a) hingegen wird in der Antwort genau die Information gegeben, die durch die Frage erfragt wurde.

Um den Unterschied zwischen 'passenden' und 'unpassenden' Antworten weiter zu verdeutlichen, folgen noch zwei weitere Dialoge ((2a) und (2b)).Wie in (1a) und (1b) zeigt sich auch hier ein Unterschied darin, wie gut die Antworten zu den Fragen passen.

(2a) Frage: Stimmt es eigentlich, dass man von einem der beiden Romane Der Zauberberg und Krieg und Frieden sagen kann, dass die Schüler Hanna, Markus und Thomas ihn allesamt gelesen haben?
Antwort: Ja, stimmt. Einen dieser Romane haben alle diese Schüler gelesen - nämlich den Zauberberg.
(2b) Frage: Stimmt es eigentlich, dass man von einem der beiden Romane Der Zauberberg und Krieg und Frieden sagen kann, dass die Schüler Hanna, Markus und Thomas ihn allesamt gelesen haben?
Antwort: Ja, stimmt. Einen dieser Romane haben alle Schüler gelesen - nämlich Hanna und Markus haben Krieg und Frieden und Thomas hat den Zauberberg gelesen.

Auch hier zeigt sich ein Unterschied zwischen den beiden Dialogen, so ist (2b) schlechter als (2a).


Ablauf des Experiments:

Dir werden im Experiment 48 Dialoge präsentiert. Für jeden dieser Dialoge sollst Du beurteilen, wie gut die Antwort zu der Frage passt. Deine Beurteilung sollst Du auf einer Skala zwischen 1 - 15 abgeben, wobei 1 für "Antwort passt überhaupt nicht zur Frage" und 15 für "Antwort passt optimal zur Frage" steht.

An den Beispielen (2a) und (2b) illustriert: (2a) würdest Du wahrscheinlich einen hohen Wert auf der Skala zuweisen (z.B. einen Wert von 11), da die Antwort gut zur Frage passt.


In (2b) passt die Antwort hingegen nicht gut zur Frage, dementsprechend müsstest Du (2b) einen niedrigeren Wert auf der Skala zuweisen (z.B. einen Wert von 5):


In einem zweiten Schritt sollst Du dann noch eine Verständnisfrage beantworten, die sich auf den Inhalt der Dialoge beziehen. Versuche diese Frage möglichst vor dem Hintergrund des gesamten vorangegangenen Dialogs zu beantworten. Die Verständnisfragen weisen immer nur zwei Antwortalternativen auf. Der Teil der Frage, auf den es dabei besonders ankommt, wird stets durch Großbuchstaben hervorgehoben.
Eine mögliche Verständnisfrage zu den obigen Dialogen (2a) und (2b) wäre etwa:

Frage: Geht aus dem Dialog hervor, dass alle Schüler den Zauberberg gelesen haben?

Für (2a) ist die richtige Antwort auf diese Verständnisfrage 'geht hervor', während sie für (2b) mit 'geht nicht hervor' zu beantworten ist.
 
 
 


------------

Versuchsaufbau von  Projekt A4  unter Benutzung von WebExp Experimental Software. Herzlichen Dank an Frank Keller, Universität des Saarlandes, für die großzügige Bereitstellung der Software. Um an diesem Experiment teilnehmen zu können müssen sowohl Javascript als auch Java im Browser aktiviert sein. Wir haben die Funktion des Programmes mit Microsoft Internet Explorer 5.0 und dem Mozilla Browser getestet. Probleme können u.a. mit Netscape 7 auftreten (auch für Macintosh können wir nicht garantieren). Java Applets sollten zwar plattformunabhängig sein, sind es aber de facto dann doch nicht...
Wenn Du die Wahl hast, benutze doch bitte einen der eben genannten Browser. Sollten ansonsten Probleme auftreten, dann schau doch mal auf der technischen Hinweisseite nach.