UX Fragebögen
Konstruktion und praktischer Einsatz

Zielsetzung des Workshops

Fragebögen sind eine einfache und kostengünstige Methode, um einen Eindruck darüber zu gewinnen, wie ein Produkt beim Nutzer ankommt. Das erklärt auch die weite Verbreitung und Beliebtheit dieser UX Evaluationsmethode in der Praxis.

Auch auf der Mensch&Computer wurden in den letzten Jahren mehrere neue UX Fragebögen vorgestellt, z.B. AttrakDiff2 (Hassenzahl, Burmester & Koller, 2003), UEQ (Laugwitz, Schrepp & Held, 2006), meCUE (Minge & Riedel, 2013) oder VISAWI (Moshagen & Thielsch, 2010), die auch häufig in Praxisprojekten eingesetzt werden. Fragebögen erlauben es eine Reihe typischer Fragestellungen zu beantworten, z.B. Produktvarianten bzgl. ihrer UX zu vergleichen, problematische Bereiche im Design zu erkennen oder eine kontinuierliche Überwachung der UX Qualität eines Produkts (Schrepp, Hinderks & Thomaschewski, 2014).

Allerdings gibt es bzgl. Konstruktion und Einsatz von UX Fragebögen auch noch eine Reihe noch nicht vollständig gelöster Probleme, von denen wir hier einige beispielhaft nennen wollen:

• Es gibt im Moment eine Vielzahl von publizierten UX Fragebögen und deren Zahl wächst stetig. Diese Fragebögen unterscheiden sich massiv in ihren Skalen (der von ihnen erfassten UX Aspekte). Faktisch realisiert jeder dieser Fragebögen, über die Auswahl der vorhandenen Skalen, sein ganz eigenes Konzept von UX oder Usability. Auch geben die Skalennamen oft nur einen sehr begrenzten Eindruck zur Bedeutung einer Skala, d.h. es ist oft notwendig die konkreten Items der Skalen zu analysieren, um zu erkennen, was die Skala inhaltlich wirklich misst. Andererseits sind viele UX-Skalen hoch korreliert, so dass sich die Frage stellt, welche man wirklich braucht. Dies ist für den Praktiker, der für seine speziellen Fragestellungen einen oder mehrere geeignete Fragebögen sucht, keine einfache Situation.
• UX Fragebögen unterscheiden sich nicht unerheblich von klassischen psychologischen Fragebögen. Bei UX Fragebögen wird die Meinung von Personen in Bezug auf die UX eines Produkts erfragt. Klassische psychologische Fragebögen messen in der Regel Eigenschaften der befragten Person selbst. Trotz dieses offensichtlichen Unterschieds werden die aus der Psychologischen Messtheorie bekannten Qualitätskriterien (Objektivität, Reliabilität, Validität) meist auch zur Beurteilung der "Qualität" eines UX Fragebogens herangezogen. Ist dies eine sinnvolle Vorgehensweise? Sollten bei UX Fragebögen noch andere Kriterien zur Beurteilung der Fragebogen-Qualität herangezogen werden?
• Wie gelingt die praktische Verankerung eines Fragebogens als Basis für die Qualitätssicherung im Unternehmen? Gerade in größeren Unternehmen bieten sich Fragebögen als Methode zur UX Qualitätssicherung an. Allerdings ist es nicht einfach hier einen oder mehrere vorhandene Fragebögen so in das Qualitätsmanagement eines Unternehmens zu integrieren, dass die Ergebnisse auch von allen Beteiligten (vor allem auch der Management-Ebene) verstanden und ernst genommen werden. Vorhandene Standardfragebögen bieten dem Anwender in Bezug auf diesen Aspekt wenig Unterstützung in Form von geeigneten Begleitmaterialien bzw. Argumentationshilfen.
• Wie aussagekräftig ist ein Skalenmittelwert in einem Fragebogen? Typischerweise streuen die Bewertungen der einzelnen Teilnehmer einer Umfrage erheblich, so dass man davon ausgehen muss, dass sie jeweils sehr unterschiedliche Benutzungserlebnisse haben. Erlauben Mittelwert und Standardabweichung in dieser Situation überhaupt relevante Aussagen? Welche Alternativen gibt es?

Diese vier Themenfelder dienen natürlich nur als Beispiel für offene Fragestellungen im Bereich von UX Fragebögen. Es gibt hier viele weitere relevante Problemfelder, die im Workshop ebenfalls diskutiert werden können, falls sie den weiter unten beschriebenen Anforderungen genügen. Die Teilnehmer können und sollen solche Fragestellungen in den Workshop einbringen.

Ziel des Workshops ist es, Personen zusammenzubringen, die an der Entwicklung von UX Fragebögen arbeiten oder viel Erfahrung im praktischen Einsatz von UX Fragebögen haben. Es sollen Erfahrungen ausgetauscht werden und insbesondere offene Fragestellungen und Probleme angesprochen werden. Es geht hier explizit nicht darum, neue Fragebögen vorzustellen, Detailergebnisse zu vorhandenen Fragebögen darzustellen oder Anwendungen vorhandener Fragebögen in Projekten zu berichten. Der Schwerpunkt liegt auf eher generellen offenen methodischen Fragen und ggfs. Lösungsvorschlägen, die diskutiert und ausgearbeitet werden müssen, aber nicht auf fertigen Antworten.

Die Hoffnung ist, dass sich im Anschluss des Workshops kleinere Arbeitsgruppen bilden, die bereit sind gemeinsam an einigen der offenen Fragestellungen konkret zu arbeiten.

Geplanter Ablauf

Der Workshop ist für 4 Stunden ausgelegt und soll folgendermaßen ablaufen:

• Kurze Einführung in den Workshop durch die Organisatoren und eine kurze Vorstellungsrunde der Teilnehmer.
• Eine Reihe von (etwa 5-7) kurzen kompakten Vorträgen (mit Publikation im Workshop-Band), die jeweils ein konkretes Problem oder Problemfeld bei Entwicklung und Einsatz von Fragebögen herausarbeiten. Die Vorträge können Lösungsvorschläge aufzeigen, müssen dies aber nicht tun! Es ist also durchaus möglich und gewünscht, nur ein Problem sauber herauszuarbeiten und keine Lösung vorzuschlagen! Die herausgearbeiteten Probleme sollten aber eher allgemeiner Art sein, d.h. sich NICHT auf einen speziellen existierenden Fragebogen oder ein sehr spezielles Evaluations-Szenario beziehen (Beispiele und Daten, die zur Illustration des Problem dienen, können sich natürlich auf vorhandene Fragebögen beziehen, nur sollte das vorgestellte Problem zumindest für einen gewissen Typ von Fragebögen bestehen und nicht nur für einen speziellen Fragebogen). Pro Vortrag sind 15 Minuten plus 5 Minuten Diskussion vorgesehen. Sobald alle Einreichungen vorliegen, kann diese Zeit aber noch angepasst werden. Die Gesamtzeit aller Vorträge inklusive Diskussion sollte aber 2 Stunden nicht überschreiten.
• Kurze Pause.
• Nach der Pause werden einige der durch die Vorträge angesprochenen Fragestellungen nach Interesse der Teilnehmer (kurze Abstimmung unter den Anwesenden) ausgewählt. Diese werden dann gemeinsam diskutiert. Die genaue Form richtet sich nach der Anzahl der Teilnehmer. Bei eher kleiner Teilnehmerzahl werden die Fragestellungen in einer Gruppe (mit einer Zeitbeschränkung pro Fragestellung) diskutiert. Bei größerer Teilnehmerzahl werden kleinere Gruppen gebildet, die jeweils von einem Moderator aus dem Kreis der Organisatoren des Workshops geleitet werden. Die Teilnehmer können zu bestimmten Zeitpunkten zwischen den Gruppen wechseln und haben so die Möglichkeit bei mehreren Fragestellungen mitzudiskutieren (der Moderator wechselt nicht, d.h. stellt eine gewisse Kontinuität in der Diskussion sicher).
• Kurze Abschlussdiskussion.

Vorträge

Folgende Vorträge sind angenommen. Die erste Hälfte des Workshop wird durch diese Vorträge gestaltet, die zweite Hälfte ist für die Diskussion einiger Themenschwerpunkte (hier können alle Teilnehmer mitdiskutieren, nicht nur die Vortragenden) reserviert.

• Meinald Thielsch & Gerrit Hirschfeld: Woran erkenne ich einen guten User Experience Fragebogen?
• Michael Minge: Nutzererleben messen mit dem meCUE 2.0 – Ein Tool für alle Fälle?
• Katharina Jank: Ganzheitliche Evaluation von Business-Software
• Theo Held: Fragebogen und ordinale Urteile
• Martin Schrepp & Bernard Rummel: UX Fragebögen – Verwenden wir die richtigen Methoden?
• Andreas Hinderks & Jörg Thomaschewski: Herausforderungen beim Einsatz der Faktorenanalyse bei der Konstruktion von UX Fragebögen
• Bernard Rummel & Martin Schrepp: UX Fragebögen – Was steckt in der Varianz?

Organisatoren

• Dr. Martin Schrepp studierte Mathematik und Psychologie an der Universität Heidelberg. 1990 Abschluss als Diplom-Mathematiker. 1990 – 1993 Promotion in Psychologie. Seit 1994 bei der SAP AG tätig. Er ist einer der Autoren des User Experience Questionnaire (UEQ) und hat Erfahrungen in der praktischen Anwendung zahlreicher anderer UX Fragebögen. Er ist auch Autor einer Reihe von Beiträgen zu methodischen Fragen im UX Bereich.
• Bernard Rummel studierte Psychologie an der Universität Kiel (Diplom 1990). Nach neun Jahren am Schiffahrtmedizinischen Institut der Marine kam er 2000 zu SAP. Er arbeitet weiterhin im DIN-Normenausschuss Ergonomie – Benutzungsschnittstellen an Normenreihen wie der ISO 9241, sowie als Fachprüfer des UXQB für Usability Testing und Evaluation (CPUX-UT). Seit 2011 beschäftigt er sich bei SAP mit der Quantifizierung von Gebrauchstauglichkeit und Usability Benchmarking.

Literatur

• Minge, M. & Riedel, L. (2013). meCUE – Ein modularer Fragebogen zur Erfassung des Nutzungserlebens. In: S. Boll, S. Maaß & R. Malaka (Hrsg.): Mensch und Computer 2013: Interaktive Vielfalt (S. 89-98). München, Oldenbourg Verlag.
• Moshagen, M. & Thielsch, M. T. (2010). Facets of visual aesthetics. International Journal of Human-Computer Studies, 68, 689-709.
• Laugwitz, B.; Schrepp, M. & Held, T. (2006). Konstruktion eines Fragebogens zur Messung der User Experience von Softwareprodukten. A.M. Heinecke & H. Paul (Eds.): Mensch & Computer 2006 - Mensch und Computer im Strukturwandel. Oldenbourg Verlag, pp. 125 – 134.
• Hassenzhl, M., Burmester, M., & Koller, F. (2003). AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität In: Ziegler, J. & Szwillus, G. (Hrsg.), Mensch & Computer 2003. Interaktion in Bewegung, S. 187-196, Stuttgart, Leipzig: B.G. Teubner
• Schrepp, M.; Hinderks, A. & Thomaschewski, J. (2014). Applying the User Experience Questionnaire (UEQ) in Different Evaluation Scenarios. In: Marcus, A. (Ed.): Design, User Experience, and Usability. Theories, Methods, and Tools for Designing the User Experience. Lecture Notes in Computer Science, Volume 8517, S. 383-392, Springer International Publishing.