Im User Experience (UX)-Design sind qualitative Usability-Tests und Tests mit Proband*innen unverzichtbar, um das Verhalten der Nutzer*innen tiefgehend zu verstehen, Fehler frühzeitig zu erkennen und die Userfreundlichkeit von digitalen Produkten zu verbessern. Während quantitative Methoden Zahlen liefern, gehen qualitative Tests im User Testing, Usability Testing und Software Testing einen Schritt weiter: Sie erforschen die Gedanken, Emotionen und Verhaltensweisen der Nutzer*innen.
Eine Frage, die wir in Bezug zum Usability Testing häufig hören lautet: "Können wir den Aussagen unserer Proband*innen in Usability-Tests wirklich trauen oder verzerren diese nicht eher das Ergebnis?".
In unserem Blogpost beleuchten wir, warum qualitative Usability-Tests so wertvoll sind, wie kognitive Verzerrungen die Zuverlässigkeit dieser Aussagen beeinflussen können und welche Rolle die Testleitung dabei spielt.
|
Erklärung Ein Bias ist eine systematische Verzerrung oder Voreingenommenheit in der Wahrnehmung, Beurteilung oder Entscheidungsfindung. Biases entstehen oft durch Vorurteile, Stereotypen oder unbewusste Denkmuster, die unsere Interpretation von Informationen beeinflussen. Sie können in vielen Bereichen auftreten, wie in der Psychologie (z. B. Bestätigungsfehler) oder in der Datenanalyse (z. B. Auswahlbias). |
Content
Wozu braucht es qualitative Usability-Tests im Software Testing?
Vor- und Nachteile von User Testing und Usability Tests
Wie beeinflussen Biases das Testing mit Proband*innen?
Strategien zur Minimierung von Verzerrungen in Usability Tests
Die Rolle der Versuchsleitung im Software und User Testing
Fazit: Biases im Usability Testing erkennen und minimieren
Wozu braucht es qualitative Usability Tests im Software Testing?
Qualitative Usability-Tests im Rahmen des User Testings und Software Testings sind mehr als nur eine Methode, um Fehler zu finden. Sie ermöglichen es, tiefgehende Einblicke in das Verhalten und die Erfahrungen der Nutzer*innen zu gewinnen. Durch diese Tests können unentdeckte Probleme aufgedeckt und die Ursachen hinter den Entscheidungen der Nutzer*innen verstanden werden. Dank detailliertem Feedback von nur wenigen Teilnehmer*innen können gezielte Verbesserungen erfolgen. Die Flexibilität dieser Tests erlaubt es, sich auf die wesentlichen Aspekte zu konzentrieren und Erkenntnisse zu sammeln, die quantitative Methoden oft nicht liefern können.
Proband*innen mit Seheinschränkungen: Erfahrungen aus einem Usability Test
Vor- und Nachteile
von User Testing und Usability Tests
 Vorteile |
 Nachteile |
|
|
|
|
|
|
|
|
|
|
Wie beeinflussen Biases das Testing mit Proband*innen?
In der Welt der User Experience (UX) sind qualitative Usability-Tests von unschätzbarem Wert. Sie bieten tiefere Einblicke in das Userverhalten und die -erfahrungen, indem sie über bloße Zahlen und Datenpunkte hinausgehen. Statt nur das „Was“ zu messen, erforschen diese Tests das „Warum“ hinter dem Userverhalten durch Interviews, Beobachtungen und offene Fragen. User Tests sind daher für sämtliche digitale Anwendungen, wie Apps, Webseiten und auch IoT-Produkte eine wichtige Methode der Qualitätssicherung.
Usability Tests für IoT Produkte: Planung und Aufbau des Setups
Doch wie zuverlässig sind die Aussagen der Proband*innen während dieser Tests? Sie geben Meinungen und Einschätzungen wider, doch wie verlässlich sind diese? Im Software Testing und Usability Testing ist es wichtig, Verzerrungen zu minimieren, um genaue Ergebnisse zu erhalten. Daher ist es wichtig, sowohl die Vorteile der qualitativen Usability-Tests als auch die potenziellen Verzerrungen durch kognitive Biases zu verstehen.
Trotz ihrer Stärken haben qualitative Usability-Tests ihre Herausforderungen. Kognitive Verzerrungen (systematische Denkfehler) können die Verlässlichkeit der Aussagen der Proband*innen beeinträchtigen. Diese Verzerrungen beeinflussen, wie Proband*innen ihre Erfahrungen wahrnehmen und kommunizieren, was zu ungenauen oder verfälschten Rückmeldungen führen kann.
Hier sind einige häufige kognitive Verzerrungen, die in Usability-Tests auftreten können:
|
Proband*innen neigen dazu, ihre Schwierigkeiten im Nachhinein zu minimieren, besonders wenn sie schließlich erfolgreich waren. Sie beschreiben beispielsweise eine Aufgabe als einfach, obwohl sie während des Tests auf erhebliche Schwierigkeiten gestoßen sind. |
Soziale Erwünschtheit Proband*innen wollen als kompetent erscheinen oder den Erwartungen der Testleitung entsprechen. Dies kann dazu führen, dass sie Probleme oder negative Erfahrungen verharmlosen, um besser dazustehen. |
|
Bestätigungsfehler Menschen suchen häufig nach Informationen, die ihre bestehenden Überzeugungen bestätigen. Dies kann dazu führen, dass Proband*innen bestimmte Aspekte eines Produkts positiver bewerten, als sie es tatsächlich erleben. |
Ankereffekt Die ersten Informationen, die Proband*innen erhalten, können ihre späteren Urteile übermäßig beeinflussen. Ein anfänglicher Fehler oder eine positive Erfahrung könnte das gesamte Feedback verzerren. |
Strategien zur Minimierung von Verzerrungen in Usability Tests
Angesichts der möglichen kognitiven Verzerrungen stellt sich die Frage, ob wir den Aussagen der Proband*innen in Usability-Tests im Software Testing uneingeschränkt vertrauen können. Die kurze Antwort lautet: Nein, nicht immer. Es ist wichtig, das Feedback der Proband*innen im Kontext dieser möglichen Verzerrungen zu interpretieren. Das bedeutet jedoch nicht, dass ihre Aussagen wertlos sind – vielmehr sollten sie mit einer gesunden Skepsis betrachtet werden und Strategien angewandt werden, die sie reduzieren.
Folgende Strategien könnten dabei hilfreich sein:
| Triangulation | Kombination verschiedener Methoden der Datenerhebung, wie qualitative und quantitative Ansätze, um ein vollständigeres Bild zu erhalten. |
| Neutrale Moderation | Die Testleitung sollte neutral bleiben und keine Hinweise geben, die die Antworten der Proband*innen beeinflussen. |
| Kontinuierliche Validierung | Vergleich des gesprochenen Feedbacks mit dem tatsächlichen Verhalten der Nutzer*innen. Oft sagen Handlungen mehr als Worte. Wenn eine Aussage nicht mit dem beobachteten Verhalten übereinstimmt, sollten klärende Fragen gestellt werden, wie: „Was hat Sie dazu gebracht, das so zu empfinden?“ oder „Können Sie erklären, warum das für Sie einfach oder schwierig war?". |
| Bewusstsein für Biases | UX-Expert*innen sollten sich der kognitiven Biases bewusst sein und aktiv nach ihnen suchen, wenn sie das Feedback analysieren. Die Versuchsleitung sollte geschult sein, um kognitive Verzerrungen zu erkennen und damit umzugehen. Ein fundiertes Verständnis der Psychologie kann helfen, subtilere Anzeichen für verzerrte Aussagen zu entdecken. |
Die Rolle der Versuchsleitung im Software und User Testing
Die Versuchsleitung spielt somit eine entscheidende Rolle während eines Usability-Tests. Damit Verzerrungen während durchgeführter Usability Tests bei Appmatics minimiert werden, achten wir auf hohe Interviewqualität durch erfahrene Moderator*innen. Als Versuchsleitung berücksichtigen wir nicht nur die verbalen Aussagen der Proband*innen, sondern auch ihr beobachtetes Verhalten. Wenn ein/e Proband*in beispielsweise behauptet, dass eine Aufgabe einfach war, obwohl offensichtlich Schwierigkeiten bestanden, muss die Versuchsleitung diese Diskrepanz hinterfragen. Diese Inkongruenz kann wertvolle Hinweise darauf geben, wo und warum User möglicherweise Schwierigkeiten hatte. Sie könnte darauf hinweisen, dass ein bestimmter Aspekt der Useroberfläche oder des Interaktionsdesigns überarbeitet werden muss, auch wenn der/die Proband*in behauptet, keine Probleme gehabt zu haben.
Es ist eine der wichtigsten Aufgaben einer Versuchsleitung, zwischen dem gesagten und gezeigtem Verhalten zu unterscheiden und zu analysieren, welche Verzerrungen möglicherweise im Spiel sind. Dies erfordert sowohl ein tiefes Verständnis für kognitive Verzerrungen als auch Erfahrung in der Beobachtung und Interpretation von Nutzer*innenverhalten.
Fazit: Biases im Usability Testing erkennen und minimieren
Qualitative Usability-Tests und User Testings sind entscheidende Methoden im UX-Design und Software Testing, um tiefgehende Einblicke in das Verhalten und die Wahrnehmung der Nutzer*innen zu gewinnen. Trotz der Herausforderungen durch kognitive Biases und Verzerrungen, bieten Aussagen der Proband*innen wertvolle Rückmeldungen. Durch das Verständnis dieser Verzerrungen und den Einsatz geeigneter Strategien können UX-Expert*innen die Aussagekraft von User und Software Tests erheblich verbessern. Ein scharfes Auge und ein tiefes Verständnis für menschliche Psychologie erleichtert es, Verzerrungen zu erkennen und das beobachtete Verhalten in die Analyse einbeziehen. Die Testleitung spielt also eine zentrale Rolle, um Biases zu erkennen und sicherzustellen, dass die gewonnenen Erkenntnisse auf tatsächlichen Nutzerbedürfnissen basieren.
