UX Testing mit Appmatics – Warum wir moderierte Usability Tests durchführen

Die Durchführung von Usability Tests kann auf verschiedenen Wegen erfolgen: Darunter fallen unter anderem moderierte und unmoderierte Usability Tests. Unsere UX-Researcher:Iinnen bei Appmatics haben sich für das Angebot von moderierten Usability Tests als Dienstleistung für unsere Kunden entschieden. Warum wir uns so entschieden haben und was überhaupt der Unterschied zwischen moderierten und unmoderierten Usability Tests ist, erklären wir euch in diesem Blogartikel.

Moderierte Usability Tests: Wie sieht das bei uns aus?

Während eines Usability Testing Projektes sind in der Regel zwei unserer Appmatics UX Researcher*innen im Tandem im Einsatz. Das Testing selbst erfolgt im Rahmen von Einzelinterviews mit repräsentativen Durchschnittsnutzer:Innen, die nach den Kriterien der Zielgruppe des zu untersuchenden (digitalen) Produktes ausgewählt und für die Teilnahme eingeladen werden. Unsere UX Researcher:Innen nehmen dabei die Rolle der Moderator:Innen ein. Sie geben den Proband:Innen zu lösende Aufgaben vor, beobachten deren Interaktion mit dem Produkt und stellen vertiefende Fragen. Dabei befinden sich unsere UX Researcher:Innen entweder vor Ort mit den Proband:Innen in einem Usability Labor, oder führen die Interviews über eine screen-sharing Software bzw. ein Videokonferenz-Tool durch.

Wir bei Appmatics bieten beide Formen des moderierten Usability-Testings an – remote und vor Ort. Was sich besser eignet, wird im Kick-off mit den Auftraggebern abgestimmt. Weitere Inhalte des Kick-offs sind die Klärung von Fragestellungen, Zielen und weiteren bspw. technischen Anforderungen für die Durchführung. Auf Basis der besprochenen zu untersuchenden Inhalte wird dann ein Studienkonzept verfasst. Dieses dient als Leitfaden für das an den Untersuchungsgegenstand angepasste Interview.

Während der Durchführung sorgt unser Team im Tandem dafür, dass die Tests nicht nur moderiert, sondern auch simultan live protokolliert und aufgezeichnet werden bzw. für unsere Auftraggeber live mitzuverfolgen sind. Am Folgetag erhalten unsere Auftraggeber zusätzlich einen Link zu einer (aus Datenschutzgründen für 6 Monate einsehbaren) Video-Bibliothek, auf der alle geführten Interviews zur flexiblen Einsicht bereitgestellt werden. Um dabei unseren Auftraggebern das bestmögliche Erlebnis zu bieten, sind alle Videos mit Kapiteltrennern versehen, wodurch der Einblick in die reale Nutzung der eigenen Produkte besonders leicht ist.

Doch handelt es sich beim moderierten Usability Testing nur um ein einfaches Interview? Um einen erfolgreichen Usability Test durchführen zu können, bringen unsere UX Researcher:Innen deutlich mehr mit, als lediglich das Stellen von Fragen. Denn auch die Vor- und Nachbereitung der Tests erfordert viel Know-How – einerseits um die Anforderungen des Kunden möglichst genau in den Interviews integrieren zu können und andererseits, um die Resultate des Tests zu analysieren und wieder an den Kunden zu übermitteln.

Was ist unmoderiertes Usability Testing? Wie unterscheiden wir uns dazu?

Unmoderiertes Usability Testing wird zumeist mit Hilfe einer Plattform oder Tool durchgeführt, die mit Hilfe einer Software asynchron Testsessions strukturieren. Die verwendete Software stellt dabei den Proband:Innen Aufgaben und Fragen zu einem zu testenden Produkt meist schriftlich bereit, die anschließend abgearbeitet und aufgezeichnet werden. In unmoderierten Usability-Tests sind also keine UX Researcher:Innen bzw. Moderator:Innen beteiligt, die im direkten und synchronen Kontakt mit den Proband:Innen stehen.

Abhängig vom Anbieter und Angebot können dabei zwischen kurzen Schnelltests und längeren Think-Aloud Tests gewählt werden. Das Test-Endgerät und die Zielgruppe sowie die Anzahl der Proband:Innen kann auf der Website der einzelnen Anbieter bestimmt werden. Bei der Erstellung und Aufsetzung des Testkonzepts ist der Kunde zumeist auf sich allein gestellt. Unterstützungen seitens des Anbieters gehen häufig mit einem Aufpreis einher.

Dadurch, dass keine zeitgleichen Termine mit Moderator:Innen zur Durchführung eines Tests nötig sind, können die Resultate eines unmoderierten Usability Tests innerhalb kurzer Zeit übermittelt werden. Dadurch sind auch Crowdtests und internationale Tests ohne große Hindernisse realisierbar.

Wieso wir uns für moderierte Usability-Tests entschieden haben

Wieso haben wir uns trotz der Vorteile der unmoderierten Usability-Tests für moderierte Usability-Tests entschieden?

Die Stärken des unmoderierten Usability Tests stellen zugleich die größten Schwächen dar. Zum Einen darf sich der Untersuchungsgegenstand durch das Ausbleiben eines Moderators nicht in einem primären Stadium befinden. Proband:Innen benötigen bei der Durchführung mit Low- und Mid-Fidelity Prototypen häufig zusätzliche Hilfestellungen, um die Einschränkungen eines unfertigen Prototypen zu verstehen bzw. zu umgehen – das kann die Software nur eingeschränkt leisten.

Zum Anderen müssen die Instruktionen sehr präzise formuliert werden, um Missverständnisse während der Bearbeitung zu verhindern. Durch eine Moderation können hingegen Proband:Innen in solchen Fällen darauf hingewiesen und Unklarheiten geklärt werden. Auch bei interessanten, spontanen Ereignissen, die nicht innerhalb der Instruktionen festgehalten wurden, haben Moderator:Innen die Möglichkeit, diese Ad-Hoc aufzugreifen und zu vertiefen. Aufgrund dieser Inflexibilität bedarf es bei einem unmoderierten Usability Test eine besonders sorgfältige Planung, die für Unerfahrene ein Hindernis darstellen kann.

Aber auch die Rückmeldungen unserer Kunden stärken unsere Entscheidung. So sind gemäß unserer Auftraggeber, die sowohl mit moderierten als auch unmoderierten Usability Tests gearbeitet haben, die Proband:Innen von Plattformen durch die häufige Teilnahme an unmoderierten Usability Tests oftmals zu routiniert, wodurch die Resultate des Tests verfälscht werden können. Da der unmoderierte Test zudem meistens nicht von Expert:Innen ausgewertet wird und anschließende Handlungsempfehlungen fehlen, beschrieben unsere Auftraggeber zudem den Mehrwert der Erkenntnisse als geringer ein. Was für das Prüfen von kleinen (Teil-) Features in Ordnung ist, ist für einen längeren bzw. vollständigen Flow mitsamt der Eckpunkte und „unhappy Paths“ oder auch im Fall von komplexeren Produkten (wie z.B. IoT-Software) nicht zu empfehlen.

Fazit

Wir entscheiden uns bei Appmatics für moderierte Usability-Tests, um qualitativ hochwertige Ergebnisse für alle Stadien in der Produktentwicklung ermöglichen zu können. Dabei möchten wir unsere Auftraggeber:Innen und die Proband:Innen durch den gesamten Prozess bestmöglich begleiten. So erhaltet ihr ungefilterte Rückmeldungen realer Nutzer:Innen, die ihr dank unserer dazugehörigen Beratung bestmöglich umgesetzt bekommt. Haben wir euer Interesse geweckt? Dann informiert euch auf hier gerne mehr über UX Testing oder vereinbart einfach einen ersten Termin mit uns.