Das Internet of Things (IoT) wird in unserem alltäglichen Leben zunehmend präsenter. Sei es durch Smart Home Geräte oder die Automatisierung von Betriebsanlagen (Industrie 4.0) – IoT-Technologien, die über das Internet miteinander vernetzt sind, sind mittlerweile nicht mehr aus unserem Alltag wegzudenken.
Aus diesem Grund entsteht zugleich eine immer höhere Nachfrage an Usability Tests, die mit IoT-Geräten durchgeführt werden sollen. Denn wie bei jedem digitalen Produkt, spielt auch hier die User Experience eine große Rolle für den Erfolg.
Unsere Erfahrungen mit IoT-Geräten im Usability Testing
Während sich das Testen von IoT-Geräten und regulären Apps oder Webseiten auf vielen Ebenen ähnelt, müssen dennoch bestimmte Faktoren beim Usability Testing mit IoT-Geräten berücksichtigt werden, die sonst die Qualität der Studienergebnisse beeinflussen könnten.
Zwei spannende Projekt-Beispiele mit denen sich unser UX-Research Team unter Anderem befassen durfte, waren ein Smart Control Grill und eine Smart Home Fernbedienung. Für diese beiden Produkte und den jeweils dazugehörigen mobilen Apps haben wir Usability-Tests mit typischen Durchschnittsnutzer*innen durchgeführt. In diesen beiden und weiteren Projekten mit IoT-Geräten, konnten zahlreiche Erfahrungen und Learnings gesammelt werden, die wir in diesem Blogbeitrag mit euch teilen möchten.
Auswahl eines geeigneten Settings
Das Arbeiten mit einem IoT-Produkt erfordert häufig ein großes Labor, in dem alle Gerätschaften untergebracht werden müssen. Folglich sollten Usability Testings mit IoT-Geräten möglichst nicht remote durchgeführt werden, um sich den Laboraufbau im privaten Umfeld der Proband*innen und den zusätzlichen Transport benötigter Technik und Produkten zu sparen. Zudem wird dadurch sichergestellt, dass jegliche Technik gut positioniert im Raum verteilt werden kann. Vor Ort kann am besten problemlos und effizient beobachtet werden, wie Proband*innen sich am Untersuchungsgegenstand verhalten. Außerdem können die Probanden sich auf das zu vertestende IoT-Gerät – ohne äußere Störfaktoren (z.B. Lärm, Internetverbindung, weitere im Haushalt anwesende Personen, etc.) – voll und ganz konzentrieren.
Planung und Aufbau des Technik Setups
Um wichtige, physische Interaktionen mit dem IoT-Gerät nachhaltig dokumentieren zu können, ist es erforderlich, dass neben dem Screen-Mirroring und der Aufzeichnung der Gestik und Mimik, auch umfänglich die Bewegungen des Probanden aufgezeichnet werden.
In unseren Usability Tests von Produkten auf mobilen Endgeräten (z.B. Apps) verwenden wir hierzu eine Dokumentenkamera, um das Tippverhalten auf dem Smartphone bzw. eines kleinen IoT-Geräts (bspw. einer Fernbedienung) festzuhalten. Eine zweite Kamera zeichnet die Aktivitäten des Probanden mit der physischen Umgebung auf. Bei IoT-Produkten die größer sind, oder relevante Bereiche, wie ein zusätzliches Display beinhalten, wird das Technik-Setup nach Bedarf um weitere Kameras zur Aufzeichnung ergänzt. Im Beispiel des Smart Control Grills, wurde die Grilloberfläche und die Grillsteuerung mit zwei zusätzlichen Kameras erfasst.
Genügend Zeit einplanen
Ein IoT-Usability Test kann im Allgemeinen mehr Zeit in Anspruch nehmen, als das Testen von regulären Produkten.
Zum einen erfordert die Planung und der Aufbau des Technik-Setups einen höheren Aufwand. Für jedes IoT-Produkt sollte ein individueller Technik-Plan erstellt werden, der alle wichtigen Funktionen des Geräts abdeckt. Somit muss mehr Zeit aufgebracht werden, um das umfangreiche Setup aufzubauen und zu verproben.
Des Weiteren müssen sich UX-Researcher*innen neben der App, zusätzlich mit den IoT-Geräten auseinandersetzen. Dadurch kann die Vorbereitung des Usability-Tests, abhängig vom Umfang und der Komplexität des IoT-Geräts, länger dauern als gewohnt. Befindet sich ein Produkt in der frühen Entwicklungsstufe, besteht zudem ein höheres Risiko, dass technische Probleme die Vorbereitung und Durchführung erschweren. Hier ist es besonders wichtig, sich frühzeitig mit zuständigen Personen in Kontakt zu setzen, um Probleme technischer Art zu besprechen, damit diese während der Sitzungen verhindert bzw. vorgebeugt werden können.
Aus diesen Gründen kann es sinnvoll sein, bereits im Voraus mehr Zeit für die Vorbereitung und Durchführung einzuplanen. Pre-Tests helfen zusätzlich dabei, den Zeitrahmen für einzelne Sitzungen einzuschätzen und abzuwägen, welche Aufgaben und Fragen eindeutig sind und welche überdacht werden sollten. Zudem können durch Pre-Tests Korrekturen am Setting vorgenommen werden. So können z.B. Kamera Positionierungen und Einstellungen der Testgegenstände unternommen werden. Bei dem Pre-Test mit der smarten Fernbedienung wurde so deutlich, dass die Kamera, die das Tippverhalten auf der Fernbedienung aufzeichnen sollte, zu nah gestellt war und der Radius erhöht werden musste. Im Pre-Test bewegten sich die Probanden deutlich ausladender und hielten die smarte Fernbedienung in Richtung des Versuchsleiters, um auf unterschiedliche Bedienelemente hinzuweisen.
Vor und während der Sitzungen
Je nach Usability Test kann es notwendig sein, zusätzliche Vor- bzw. Nachbereitungen zwischen einzelnen Sitzungen zu treffen. Beispielsweise müssen die IoT-Gerätschaften nach jedem Usability-Test entkoppelt oder auf Werkeinstellungen zurückgesetzt werden.
Wenn möglich, ist eine helfende Hand (z.B. durch den Protokollanten) zwischen den einzelnen Sitzungen sinnvoll. Diese kann sich dann um das Aufbereiten des Labors kümmern, während sich die/der Researcher*in bzw. Moderator*in auf den nächsten Usability-Test vorbereitet.
Es besteht die Möglichkeit, dass die Handhabung von IoT-Produkten für einige Proband*innen ungewohnt ist und sie dadurch mehr Zeit benötigen, um Aufgaben zu erfüllen. Besonders in solchen Szenarien wird von UX-Researcher*innen gefordert, geduldig zu sein und den Teilnehmer*innen genügend Zeit zu geben, um sich mit der App und dem Gerät vertraut zu machen. Möglicherweise benötigen einige Personen Hilfestellungen bei gewissen Use Cases, die gegeben werden müssen, um mit dem Test fortfahren zu können. Diese Punkte sollten durch das UX-Research Team dokumentiert werden, da dort Raum für Optimierung herrscht.
Die Erstellung einer Checkliste, welche alle zusätzlichen Schritte für das Usability Testing mit IoT Produkten umfasst, kann dabei hilfreich sein, um während der Usability-Testings einen Überblick zu behalten.
Fazit
Usability-Testing mit einer neuen Technologie kann auf dem ersten Blick äußerst herausfordernd und komplex wirken. Mit einer durchdachten Planung, Vorbereitung und auch praktischer Übung, ist das Bewältigen dieser Hürde jedoch geringer und generiert wertvolle Ergebnisse, um Produkte mit hohem Zukunftspotential zu optimieren und vor allem zugänglicher für Personen zu machen, die noch nicht mit der Welt der IoT-Produkte vertraut sind.
Autorin: Lining Bao
