Um sich heutzutage im stark umkämpften Mobile Markt beim Konsumenten durchzusetzen, ist die Produktion von Apps stärker denn je von einem agilen Entwicklungsumfeld geprägt. Damit die Qualität unter diesen Voraussetzungen dennoch erstklassig ist, benötigen Unternehmen ein ebenso agiles und professionelles Testing Umfeld. Dabei können Unternehmen heute auf verschiedene Methoden und Anbieter zurückgreifen.
Inhouse-Testing:
Pros:
+ Direkte Nähe – Entwickler:Innen können die Ergebnisse gleich Vorort reproduzieren lassen.
+ Direkte Kommunikation – Face-To-Face können Ergebnisse besser vorgetragen werden und Briefing für Testläufe ist sehr effizient.
+ Beziehung – Beziehung zwischen Entwickler:Innen und Tester:Innen erleichtert Zusammenarbeit.
+ Spezialwissen – Tester:Innen können sich ein Know-How über Systeme und Software aufbauen.
+ Direkte Verantwortung – Inhouse Teams werden bei Fehlern zur Verantwortung gezogen.
Cons:
– Schlechte Skalierbarkeit – Testing wird punktuell gebraucht bspw. nach Sprints und dann wieder überhaupt nicht.
– Bedingte Betriebsblindheit – Tester:Innen die regelmäßig testen werden Blind für potentielle Nutzerfehlverhalten.
– Teurer Unterhalt – Tester:Innen und die vielen Geräte sind teuer im Betrieb.
Externes Crowd-Testing:
Pros:
+ Skalierbarkeit – Sehr gute Skalierbarkeit der Tester:Innen.
+ Geschwindigkeit – schnelle Reaktionszeiten.
+ Testbedingungen – Echte Nutzer/Echte Umgebungen.
+ Devices – Sehr viele verschiedene Geräte – Longtail.
Cons:
– Kein Spezialwissen – Know-How wird nicht aufgebaut.
– Testumgebungen – Schlechte Anbindung zu Testumgebungen.
– Keine Peripherie – Externe Peripherie kann nicht mitgetestet werden, wenn nicht in der Crowd verfügbar.
– Ergebnisse – Ergebnisse von sehr unterschiedlicher Qualität, da Tester:Innen pro Bug bezahlt werden
Externes Inhouse-Testing
Pros:
+ Spezialwissen – Know-How wird in den Teams und in den Testplänen aufgebaut.
+ Skalierbarkeit – Gute Skalierbarkeit der Testerteams.
+ Kommunikation – Direkte und persönliche Kommunikation zu Testmanager:Innen und zu den Tester:Innen. Anbindung in alle Kommunikations- und Ticketsysteme.
+ Testumgebungen – Direkte und sichere Anbindung zu Testumgebungen. Auch zusätzlich durch Inhouse Geräte Pools.
+ Peripherie – Externe Peripherie kann in den meisten Fälle mit getestet werden.
+ Geschwindigkeit – Testergebnisse binnen eines Tages.
+ Ergebnisse – durch geschulte Experten Teams entsprechen die Ergebnisse hohen Entwickler-Standards.
+ Devices – viele verschiedene Geräte. Auch an Kundenbedürfnisse anpassbar.
Cons:
– Tester:Innen-auswahl – Bedingte demographische Auswahl von Tester:Innen, die der eigenen Zielgruppe entsprechen.
– Gerätepool Longtail – Geräte Pool ist beschränkt auf die mit der höchsten Verbreitung. Abdeckung von ca. 80%.
– Reaktionszeiten – Tests müssen mind. 24h vorher Angekündigt werden.
Fazit:
Alle drei Methoden haben je nach Ausrichtung des Unternehmens ihre Daseinsberechtigung. Reines Inhouse-Testing ist dabei nur den größten Entwicklern bei sehr viel regelmäßigem Output vorbehalten.
Für die meisten Unternehmen kommt somit eher externes Testing in Frage. Entwickler:Innen ziehen häufig aufgrund der Ergebnisqualität die Zusammenarbeit mit externen Inhouse-Tester:Innen vor. Gerade Regressionstests sind mit Inhouse-Teams meist effizienter abzudecken.
Das Crowd-Testing hat ihre größte Stärke, wenn es um kurze Tests von bestimmten Features geht. Die Vor- und Nachteile von Crowd- und Inhouse Testing muss man am Ende für sich selbst abwägen.
