Usabilitytests haben sich zu einem wichtigen Messinstrument der Qualitätsbeurteilung von Softwareprodukten entwickelt. Während in der qualitativen Forschung eine Hinterfragung der Handlungsweisen von Probanden beim Testen der Software im Blickpunkt des Interesses liegt, steht bei der quantitativen Forschung zunächst die Erfassung und Auswertung meist größerer Testdaten an. Der Gesamtaufwand in quantitativen Forschungsprojekten ist oft sehr stark davon abhängig, wie aufwändig die Erfassung der Rohdaten für die quantitative Analyse ist. Eine automatisierte Analyse der Rohdaten ist dabei natürlich zu bevorzugen – aber leider nicht immer zu erreichen.

Für das Testen der Usability mobiler Software (Software, die auf mobilen Endgeräten, z.B. Smartphones zum Einsatz kommt) wurde von der mobilen Forschungsgruppe die Methode der “Usabilitytests for Scenarios Of Fragmented Attention” entwickelt [1]. Bei dieser Methode werden die Probanden beim Benutzen einer Software beobachtet, während Ihre Aufmerksamkeit von einem von Testtask unabhängigen Primärtask abgelenkt wird. Gemessen wird, wie oft und wie lange die Probanden das Smartphone ansehen/bedienen müssen, um den vorgegebenen Testtask zu erfüllen.

Der aufwändigste Teil der Analyse ist dabei die Videomitschnitte der Testdurchgänge möglichst genau zu analysieren. Oft sind die Blicke, die der Benutzer auf das Gerät wirft, nur Sekundenbruchteile lang. Je nach Komplexität des Primärtasks liegt die Maximalzeit, die ein Proband dem Testtask in einem Stück widmen kann bei wenigen Sekunden. Zwar kann man bei geeigneter Testinfrastruktur und -umgebung sowie guten Videoaufnahmen durchaus erkennen, welchem Task sich der Proband gerade widmet, die genau Messung erfolgt dann aber i.A. durch framegenaue Analyse der Einzelbilder manuell  – eine langweilige und bei einer für eine quantitative Auswertung ausreichenden Menge an Testvideos auch sehr aufwändige und damit teure Arbeit.

Einfacher geht es mit der iPhone Applikation “Multitimer”. Diese im Zuge der laufenden Forschung von uns erstellte Applikation wird zum “manuellen Stoppen” der Events im Testvideo in Echtzeit verwendet. Der Benutzer kann damit 2 Eventtypen (A und B) voneinander unabhängig stoppen. Einzelevents werden solange “mitgeschrieben”, wie die entsprechende Eventtaste gedrückt wird. Das Programm zeigt  sowohl die verstrichene Gesamtzeit (Laufzeit des Videomitschnitts) als auch die Anzahl und Durchschnittsdauern der Einzelevents sowie die Gesamtdauer der Einzelevents pro Eventtyp an. Für den Eventtyp A kann man sich zusätzlich die Dauer aller Einzelevents ausgeben lassen.

Natürlich kommt die Genauigkeit dieser Messungen an eine genaue Analyse auf Framebasis nicht heran. Andererseits mussten wir aber feststellen, dass auch bei der Einzelframebetrachtung nicht immer klar ist, wann genau der User bereits auf das Smartphone schaut (= Testtask) oder nicht (= Primärtask). Auch die framegenaue Analyse mit Hilfe eines Videoeditors kann also oft keine ganz genauen Ergebnisse liefern. Mit ein wenig Übung mit der Applikation konnten wir aber eine hinreichende Genauigkeit der Multitime-Messungen nachweisen. Tatsächlich ist die gemessene Anzahl der Einzelevents bei der toolunterstützten Messung i.a. gleich mit der Einzelframeanalyse und die Durchschnittswerte unterscheiden sich zwischen toolunterstützter und framegenauer Analyse nur um wenige Prozent. Allgemein konnten wir beobachten, dass die zu messenenden Events meist etwas zu spät erkannt werden (d.h. der Tester drückt zu spät auf den Knopf), gleiches gilt aber auch auf das Erkennen des Eventendes zu. Die Einzelevents werden also im Vergleich zum Video etwas zu spät aber dennoch in richtiger Länge aufgezeichnet. Für sehr schnelle Messungen kann man das Video auch in Zeitlupe analysieren.

Fazit: Mit Hilfe des Tools Multitimer lässt sich die Dauer zum Analysieren von Videomaterial auf Anzahl und Zeiten von zu beobachtenden Einzelevents problemlos um den Faktor 10 beschleunigen. Liegt die benötigte Genauigkeit der Einzelmessungen über ca. 1/3 Sekunde, können mit dem Tool meist hinreichend genau Tests durchgeführt werden, auch wenn das Tool etwas Einarbeitungszeit verlangt. Durch Zeitlupenaufnahmen kann die Genauigkeit problemlos erhöht werden.

Multimeter ist Freeware und Open Source. Herunterladen kann man es unter: https://github.com/GrischaSchmiedl/Multitimer

[1] Schmiedl, Blumenstein, Seidl (2011): Usability Testing for Mobile Scenarios of Fragmented Attention, Proceedings of the CHI Sparks Conference, Han, Nederlands