Don’t make me think aloud! Hardop denken tijdens eyetracking onderzoek vervuilt eyetracking data

Momenteel worden nog veel usabilitytests uitgevoerd met behulp van het zogenaamde Think Aloud protocol of ook wel ‘hardop denken’ genoemd. In dit protocol is het de bedoeling dat een testdeelnemer tijdens het uitvoeren van een taak vertelt waarom hij/zij op bepaalde links, menu-items, banners en wat dies meer zij klikken. Welke associaties ze daarbij maken enzovoort. Belangrijk hierbij is dat de motieven van keuzes die gebruikers maken aan het licht komen zodat de website beter bij de behoefte van de gebruiker gaat aansluiten. Dit lijkt een goede manier om een usabilitytest uit te voeren. Echter, het veelgebruikte Think Aloud protocol blijkt sterk onder druk te staan om meerdere redenen:

• het is onnatuurlijk, niemand praat namelijk achter zijn beeldscherm over hetgeen wat hij/zij bekijkt
• gebruikers voelen zicht niet zeker over datgene wat zij vertellen waarom de website niet goed functioneert
• gebruikers voelen een bepaalde druk wanneer zij worden geobserveerd waardoor zij zich anders gedragen
• gebruikers zijn niet bekend met ‘hardop’ denken
• gebruikers die ‘hardop’ denken beïnvloeden daarmee de normale werkwijze om een taak succesvol af te ronden en doen daar ook langer over
• gebruikers vinden het vaak niet fijn om ‘hardop’ te denken 

Retrospective Think Aloud en Eyetracking

Om bovengenoemde redenen (nadelen) het hoofd te kunnen bieden, is onlangs het Retrospective Think Aloud protocol in combinatie met Eyetracking geïntroduceerd. Het bedrijf Bunnyfoot maakt hier al succesvol gebruik van. Hierbij worden testdeelnemers tijdens een usabilitytest met rust gelaten om hun taak op een website uit te voeren. Omdat zowel hun kijk- en klikgedrag in kaart wordt gebracht, kunnen we de testdeelnemer na de test ‘confronteren’ met het gebruik van de website. Door het tonen van de kijkmomenten en de kliks aan de testdeelnemer, kunnen de highlights met de testdeelnemer worden besproken. De testdeelnemer is zeer goed in staat om dit van commentaar te voorzien. Uit diverse onderzoeken, waaronder die van de Universiteit van Lancaster (PEEP) en de Universiteit van Tampere (pagina 88), blijkt dat deze methode significant meer usability problemen aan het licht brengt dan een ‘gewone’ usabilitytest waarbij het Think Aloud protocol wordt gehanteerd.De eigenaar van de site krijgt met de nieuwe methode nog beter inzicht waar de verbeterpunten liggen.

Onderstaand zien we een afbeelding van de kijkmomenten op de site van Neckermann. De blauwe stippen zijn de kijkmomenten. Hoe groter de stip, des te langer heeft men naar een bepaald item gekeken. Een rood kruisje is een muisklik (activering). In deze test (geen echte) is de persoon gevraagd te zoeken naar een SD card. De vraag na de test zou bijvoorbeeld kunnen luiden: je hebt intensief naar het linker navigatiemenu gekeken, wat is de reden dat je uiteindelijk op het bovenste menu-item hebt geklikt? Op deze wijze wordt retrospective think aloud toegepast. Noot: uiteindelijk is de SD card na bijna 5 minuten gevonden.

DiepbiZniZ Consulting past de retrospective think aloud methode in combinatie met eyetracking toe in zijn onderzoeken.