Hoe kan pilot testing de UX-onderzoek verbeteren? | UX-onderzoek #9

Vandaag zullen we uitleggen wat pilot testing is en hoe het verband houdt met het uitvoeren van UX-onderzoek. Je zult ook zien hoe het het hele UX-proces kan verbeteren om zowel bevredigende als betrouwbare resultaten te leveren.

Pilot testing – inhoudsopgave:

1. Wat is pilot testing?
2. Wat is pilot testing in UX-onderzoek?
3. Hoe kan pilot testing UX-onderzoek verbeteren?
4. Samenvatting

Wat is pilot testing?

Pilot testing betekent, per definitie, de uitvoering van een voorlopig project, dat gericht is op het identificeren van barrières en het verzamelen van waardevolle informatie die nodig is voor verdere ontwikkelingen van het project op grotere schaal. In het kort betreft het voorlopige, onofficiële tests van een bepaald product of oplossing, evenals het opsporen van bugs – alles om de prestaties te verbeteren voordat het daadwerkelijk wordt vrijgegeven of toegepast. In dit artikel zullen we “piloting” door elkaar gebruiken met “pilot testing” en uitleggen wat piloting is in de context van UX-onderzoek.

Wat is pilot testing in UX-onderzoek?

Pilot tests in UX betreffen die onderzoeksessies die één of twee keer plaatsvinden vóór de daadwerkelijke test of interview. Dit maakt het mogelijk om de bruikbaarheid van de enquête voor de respondent te verfijnen, wat het gemakkelijker en efficiënter maakt om de daadwerkelijke enquête op een later tijdstip uit te voeren. Het stelt ons in staat om de inhoud van de taken te valideren – of ze begrijpelijk en duidelijk zijn voor de gebruikers, te leren over de geschatte tijd van de enquête, wat ons helpt deze beter en realistischer te plannen, en in het geval dat de test zelf soepel verloopt, kunnen we aanvullende gegevens verzamelen voor de onderzoeksanalyse.

In een pilot test vindt meestal één of twee sessies plaats vóór de hoofdtest die gepland staat. Dit kleine aantal sessies is doorgaans voldoende om je voor te bereiden op de echte test en ervoor te zorgen dat alles in orde is. Het doel van de proef is om te beoordelen en ervoor te zorgen dat de volledige, juiste studie zo soepel mogelijk verloopt. Er zijn verschillende situaties waarin pilot tests bijzonder cruciaal blijken te zijn:

• Wanneer de ontwerper nieuw is in de organisatie of het team of geen ervaring heeft met gebruikerstests. Dit helpt bij de eerste poging met een test sessie, waarvan we de resultaten altijd kunnen weglaten uit de officiële analyse in geval van falen.
• Testen in een onbekend onderwerpgebied. Als je geen expert bent in een bepaald gebied, kan pilot testing je helpen beter voor te bereiden.
• Het uitvoeren van een remote, ongemodereerde test. Wanneer instructies voor een test niet rechtstreeks van de onderzoeker komen, maar worden verzonden naar testgebruikers die onafhankelijk moeten handelen. De instructies hebben pilot testing nodig om de mogelijkheid van misinterpretatie te verminderen. In het geval van ongemodereerde tests heeft de deelnemer geen mogelijkheid om om verduidelijking te vragen bij het tegenkomen van een probleem tijdens de test.
• Het uitvoeren van een kwantitatieve enquête. Typisch betreft dit grootschalige projecten die gericht zijn op het verkrijgen van statistisch significante resultaten. In dergelijke enquêtes moet elke sessie hetzelfde patroon volgen, waardoor ze een rigide scenario vereisen dat robuuste evaluatie ondergaat.

Hoe kan pilot testing UX-onderzoek verbeteren?

Pilot tests maken het mogelijk om het daadwerkelijke onderzoek met gebruikers aanzienlijk te verbeteren – en zo de uitkomst van het project te beïnvloeden. Een van de belangrijkste voordelen van pilots is dat ze een zogenaamde “dress rehearsal” zijn vóór de studie. Dit maakt het mogelijk om ervoor te zorgen dat de moderator en het hele onderzoeksteam zijn voorbereid op alle eventualiteiten, om te controleren of al het benodigde materiaal is afgedrukt, de website werkt en functioneel is, het toestemmingsformulier is voorbereid en de (werkende) camera’s op de juiste hoek zijn ingesteld. Een dress rehearsal vóór de enquête is een geweldige manier om de gereedheid van het team te controleren.

Pilot studies hebben ook een ander waardevol voordeel – ze stellen ons in staat om taken te testen. Als de gebruiker niet met de test omgaat (zoals we aannamen) vanwege een slecht geschreven taak, dan beïnvloeden we de resultaten van de studie negatief. Overmatig gecompliceerde, onduidelijke taakinhoud neemt tijd weg van het bestuderen van de interface, vereist herschrijven van de taakinhoud en aanvullende uitleg, en leidt zowel de gebruiker als de facilitator af. Vaak kunnen taken die voor onderzoekers en ontwerpers duidelijk en eenvoudig lijken, moeilijk en verwarrend zijn vanuit het perspectief van de gebruiker. Een pilot test stelt je in staat om dergelijke hotspots vóór de echte studie te identificeren. Dit stelt je in staat om de inhoud of reikwijdte van de taken rustig aan te passen en een soepele studie te waarborgen – en betere resultaten!

Pilot testing is ook belangrijk vanwege timing – het stelt je in staat om met betere nauwkeurigheid te bepalen hoe lang de daadwerkelijke test zal duren en om vergaderingen met testgebruikers beter te plannen. Het schatten van de tijd om een taak te voltooien op basis van je eigen ervaring kan vaak de werkelijke benodigde tijd missen. Daarom stelt het uitvoeren van een pilot met een of twee pilotgebruikers je in staat om dit met veel grotere nauwkeurigheid te bepalen.

Het laatste voordeel van pilot testing waar we het over willen hebben, is dat als het soepel verloopt, we gegevens verzamelen die we kunnen gebruiken in de uiteindelijke onderzoeksanalyse. Als de pilot sessie geen grote fouten in de voorbereidingen van het team detecteert, voert onze tester-gebruiker alle geplande taken uit en heeft geen probleem met het interpreteren van hun inhoud, dan verzamelen we waardevolle gegevens die kunnen blijven. Hoewel pilot tests ons niet alleen waardevolle informatie kunnen geven over het verloop van de test en onze voorbereiding, maar ook over het product zelf, de bruikbaarheid van de interface en de werking ervan.

Samenvatting

We hopen dat we je hebben kunnen overtuigen dat pilot testing zeer belangrijk is in UX-onderzoek, en dat het veel voordelen heeft voor het projectteam, het verloop van verder onderzoek, de resultaten en het uiteindelijke projecteffect in bredere zin. Tot slot hebben we twee tips voor je over het plannen van pilot studies:

• om het meeste uit de pilot sessie te halen, plan deze ten minste 1 dag vóór de doelstudie. Een dergelijke stap zal jou en je team voldoende tijd geven om noodzakelijke aanpassingen te maken vóór de volgende studie
• bij het werven van deelnemers voor de studie, zoek naar mensen die overlappen met het profiel van je gebruiker, zodat hun feedback relevanter wordt (je voegt deze studie toe aan de uiteindelijke analyse van de resultaten – aangezien de testgebruiker overeenkomt met het profiel van je doelgebruiker)

We weten dat het uitvoeren van pilot tests extra tijd en moeite voor je team betekent: je moet extra deelnemers werven, materialen enkele dagen van tevoren voorbereiden en vervolgens een extra sessie (of zelfs meerdere) plannen en uitvoeren. Overweeg echter de voordelen – door ervoor te kiezen om pilot testing uit te voeren, vergroot je de kans dat de uiteindelijke test soepel verloopt, wat resulteert in waardevolle resultaten voor je team en uiteindelijk voor je product.

Als je onze inhoud leuk vindt, sluit je dan aan bij onze drukke bijengemeenschap op Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.