search query: @keyword / total: 766
reference: 19 / 766
| Author: | Velinen, Tuija |
| Title: | Testitehtävän realistisen muotoilun vaikutus käytettävyystestin tuloksiin |
| The Effect of Realistic Task Design on Usability Test Results | |
| Publication type: | Master's thesis |
| Publication year: | 2015 |
| Pages: | vi + 63 s. + liitt. 11 Language: fin |
| Department/School: | Perustieteiden korkeakoulu |
| Main subject: | Ihminen ja vuorovaikutus (IL3008) |
| Supervisor: | Nieminen, Marko |
| Instructor: | Laakso, Karri-Pekka |
| Electronic version URL: | http://urn.fi/URN:NBN:fi:aalto-201511205248 |
| Location: | P1 Ark Aalto 3225 | Archive |
| Keywords: | test task realistic test task task design usability test usability evaluation methods UEM method comparison testitehtävä käytettävyystesti realistinen testitehtävä testitehtävän muotoilu käytettävyyden arviointimenetelmät menetelmävertailu |
| Abstract (eng): | When designers want to know how people use their products in real situations, they can conduct usability tests. In these tests, the actual users perform real tasks while observers are taking notes. The more realistic the test situation is, the better will the designers understand how the product is used in real situations and what kind of problems might arise. One way to make test situation more realistic is to use realistic test tasks. This study aims to find out how to design realistic test tasks, and how the task design affects the test results. The hypothesis of this study was that we find more relevant usability problems with realistic test tasks but did not know how much more. The amount is interesting since even usability experts are using deficient test tasks in usability tests. Realistic test tasks are written on the language of the user, and they describe the context and the goal for the user. A test task should not give away any clues on how to use the system since the purpose of the test is to exam how the users would use the system by themselves. By giving them a clear goal and context in a story form, they can relate better to the situation and consider things that matter in their own lives. To summarize, you should give the user everything he knows in the real life, and leave out the things he does not know. As a result the setting will be closer to the real situation, and consequently the results will correspond with the problems of the real life. Two sets of test tasks were written for this study: Realistic test tasks that follow the most common recommendations of the field, and unrealistic test tasks that violate these recommendations as much as possible. Comparison study was conducted with eight participants, and it turned out that realistic test tasks revealed usability problems three times more than unrealistic tasks. In addition, the problems found with realistic tasks were more severe i.e. the users were more frustrated and took longer time to overcome their challenges. The findings with realistic test tasks were also more relevant for the developers of the tested service (Saunalahti web shop), because those problems' probability to interrupt the purchase was higher on average. To conclude, the design of the test tasks seems to have a great impact for usability test results, and therefore test tasks should be written with care. |
| Abstract (fin): | Kun suunnittelijat haluavat selvittää, kuinka heidän tuotteensa käyttö sujuu todellisessa tilanteessa, he voivat järjestää käytettävyystestejä. Näissä todelliset käyttäjät suorittavat todenkaltaisia tehtäviä testaajan tarkkaillessa vierestä. Mitä realistisempi testitilanteesta saadaan, sitä paremman kuvan suunnittelijat saavat siitä, miten tuotetta käytetään tositilanteissa ja millaisia ongelmia tuotteessa on. Eräs tapa lisätä tätä tilanteen realistisuutta on käyttää realistisia testitehtäviä. Tämän työn tarkoitus oli selvittää, miten realistinen testitehtävä muotoillaan, ja mikä vaikutus tällä muotoilulla on tuloksiin. Hypoteesina oli, että realistisilla testitehtävillä löydetään enemmän oleellisia käytettävyysongelmia, mutta kiinnostavaa oli tietää kuinka suuri tämä ero on, sillä jopa asiantuntijat käyttävät hyvin puutteellisia testitehtäviä käytettävyystesteissä. Realistisesti muotoiltu testitehtävä kuvaa tavoitteen ja kontekstin ja puhuu käyttäjän kieltä. Testitehtävän ei tulisi antaa minkäänlaisia vihjeitä käyttöliittymän käytöstä, vaan tarkoituksena on nähdä, miten käyttäjä selviytyy tehtävästä ilman apua. Kun käyttäjälle kuvataan tavoite ja konteksti tarinan muodossa, hän pystyy eläytymään tehtävään ja tuomaan näin tosielämässä merkitsevät asiansa mukaan testitilanteeseen. Yhteenvetona voidaan todeta, että käyttäjälle pyritään kertomaan se, minkä hän tietää todellisessa tilanteessakin, ja jätetään pois kaikki, mitä käyttäjä ei tietäisi tositilanteessakaan. Näin tilanne saadaan lähemmäksi todellista tilannetta ja sitä kautta myös testin löydökset vastaavat paremmin tosimaailmassa käyttäjille eteen tulevia ongelmia. Työtä varten kolmesta testikohteesta kirjoitettiin realistiset testitehtävät, jotka noudattavat näitä asiantuntijoiden suosituksia, ja epärealistiset testitehtävät, jotka taas rikkovat näitä suosituksia mahdollisimman paljon. Kahdeksalla testihenkilöllä suoritettu vertailututkimus paljasti, että realistisesti muotoilluilla testitehtävillä löytyi lähes kolminkertaisesti ongelmia epärealistisiin nähden. Lisäksi realistisilla tehtävillä löytyneet ongelmat olivat suhteessa vakavampia, eli käyttäjät turhautuivat ja ongelmista ylipääseminen kesti kauemmin. Realististen testitehtävien löytämät ongelmat olivat myös testatun verkkokaupan näkökulmasta oleellisempia, sillä niiden todennäköisyys johtaa kaupan keskeytymiseen oli keskimäärin suurempi. Tehtävien muotoiluun kannattaa siis panostaa, koska sillä on merkittävä vaikutus tuloksiin. |
| ED: | 2015-11-29 |
INSSI record number: 52588
+ add basket
INSSI