Važno: članak se pojavio prije 10 godina (gore datum nije datum pisanja, već datum zadnje revizije). Članak je užasno zastario i uopće ga ne uklanjamo jer iz nekog nepoznatog razloga nitko nije napisao bolje i novije na ruskom tijekom godina.

Testiranje upotrebljivosti pojavilo se u izrazito birokratskim područjima - u vojnoj industriji i u području rizične civilne proizvodnje (zrakoplovi, elektrane itd.). Kao posljedica toga, samo testiranje upotrebljivosti bilo je krajnje birokratsko – bilo je potrebno ne samo pronaći problem, nego što je još važnije, dokazati da problem stvarno postoji. Osim toga, testiranje upotrebljivosti naslijedilo je tehnike i pravila znanstvenog istraživanja, u kojima nije važno samo otkriti pojavu, već i osigurati da nije rezultat vanjskih okolnosti. Zbog prisilnog kompliciranja procesa u testiranje su se angažirali cijeli timovi uskih stručnjaka: jedan piše testne zadatke, drugi zapravo testira, treći analizira podatke, a drugi vuče i vuče ispitanike.

Lako je razumjeti što je testiranje, unatoč svim svojim prednostima, vrlo je dugotrajno i neprihvatljivo skupo.

Posljednjih godina situacija se počela mijenjati: umjesto izrazito formalnih i iznimno skupih testova, popularni su neformalni i jeftini testovi. Umjesto male gužve s gomilom skupe opreme, u prvi plan dolazi samac s minimumom stvari. Bit ovog pristupa opisana je u knjizi Web Design: A Book Stevea Kruga ili "Nemoj me natjerati da mislim!" ...

Naravno, jednostavni testovi nisu univerzalni. Za kontrolnu ploču zrakoplova, vjerojatno neće raditi. Ali za obični softver jednostavni testovi su puno bolji, makar samo zato što se može izvesti više njih.

Ovdje ćete naučiti kako provesti testiranje upotrebljivosti pomoću tehnika brzog testiranja. Složenije i formalnije metode možete pronaći u specijaliziranoj literaturi ili ih sami izmisliti.

Što je testiranje upotrebljivosti

Testiranje upotrebljivosti je svaki eksperiment koji ima za cilj mjerenje kvalitete sučelja ili traženje specifičnih problema u njemu.

Prednosti testiranja upotrebljivosti su višestruke. Testiranje vam omogućuje:

• Razumjeti koliko loše ili dobro funkcionira sučelje, što može potaknuti na poboljšanje ili, ako je već dovoljno dobro, smiriti se; u svakom slučaju, korist je postignuta.
• Usporedite kvalitetu starog i novog sučelja i tako pružite opravdanje za promjene ili implementaciju.
• Pronađite i identificirajte problematične fragmente sučelja, te uz dovoljnu veličinu uzorka procijenite i njihovu učestalost.

Istodobno, testiranje upotrebljivosti ne može od lošeg proizvoda napraviti dobar proizvod; samo čini proizvod boljim.

Prvo testiranje velikih sustava uvijek pokazuje da sučelje radi puno lošije nego što njegov vlasnik ili kreator misli, i puno bolje nego što tester na početku vjeruje.

Zašto jeftino

Tri pristupa omogućuju drastično smanjenje intenziteta rada, a time i troškova testiranja upotrebljivosti:

1. Nešto pojednostavljenja koncepta upotrebljivosti.
2. Odbijanje prikupljanja kvantitativnih podataka.
3. Smanjenje troškova opreme i smanjenje plaćanja vremena ispitanika.

Treći pristup je korištenje samo mobilnih laboratorija, što je detaljno opisano u odjeljku. Preostala dva pristupa opisana su u nastavku.

Učinkovitost i učinkovitost

U glavnom i najčešće korištenom tumačenju (standard ISO 9241-11) pojam upotrebljivosti definira se kao

U kojoj mjeri određeni korisnici mogu koristiti proizvod za postizanje određenih ciljeva s učinkovitošću, učinkovitošću i zadovoljstvom u određenom kontekstu upotrebe.

Moj prijevod ovog teksta na ruski:

Stupanj učinkovitosti *, intenzitet rada ** i zadovoljstvo s kojim pojedini korisnici mogu koristiti proizvod u određenom kontekstu korištenja za postizanje određenih ciljeva.

* Na primjer, brzina rada ili broj ljudskih pogrešaka i trajanje njihovog ispravljanja.

** Na primjer, broj operacija koje je potrebno izvesti da bi se postigao rezultat ili količina informacija koje je potrebno obraditi za donošenje odluke. Termin učinkovitosti se još uvijek često prevodi na ruski kao produktivnost; po mom mišljenju, ovo je velika pogreška, budući da je u izvornom standardu ISO 9241-11 pod učinkovitosti razumije se nešto blisko konceptu učinkovitosti.

Glavni pokazatelji uspješnosti su brzina korisnika, brzina učenja i broj ljudskih pogrešaka (pogledajte odjeljak za detaljniji popis metrika). To su potrebni pokazatelji, kao i utjecaj na dizajn. Ono što je lijepo je da njihovo mjerenje nije posebno problematično.

S pokazateljima intenziteta rada sve je nešto složenije. Ova grupa uključuje:

• Uspjeh, tj. omjer obavljenih testova prema neispunjenim ili potpuno netočnim.
• Snaga, tj. omjer zadataka iz aktivnosti korisnika prema zadacima za koje je ovaj proizvod namijenjen.
• Opterećenje korisnika (i mentalno opterećenje i, na primjer, broj radnji korisnika po testnom zadatku).

Ovdje postoje dva problema. Snaga uopće nije mjerljiv pokazatelj (više ili manje snage proizvoda u potpunosti je stvar dizajna). Opterećenje korisnika je ili teško izmjeriti, ili je nebitno, jer se još uvijek očituje u pokazateljima učinkovitosti - s intenzivnim opterećenjem, brzina rada se smanjuje. Dakle, od svih pokazatelja intenziteta rada u praksi ostaje samo uspjeh.

Nema ništa buntovno u ovom pojednostavljenju. U stvarnom testiranju, cijeli skup pokazatelja se nikada ne prikuplja - uostalom, samo nekoliko njih je važno za svaki određeni sustav. Međutim, temeljna posljedica ovog pojednostavljenja teksta - značajno pojednostavljenje metodologije testiranja upotrebljivosti - ne može se postići ni na koji drugi način.

Stupanj učinkovitosti, uspjeha i zadovoljstva s kojim proizvod mogu koristiti određeni korisnici u specifičnom kontekstu korištenja za postizanje određenih ciljeva.

Nema količine!

Druga prilika da se smanji radni intenzitet testiranja upotrebljivosti je izbjegavanje prikupljanja većine kvantitativnih podataka. To se radi iz dva razloga:

• Svaki pojedini test može biti usmjeren na dobivanje kvantitativnih ili kvalitativnih podataka. Kvalitativni podaci obično su traženiji u dizajnu, pa je bolje planirati test imajući to na umu.
• Kvantitativni podaci su još uvijek nepouzdani. Mogu se pouzdano izmjeriti, ali to je izuzetno dugotrajno.

Kvaliteta ili kvantiteta?

Testiranje upotrebljivosti može biti usmjereno ili na dobivanje kvantitativnih podataka (potrebnih za mjerenje ergonomije sučelja), ili na dobivanje kvalitativnih podataka (potrebnih kako bi se razumjelo što je loše i kako to popraviti). U pravilu je nemoguće postići oba cilja u jednom testu.

Pretpostavimo da mjerimo brzinu rada sa sustavom. U tom slučaju, test treba planirati na način da se isključi svako usporavanje korisnika neuobičajeno za stvarni rad. Na primjer, kada korisnik pogriješi, neće mu biti moguće postaviti nikakva pitanja kako bi se utvrdili razlozi pogreške. S druge strane, ako se usredotočite na kvalitativne podatke, svi će kvantitativni rezultati biti upitni.

U stvari, kvantitativni podaci općenito su luksuz upotrebljivosti, budući da su ugodniji nego što je stvarno potrebno. Trebamo više dinamike, t.j. stupanj promjene ovih podataka, što uvelike olakšava život. Nije važno koliko su točno pogreške izbrojane – ako su se isto brojale prije i nakon optimizacije sučelja, čini se da je dinamika točna. Na primjer, ako se pri prebrojavanju broj ljudskih pogrešaka prepolovio, možete očekivati ​​(samo nemojte me tražiti da potkrijepim ovu prosudbu) da ih je doista bilo pola, iako je nemoguće reći koliko ih je točno bilo i koliko ih je zapravo postalo.

Nepouzdani brojevi

Uz to, pitanje treba li uopće vjerovati rezultatima testiranja upotrebljivosti zaslužuje razmatranje. Uostalom, testiranje nije magija, pa ako pretpostavite da bi testiranje moglo biti loše, morate zaključiti da bi moglo imati loše rezultate.

Odgovor na ovo pitanje je jednostavan i tužan – nema razloga uopće vjerovati u rezultate testiranja upotrebljivosti.

Doista, unatoč činjenici da imamo apsolutno stvarne podatke na ulazu tijekom testiranja upotrebljivosti, naš neizbježni volonterizam ne dopušta nam da im u potpunosti vjerujemo. Imamo previše potencijalnih izvora pogrešaka:

• Stvarni korisnici mogu se razlikovati od naših odabranih ispitanika. U malom uzorku, čak i neznatna fluktuacija u ponašanju ispitanika može navesti stručnjaka za upotrebljivost do pogrešnih zaključaka.
• Testni zadaci mogu neadekvatno odražavati stvarne aktivnosti korisnika u sustavu.
• Stručnjak za upotrebljivost možda neće primijetiti dijelove problema ili pogrešno shvatiti bit problema.

Rolf Molich redovito provodi usporedno testiranje samog testiranja upotrebljivosti. Rezultati su šokantni. Primjerice, u drugom testu, u kojem je devet grupa stručnjaka za upotrebljivost različitih razina testiralo uslugu HotMail, rezultati su bili vrlo razbacani, iako su testni zadaci bili identični. Svi su timovi pronašli ukupno 310 problema s sučeljem. Ali tri četvrtine problema pronašla je samo jedna skupina, a ostale grupe nisu (ovaj postotak uključuje dvadeset i devet stvarno ozbiljnih problema).

Općenito, testiranje upotrebljivosti može biti znanstvenim istraživanjima, na koje su sasvim primjenjivi svi zahtjevi za znanstveno istraživanje općenito.

Na primjer, usporedite testiranje upotrebljivosti sa studijom slučaja. Sociolog poduzima posebne mjere, napominjem - složene i dugotrajne - kako bi osigurao ispravan izbor ispitanika. Nismo. Sociolog koristi provjerene, statistički ispravne alate, kako u prikupljanju podataka, tako i u njihovoj analizi. Nismo.

Dakle, kad god pokušamo nešto točno izmjeriti, griješimo. Kad se i ne trudimo postići točnost, također se varamo, možda i ne toliko, budući da je letvica već spuštena gotovo do poda.

Što to konkretno znači? U pravilu ne možemo sa sigurnošću tvrditi, na primjer, da smo iz sučelja uklonili sve uzroke ljudske pogreške. Jednostavno zato što bismo s drugim, možda bolje usklađenim ispitanicima, - opet možda - pronašli više pogrešaka. Isto razmatranje vrijedi i za ostale pokazatelje kvalitete sučelja, a još više za druge testne zadatke. A što da je testiranje planirao i proveo netko iskusniji od nas! I strašno je zamisliti.

Stoga moramo mjeriti ergonomiju samo radi usporedbe s novim sučeljem, a pritom shvaćamo da naša mjerenja nikako nisu točna. Potrebni su samo za planiranje najbližih optimizacija. Sa sigurnošću se može reći samo jedno – koliko god testirali, uvijek ima mjesta za napredak. Kao rezerva za poboljšanje samog sučelja, i naših metoda testiranja.

Zašto su brojevi uopće potrebni?

Osvrćući kvantitativne podatke kao nezanimljive i nepouzdane, ne mogu ne istaknuti njihovu pravu svrhu. Kvantitativni podaci su apsolutno neophodni u usporednom testiranju upotrebljivosti. Ako postoji nekoliko rješenja od kojih trebate odabrati najbolje - jednostavno nema alternative kvantitativnim podacima, nužno ih je prikupiti i morate poduzeti sve moguće mjere kako biste osigurali njihovu pouzdanost (posebno jer kvalitativni podaci nisu potrebni u sve u usporednom testiranju upotrebljivosti). Međutim, usporedna ispitivanja su rijetka, stoga se ova tema ovdje uopće ne razmatra. Ako trebate benchmarking testiranje, obratite se.

Što točno mjeriti?

Broj izmjerenih pokazatelja u pojedinom testu može biti prilično velik, ali se svi u pravilu svode na skup od pet osnovnih karakteristika. U nastavku se nalazi popis ovih karakteristika s primjerima metričkih podataka generiranih iz njih.

• Brzina korisnika. metrika: trajanje operacije; vrijeme utrošeno na otkrivanje pogrešaka; vrijeme utrošeno na ispravljanje pogrešaka; broj naredbi koje se izvršavaju prilikom izvođenja operacije (pretpostavlja se da što je više naredbi, to je duže potrebno za njihovo davanje); trajanje potrage za informacijama u dokumentaciji; broj naredbi koje su učinkovitije od onih koje koristi korisnik; smanjenje produktivnosti tijekom dugotrajnog rada.
• Pogreške. Mjerni podaci: postotak operacija koje su uzrokovale pogrešku; prosječan broj pogrešaka po operaciji za iskusne korisnike (posebno za iskusne korisnike, budući da i oni neiskusni mogu imati faktore iz skupine stope učenja); broj pogrešaka koje korisnici nisu otkrili i nisu ispravili.
• Učenje vještina za rad sa sustavom. metrika: broj i učestalost poziva u sustav pomoći; trajanje razdoblja između početka korištenja sustava i točke u kojoj brzina rada/broj korisničkih pogrešaka prestaje rasti; razlika u broju pogrešaka/brzini rada među korisnicima s iskustvom korištenja sustava i bez takvog iskustva.
• Subjektivno zadovoljstvo korisnika. Mjerenje ove karakteristike povezano je s određenim poteškoćama koje zaslužuju posebno razmatranje. U nastavku pogledajte mjerne podatke za ovu nekretninu.
• Zadržavanje vještina rada sa sustavom. Metrika: razlika u brzini rada/broju pogrešaka između korisnika nakon sat vremena rada sa sustavom i za istog korisnika na početku korištenja sustava nakon duže pauze.

Kao što vidite, mjerenje kvalitete sučelja može biti prilično teško, na primjer, test zadržavanja vještina može potrajati više od mjesec dana. No to su samo testovi za drugu i treću komponentu upotrebljivosti, a to su učinkovitost i zadovoljstvo. Osim njih, tu je i uspjeh, koji je važniji i koji je puno lakše izmjeriti – samo treba izračunati koliki postotak zadataka korisnik obavi potpuno pogrešno, ili ga uopće ne može. To uvelike pojednostavljuje život korisnika.

Koliko je duboko zadovoljstvo?

Za razliku od ostalih karakteristika, zadovoljstvo nije u stvarnom svijetu, već u glavi korisnika. Kao posljedica toga, nemoguće ga je "dotaknuti", pa ga je nemoguće objektivno izmjeriti. Ali barem se može mjeriti neizravno.

Postoje dva moguća pravca djelovanja. Prvo se ispitanik može upitati koliko je sučelje zadovoljavajuće. Drugo, ponašanje ispitanika može se koristiti za određivanje sviđa li mu se ili ne sviđa sučelje u bilo kojem trenutku; prebrojavanjem broja prikazanih reakcija može se procijeniti zadovoljstvo. Naravno, ove procjene su relativne; njihova se vrijednost očituje samo u usporedbi s novim sučeljem ili u usporedbi s konkurentima.

U nastavku su neke metode za mjerenje zadovoljstva.

Upitnik

Ako kroz anketu ispitanika pokušate utvrditi zadovoljstvo, ne možete bez formalnih upitnika. Doista, ako format ankete nije fiksni, ne može biti sigurno da je ispitanicima postavljeno isto pitanje, što znači da odgovori postaju dvojbeni.

Nažalost, u ruskom kontekstu upitnici imaju veliki nedostatak - pouzdani upitnici jednostavno ne postoje. Unatoč činjenici da su u zemljama propadajućeg Zapada stvoreni mnogi prilično izvodljivi upitnici (SUMI, QUIS, MUMMS, IsoMetrics, itd.), nijedan od njih nije preveden na ruski i nije ponovno testiran. Kao rezultat toga, ovi upitnici, koji su, inače, vrlo skupi, nisu ništa pouzdaniji od bilo kojih upitnika koje možete sami smisliti.

Nažalost, izrada i testiranje pouzdanih upitnika vrlo je dugotrajan i naporan proces, pa se ne može računati na brzu pojavu kvalitetnih domaćih upitnika.

Ispod su dva izvodljiva, iako nepouzdana upitnika.

Upitnik po riječima

Po prvi put su ovaj upitnik predložili istraživači iz Microsoftovog laboratorija Usability Laboratorija kao način da se vrlo brzo, premda nadaleko nepouzdan, procijeni zadovoljstvo. Upitnik je vrlo jednostavan. Ispitaniku se daje list papira s nizom nasumično odabranih pridjeva, od kojih je jedna polovica vjerojatnije pozitivna, druga polovica negativna. Od ispitanika se traži da naglasi riječi koje su, po njegovu mišljenju, primjenjive na proizvod (sličnost upitnika s upitnicima koji se koriste u metodi semantičke diferencijale nije značajna – to su potpuno različite metode). Nakon što je upitnik popunjen, izračunava se razlika između broja negativnih i pozitivnih pojmova.

Koristim sljedeći skup pridjeva:

Zastarjelo - Učinkovito - Nejasno - Nezgodno - Prljavo - Tupo - Svijetlo - Čisto - Izravno - Jasno - Nedosljedno - Neupravljivo - Atraktivno - Standardno - Kontrolirano - Dobro - Intuitivno - Zabavno - Amatersko - Neučinkovito - Opasno - Dosadno - Radosno - Sigurno - Čvrsto - Iritantno - Trokutasto - Neugodno - Udobno - Hladno - Pametno - Neupotrebljivo - Jezivo - Toplo - Lagano - Dosljedno - Tajanstveno - Kvalitetno - Zanimljivo - Nepouzdan - Fleksibilno - Zgodno - Ružno - Neprivlačno - Korisno - Ludo - Zbunjujuće - Udobno - Razumljivo - Razumljivo - Jasno - Teško - Moderno - Lagano - Prijateljsko - Nestandardno - Loše - Pouzdano - Teško - Jednostavno - Tamno - Profesionalno - Sporo - Okruglo - Tužno - Neprijateljsko - Predvidljivo - Nerazumljivo - Brzo - Ludo - Tužno - Ugodno

Napominjemo da nije slučajno što su riječi pomiješane, tako ih trebate prezentirati ispitanicima.

Formalni upitnik

Za razliku od upitnika riječima, ovaj se upitnik ne može koristiti bez prilagodbe za određeni projekt. Neka njena pitanja su nekad nebitna, nekad ih treba preformulirati. U svakom slučaju, za ispitanice je potrebno promijeniti spol teksta upitnika.

Upitnik se sastoji od nekoliko pitanja, za svako od kojih ispitanik može odabrati jednu od pet opcija odgovora. Napominjemo da sam ovaj upitnik osmislio samo kao post-test, njegova upotreba u bilo kojem drugom svojstvu je upitna.

Pitanja iz upitnika:

Tijekom izvršavanja zadataka pogriješio sam Ne / Da

Sustav je u stanju učiniti sve što trebam i još više Ne / Da Sustav radi dovoljno brzo Ne / Da

Sviđa mi se izgled sučelja Ne / Da

Osjećam da ću, ako bolje proučim sustav, moći u njemu raditi stvari za koje sada ni ne znam Ne / Da

Sustav se lako može prilagoditi mojim potrebama Ne / Da

Početak rada bio je lak; Nisam se suočio sa značajnim poteškoćama Ne / Da

Kad god sam pogriješio, lako sam uočio i ispravio svoju grešku Ne / Da

Zadovoljan sam svojom brzinom rada Ne / Da

Tijekom zadataka osjećao sam se prilično samopouzdano Ne / Da

U svakom trenutku, razumio sam što moram učiniti sljedeće Ne / Da

Sustav mi se čini korisnim, rado bih ga koristio za rješavanje svojih problema Ne / Da

Rezultate treba izračunati prema sljedećem algoritmu: središnja vrijednost daje nula bodova, ekstremne vrijednosti daju ili –2 boda (lijevi odgovor) ili +2 boda (desni odgovor), srednje vrijednosti su ili –1 ili +1 bod, redom. Rezultat je vrijednost koju treba usporediti.

Promatranje emocionalnih reakcija

Uz upitnik se mogu izračunati i emocionalne reakcije ispitanika. Primjerice, ispitanik se nasmiješio - stavio plus, opsovao ili namrštio - stavio minus. Broj i znak reakcija je željena vrijednost indikatora.

S ovom metodom također postoje problemi.

Prvo, nije jasno kako izračunati reakcije različite jačine. Koliko se puta ispitanik mora nasmiješiti da bi bio protuteža osam sekundi selektivnog zlostavljanja? A devet sekundi zlostavljanja?

Drugo, jedna te ista osoba treba izračunati reakcije svih ispitanika, budući da je nemoguće da više ljudi sinkronizira svoje ideje o tome što je, zapravo, uključeno u pojam emocionalne reakcije. Kao rezultat toga, intenzitet resursa testa se uvelike povećava.

Nemojte se zamarati ovim testom ako niste barem malo sigurni u svoju sposobnost hvatanja tuđih emocija (na primjer, ako ste vi Em, a ne Jo).

Drugi problem je nesigurnost testa. Promatra se samo operativno zadovoljstvo, odnosno zadovoljstvo, dok percipirano zadovoljstvo, koje je gotovo uvijek važnije, ostaje iza kulisa.

Što je potrebno za testiranje

Sada kada su temeljna pitanja općenito riješena, možemo nastaviti s praksom. Vrijedno je početi s popisom onoga što je potrebno prikupiti na jednom mjestu za testiranje upotrebljivosti (te će točke biti detaljnije opisane u nastavku). Dakle, ono što nam treba:

• ispitanika
• metoda ispitivanja
• testne skripte
• radna stanica za ispitivanje i uhodana metoda fiksiranja materijala
• testiran test.

Ispitanici

Prilikom odabira ispitanika za testiranje najprije je zgodno odrediti opće zahtjeve za ispitanike, a tek onda, koristeći formirane zahtjeve, odabrati ispitanike iz ciljne publike.

Imajte na umu da je odabir ispitanika koji nisu za ciljnu publiku daleko opasniji nego što se na prvi pogled čini. Ili ćete identificirati nepostojeće probleme ili nećete identificirati postojeće. U najgorem slučaju, toliko ćete pojednostaviti sučelje da će ga i prosječni korisnici, kojih je zapravo većina, teško koristiti.

Opći zahtjevi za ispitanike

Prva je točka treba li ispitanicima iskustvo sa sustavom. U pravilu, ako se optimizira sučelje postojećeg sustava, polovica ispitanika treba imati radno iskustvo (mogu utvrditi probleme prekvalifikacije tijekom implementacije), a polovica ne (oni određuju stopu učenja). Ako postoje konkurentski sustavi, bolji je drugačiji omjer: trećina s iskustvom s prethodnom verzijom, druga trećina s iskustvom s konkurentskim sustavima, a preostala trećina bez iskustva sa sustavom.

Druga točka je razina informatičke pismenosti. Uz ostale jednake stvari, preferirani izbor je stvaran, tj. poklapa se s iskustvom ciljane publike, razinom od tri četvrtine ispitanika i niskom razinom preostale četvrtine (na njoj je moguće identificirati više problema).

Prikladno je odrediti razinu računalne pismenosti prema sljedećoj ljestvici:

1. Visoko. Ispitanik ima računalo na poslu i kod kuće, većinu svoje radne aktivnosti obavlja na računalu, ispitanik samostalno koristi računalo kao sredstvo za samorazvoj, aktivno koristi usluge na internetu (npr. redovito kupuje robu i usluge u internet trgovinama).
2. Iznad prosjeka. Ispitanik ima računalo na poslu i kod kuće, većinu svoje radne aktivnosti obavlja na računalu, ali ispitanik ne koristi računalo za rješavanje problema koji nadilaze njegovu glavnu djelatnost (radi na računalu „od poziva do poziva“). ” i ne više).
3. Prosječno. Rad s računalom dio je vaše normalne (poslovne ili osobne) aktivnosti tijekom dvije ili više godina.
4. Kratak. Ili na poslu ili kod kuće postoji računalo, ali iskustvo s računalom ne prelazi dvije godine i računalo nije značajan alat u radu.
5. Vrlo nisko. Iskustvo korištenja računala je sporadično, traje manje od tri godine. Računalo se ne koristi na poslu niti kod kuće.

Na trećem mjestu je starost. Optimalni udio: tri četvrtine ispitanika je u dobi od ciljne publike sustava, preostala četvrtina je starija (na njemu je moguće identificirati više problema).

Spol ispitanika ima manji utjecaj na rezultate – ali to ne znači da nije potrebno odabrati ispravan spol. Vrijedi povećati broj žena među ispitanicima u usporedbi s udjelom u ciljnoj publici, jer je lakše identificirati probleme s implementacijom na žene (žene općenito sporije uče, ali nakon učenja rade bolje).

Posljednja značajna karakteristika je razina emocionalne otvorenosti ispitanika. Što je ispitanik više sputan, manje je u stanju reći vam vrijedno. Ni nakon utvrđivanja postojanja problema od njega nećete moći dobiti nikakvu informaciju o tome što je uzrok problema. Postoji izvrstan način za rješavanje problema nedostatka emocionalne otvorenosti – vrijedi imati bazu ispitanika i ponovno ih upotrijebiti. Ispitanik koji već iz iskustva zna da nema ništa loše u testiranju upotrebljivosti puno je spremniji kontaktirati i općenito pričljiviji.

Konačno, kada su željena svojstva korisnika za test već određena, vrijeme je da se odaberu oni ispitanici koji ne samo da zadovoljavaju gore navedene zahtjeve, već i pripadaju ciljnoj publici sustava.

Koliko vam je ispitanika potrebno

Godine 1992. Robert Virzi napisao je Rafiniranje testne faze evaluacije upotrebljivosti: Koliko je predmeta dovoljno? sugerirao da je pet ispitanika dovoljno za test. Godinu dana kasnije palicu su preuzeli Jakob Nielsen i Thomas K. Landauer s člankom Matematički model pronalaženja problema upotrebljivosti, u kojem su tvrdili da je pet ispitanika dovoljno za uhvatiti 70% problema, a potrebna su još tri ispitanika kako bi povećati učinkovitost do 85%.

Zajednica upotrebljivosti voljela je ove brojeve svim srcem. Od tada je fraza "5-8 ispitanika" postala gotovo mantra. Jao, ova mantra je lažna.

Prvo, sva tri autora pisali su samo o testiranju malih sustava. Što učiniti ako je sustav prevelik da stane test na svakog ispitanika za sat i pol (to je maksimum koji osoba, i ispitanik i eksperimentator, mogu izdržati; testovi od 40 minuta su puno bolji). U tom slučaju morat ćete provesti nekoliko različitih testova na različitim ispitanicima; bez toga će biti jednostavno nemoguće pokriti cijelo sučelje sustava. Koliko je ispitanika potrebno u ovom slučaju ovisi o sustavu, ovdje ne može biti jasnih gradacija. Dakle, za testiranje velike korporativne stranice, na prijateljski način, potrebno vam je dvadeset ljudi u nekoliko serija od 5 osoba.

Drugo, osam ljudi je premalo da bi se moglo govoriti o bilo kakvoj točnosti mjerenja ergonomskih karakteristika. Za mjerenje vam je potrebno najmanje dvanaest ljudi.

Treće, osam osoba ne može prihvatiti ni spol, ni dob ni bilo koju drugu raznolikost ispitanika. Ako želite testirati sučelje dizajnirano za nekoliko različitih grupa publike, svaka bi grupa trebala dobiti svojih pet do osam ispitanika.

S druge strane, prvih nekoliko ispitanika ipak otkriva lavovski dio problema. Stoga je jedino stvarno moguće rješenje testiranje u serijama: prva serija prođe, identificirani problemi se rješavaju, zatim druga serija, problemi se ponovno rješavaju i tako dalje. Ako se u prvoj seriji koriste sve vrste ispitanika, ostatak serije može se sigurno prekinuti kada količina otkrivenih podataka značajno padne. Istodobno, prva serija bi trebala biti veća, ostale manje.

Organizacijska pitanja

Osim stvarnih zahtjeva za ispitanike, ostaje otvoreno pitanje: kako uvjeriti potencijalnog ispitanika da sudjeluje u testiranju?

Ako dizajnirate sučelje po narudžbi, pokušajte preusmjeriti potragu za ispitanicima na kupca. Gotovo uvijek sustav ima stvarne ili potencijalne korisnike s kojima je kupac razvio poseban odnos i koji su – što je lijepo – posebno zainteresirani za novo sučelje, zbog čega su vrlo druželjubivi.

Ako dizajnirate sučelje za sustav sa širokom (uobičajenom) ciljanom publikom, nemojte zanemariti svoje najmilije. Oboje su odlazni i lako dostupni.

Mnoge tvrtke za zapošljavanje angažirane su u regrutiranju ispitanika za fokus grupe, tako da mogu upariti ispitanike za testiranje upotrebljivosti. Nažalost, fokus grupa je jednokratan, relativno kratkotrajan događaj. Testiranje upotrebljivosti zahtijevat će od vas da zakažete sastanke s ispitanicima jedan po jedan, jednu po jednu osobu, što uvelike komplicira proces.

Održavajte bazu podataka ljudi koje ste već koristili za testiranje. S njima je u pravilu lakše pregovarati nego s onima koji nemaju iskustva sudjelovanja u testiranju.

Kada dogovarate sastanke s ispitanikom, budite što fleksibilniji i usklađeniji. Ispitanik, čak i ako je njegovo vrijeme plaćeno, čini vam uslugu pristankom na sudjelovanje u testu.

Ako ste sami pronašli ispitanika, čak i ako se radi o vašem prijatelju ili rođaku, treba ga nagraditi za utrošeno vrijeme (možete i bez naknade ako ispitanike daje korisnik sučelja, ako ste koristili usluge regrutiranja , o naknadi treba razgovarati s predstavnikom servisa) ... Za nespecifičnu publiku najbolji poticaj je novac – optimalan iznos plaćanja je dvostruko veći od satnice određenog ispitanika, uzimajući u obzir vrijeme koje je ispitanik proveo na putu. Za određenu publiku često su potrebne vrlo velike količine nagrada, u takvim je uvjetima razumno ispitanike nagraditi vrijednim poklonima za koje možete dobiti veliki veleprodajni popust (osobno radije koristim skupi alkohol).

Metode ispitivanja

Postoje samo tri glavne metode testiranja upotrebljivosti: pasivno promatranje izvedbe testnih zadataka, tok svijesti i aktivna intervencija; prvi je dizajniran za prikupljanje kvantitativnih podataka, drugi je kvalitativni:

• Pasivno promatranje izvedbe testnih zadataka. Bit metode je vrlo jednostavna: ispitanik obavlja testne zadatke, analiziraju se njegove radnje (tijekom testa ili nakon, prema protokolima), što omogućuje pronalaženje problematičnih fragmenata i mjerenje ergonomskih karakteristika sučelja.
• Struja svijesti (razmislite naglas). Odgovara provjeravanju pasivnim promatranjem, ali se od ispitanika također traži da usmeno komentira svoje postupke. Zatim se komentari analiziraju. Metoda je prilično nestabilna, ali ponekad daje zanimljive rezultate (u velikoj mjeri ovisi o pričljivosti ispitanika). Glavni minus toka svijesti je to što su mjerenja ergonomskih karakteristika sučelja vrlo upitna.
• Aktivna intervencija. U ovoj metodi stručnjak za upotrebljivost ne očekuje usluge prirode u osobi ispitanika, već ih pokušava sam uzeti. Nakon svake radnje ispitanika, eksperimentator ga pita zašto ispitanik tako postupa; na svakom ekranu eksperimentator pita kako ispitanik razumije svrhu i funkciju ovog zaslona. Ova metoda je bliža fokusiranom intervjuu nego samom testiranju – na primjer, metoda se može koristiti i bez testnih zadataka, sve dok postoji sučelje za raspravu. Jasno je da uz aktivnu intervenciju nikakva mjerenja jednostavno nisu moguća, ali je količina dobivenih kvalitetnih podataka najveća.

Testne skripte

Testni slučaj je provjerljiv aspekt sustava. Po mom mišljenju, adekvatno odabrani testni scenariji najvažniji su preduvjet za kvalitetu testiranja.

Scenariji se sastoje od prilagođenog zadatka i povezanih zadataka:

• smislene ergonomske metrike
• testne stavke za ispitanike (može biti nekoliko stavki)
• znakovi uspješnog završetka zadatka.

Analizirajmo ih detaljno.

Prilagođeni zadatak

Prvi korak u identificiranju scenarija je identificiranje smislenih korisničkih zadataka. Ovi zadaci su početni materijal za pisanje scenarija.

Što je prilagođeni zadatak? To je zadatak koji njihova aktivnost postavlja korisnicima, a za korisnike ima samostalnu vrijednost. Prilagođeni zadatak se izvršava kao jedna ili više operacija (prilagođena operacija nema neovisnu vrijednost). Na primjer, za program klijenta e-pošte, zadaci su:

• pisanje i slanje pisma
• primanje poruka od poslužitelja
• prilagođavanje programa vašim potrebama (na primjer, postavljanje automatskog prijema pošte u određenim intervalima).

Ali odabir primatelja iz adresara prilikom pisanja novog pisma više nije zadatak, jer ta radnja sama po sebi nije vrijedna. Ovo je operacija koja se sastoji od mnogih radnji (kliknite gumb Za…> odaberite kontakt> potvrdite odabir).

Prilikom odabira zadataka za testiranje trebali biste se voditi dvama razmatranjima:

• Svi zadaci moraju biti stvarni, t.j. identificirano iz stvarnih aktivnosti korisnika: želja da se zadaci otežaju kako bi se pronašlo mnogo problema odjednom, neodrživa je - zadaci bi trebali biti obični, jer nema smisla tražiti probleme s kojima se nitko ne susreće.
• Budući da je testiranje cijelog sučelja na svim korisničkim zadacima moguće samo idealno, morate se ograničiti i odabrati samo važne zadatke. Važni zadaci su, prvo, frekventni zadaci, t.j. koje izvode svi korisnici i/ili često izvode, drugo, svi ostali zadaci za koje sumnjate da se loše izvode na sustavu i, konačno, zadaci koji, ako se izvode pogrešno, dovode do velikih problema.

Smislene ergonomske metrike zadataka

Za svaki zadatak morate odabrati karakteristike sučelja koje su za njega značajne. Naravno, na raspolaganju su nam metrika iz odjeljka "Što mjeriti". Međutim, ovi su pokazatelji nezgodni: teško ih je izmjeriti i teško ih je razumjeti (iako ih je lakše usporediti). S praktične točke gledišta, svjetovnije karakteristike su mnogo prikladnije.

Na primjer, možete izbrojati broj ljudskih pogrešaka. Ali utjecaj ove metrike na integralni rezultat je toliko težak da se svejedno pri analizi ne može bez elemenata voluntarizma i subjektivnosti. Puno je lakše odrediti utjecaj istih pogrešaka neposredno, čak i prije testiranja, na primjer, postavljanjem značajne karakteristike sučelja „Korisnik je u mogućnosti instalirati program za manje od pet minuta, a da ne napravi više od dva manja pogreške" (gdje beznačajna pogreška znači pogrešku koju je korisnik uočio i ispravio). Naravno, u takvoj potražnji ima dosta samovolje. No to je ipak manje nego u sumnjivim nagađanjima o broju identificiranih ljudskih pogrešaka. Stoga su "prizemne" metrike prikladnije od univerzalnih.

Osim toga, jednostavne deklarativne metrike također su prikladne jer vam omogućuju razumijevanje kada nastaviti s optimizacijom sučelja, a kada prestati. Vraćajući se na primjer iz prethodnog odlomka, možemo reći da trebate optimizirati sučelje dok instalacija ne potraje manje od pet minuta. Ako se nakon optimizacije sučelja program instalira za šest minuta, to je razlog za ponovno izmjenu sučelja i ponovno testiranje.

Evo primjera takvih metrika:

• Uspjeh – ispitanici točno odrađuju 90% zadataka.
• Učinkovitost - brzina rada korisnika: registracija na stranici je završena za manje od 7 minuta.
• Učinkovitost – pogreške: pri unosu 10 obrazaca broj pogrešaka u unosu ne prelazi dvije.
• Učinkovitost - učenje vještina rada sa sustavom: pri izvođenju zadatka 9, koji se od zadatka 2 razlikuje samo po ulaznim podacima, ispitanici ne naprave niti jednu pogrešku (ne računajući tipografske pogreške).
• Zadovoljstvo - prema rezultatima upitnika, broj bodova povećan je za 20% u odnosu na prethodne rezultate.

Testni zadaci

Testni zadatak je ono što ispitanik prima od vas, zadatak koji vam omogućuje da ispitanika vodite kroz fragment sučelja sustava i odredite karakteristike tog fragmenta.

Testni zadaci, osim što moraju biti dosljedni zadacima korisnika, moraju imati i sljedeća svojstva:

• Jednoznačnost. Zadatke treba formulirati na način da se isključi njihova pogrešna interpretacija od strane ispitanika. Ako ispitanik krivo shvati zadatak, gotovo sigurno nećete moći usmjeriti test na pravi put, a da ga u isto vrijeme ne potaknete da dovrši zadatak.
• Potpunost. Tekst zadatka mora sadržavati sve podatke potrebne za završetak ovog zadatka.
• Kratkoća. Ako mjerite brzinu ispunjavanja zadataka, zadaci bi trebali biti dovoljno kratki da trajanje čitanja zadataka od strane ispitanika ne utječe na trajanje samih zadataka (ljudi čitaju različitom brzinom). Ako je tekst zadatka velik, morat ćete ručno odrezati trajanje čitanja za svaki zadatak, što je vrlo dugotrajno.
• Nedostatak naputaka. Iz teksta zadatka ne bi trebalo biti jasno kako se taj zadatak treba izvesti. Primjerice, neprihvatljivo je koristiti terminologiju sustava – umjesto svakog pojma trebate opisati njegovo značenje, inače će ispitanici jednostavno kliknuti gumbe s istim riječima i nećete identificirati probleme.
• Zadatak mora sadržavati početna točka zadatka, tj. treba napisati prozor ili ekran na kojem bi ispitanik trebao biti na početku. Ako se takve informacije ne daju, ispitanici će neminovno prijeći na druge fragmente sučelja, što znači da će zadatak različito obavljati različiti ispitanici, što sve statističke izračune čini besmislenim. Morate popraviti početnu točku zadatka na kraju prethodnog zadatka. Ako zadatak počinje s praznom tablicom, na kraju prethodnog zadatka treba pisati "povratak na glavni zaslon". Ako zadatak treba započeti tamo gdje je prethodni zadatak završio, prethodni zadatak trebao bi završiti riječima "kada završite, ne zatvarajte trenutni prozor / ostanite na ovom zaslonu."

Osim ovih općih zahtjeva, treba uzeti u obzir i sljedeće:

• Moguće je da će za jedan prilagođeni zadatak biti potrebno napisati nekoliko testnih zadataka. Zadatak je obično prevelik da bi stao u jedan zadatak. Osim toga, ako je prilagođeni zadatak čest, ne bi vas trebalo posebno zanimati kako se izvodi prvi put – puno je zanimljivije znati kako će ga korisnici izvesti drugi, treći, četvrti (i tako dalje) puta. U tom slučaju, unutar granica testa na jednom ispitaniku, bit će potrebno ovaj zadatak pokrenuti nekoliko puta, svaki put mijenjajući zadatke.
• Osim zadataka u kojima ispitanik mora izvršiti radnju, prihvatljivi su i poželjni dvostruki zadaci u kojima ispitanik prvo mora odlučiti treba li izvršiti ovu radnju u danom trenutku. Na primjer, ako testiramo defragmentator diska, umjesto zadatka “Defragmentiraj disk računala” bolje je koristiti zadatak “Provjeri stupanj fragmentacije diska i, ako smatraš da je potrebno, defragmentiraj disk računala”. Takve zadatke treba osmisliti na način da ispitanik ne može odbiti donošenje odluke, a da pritom ne kaže da je, kaže, sve u redu i da defragmentacija nije potrebna. Osim toga, mudro je namjerno fragmentirati disk prije takvog testa kako ispitanik ne bi mogao izbjeći zadatak.
• Ponekad, tijekom zadatka, morate nasilno promijeniti stanje sustava. Na primjer, ako želite točno znati kako korisnici rješavaju određeni problem, morate stvoriti taj problem. Zbog toga je neprihvatljivo prekidati izvođenje testa, jer će to odvratiti ispitanika. U takvim slučajevima prije odgovarajućeg zadatka možete umetnuti drugi zadatak u kojem ispitanik mora sam stvoriti problem. Naravno, takav zadatak neće dati nikakve informacije o sučelju.
• Analiza rezultata i sažimanje statistike uvelike su pojednostavljeni ako ne radite mali broj dugih zadataka, već veliki broj kratkih zadataka koji zahtijevaju pomicanje samo nekoliko ekrana ili ispunjavanje jednog ili dva obrasca.
• Prvi zadatak testa trebao bi biti uvodni, namijenjen isključivo uvođenju ispitanika u proces. Sukladno tome, trebao bi biti jednostavan, a njegovi rezultati se mogu zanemariti.

Obavezno provjerite mogu li ispitanici ispuniti vaše skripte unutar očekivanog vremena testiranja. Popis scenarija će se vjerojatno morati skratiti.

Znakovi uspješnog završetka zadatka

Posljednji dio scenarija su znakovi uspjeha zadataka. Poanta je sljedeća: nije uvijek moguće izvršiti isti zadatak na jedan jedini način. Pogrešno je izvoditi test bez poznavanja svih ovih metoda, jer će se daljnja analiza pokazati sumnjivom. Pretpostavimo da je ispitanik A obavio zadatak na način A, a ispitanik B na način B. Oba ispitanika su se snašla sa zadatkom, ali je jedan ipak bolji od drugog. Uostalom, različite metode, očito, imaju različitu učinkovitost, na primjer, broj radnji uključenih u metodu B je jedan i pol puta veći od broja radnji u metodi A. Metoda A u takvoj situaciji je poželjnija, u idealan sustav (kojemu treba težiti) svi korisnici bi ga trebali koristiti samo.

Osim toga, ponekad ispravan rezultat testa sa stajališta eksperimentatora zapravo nije točan, pogotovo ako je predmetno područje složeno, a stručnjak za upotrebljivost ga ne poznaje dovoljno. Kako bi se uvjerio da je ispravan rezultat upravo ono što korisnik koristi, treba pronaći stručnjaka za sustav i predmetno područje i pitati. Bez čvrstog poznavanja svih načina za dovršetak zadatka, jednostavno nećete moći identificirati pogreške.

Radno mjesto i načini prikupljanja podataka

Postoje dva pristupa organiziranju radnog mjesta za testiranje upotrebljivosti: stacionarno radno mjesto i mobilno radno mjesto. Ovdje su samo preporuke vezane za mobilna radna mjesta, budući da su mobilni laboratoriji sami po sebi jeftiniji i smanjuju naknadu ispitanicima (iako na račun troška vremena stručnjaka za upotrebljivost koji mora sam putovati do ispitanika).

Dakle, što trebate imati za potpuno testiranje:

1. Bilježnica. Zahtjevi za prijenosno računalo su jednostavni. Prvo, najmoćniji procesor za istovremeno snimanje sadržaja na ekranu (iako vam čak i najslabiji Intel Centrino procesori omogućuju snimanje video streama u pozadini, na snažnijim procesorima testirano sučelje će raditi brže, a kvaliteta videa će biti veća) . Drugo, ako ćete snimiti video sa samim ispitanikom (vidi dolje), trebat će vam veći ekran za smještaj testiranog sučelja i prozora s fizionomijom ispitanika.

2. Web kamera, ako ćete snimati izraze lica i smjer pogleda ispitanika. U pravilu, što je kamera skuplja, to daje bolju kvalitetu slike. Poželjna je kamera na prijenosnom računalu jer je praktičnija za korištenje.

3. Mikrofon. U principu, svatko će učiniti. Osobno koristim obični mikrofon Genius koji košta sedamdeset rubalja. Ako vaša web kamera ima ugrađen mikrofon, to će biti sasvim u redu. S druge strane, bolji mikrofon će proizvesti bolju kvalitetu snimanja, pa će biti manje šištanja (ali ništa ne ometa).

4. Snimač zaslona. De facto standard je TechSmith Camtasia, ako sredstva dopuštaju, uložite u TechSmith Morae, posebno dizajniran za testiranje upotrebljivosti (ne bilježi samo sadržaj zaslona, ​​već i bilježi korisničke radnje, što vam omogućuje da uvelike ubrzate naknadnu analizu – s druge strane , Morae je četiri puta skuplja od Camtasije, koja ionako nije jeftina).

Prije prvog testiranja približite se svojoj opremi što je više moguće. Istražite kako najbolje postaviti kameru i mikrofon za najbolje rezultate. Naučite prečace na snimaču zaslona, ​​naučite kako ga brzo pokrenuti u bilo kojem načinu rada. Ništa ne potkopava povjerenje ispitanika u testiranje više od spektakla vrpoljenog eksperimentatora koji pokušava staviti vrpcu točno u zadnji trenutak prije testa.

5. Ako ćete bilježiti trajanje zadataka, korisno je nabaviti sportska štoperica sa snimanjem krugova (Laps), što vam omogućuje da zapamtite niz intervala. U suprotnom ćete morati ponovno gledati video zapise kako biste izračunali trajanje zadataka, što je vrlo zamorno.

6. Testni zadaci za prezentaciju ispitanicima. U pravilu je najbolja opcija ispis, svaki zadatak na posebnom listu, tako da ispitanik ne može trčati naprijed i čitati zadatke koje još nije obavio. Na prvom listu trebate ispisati uvodni oblik. Primjer takvog oblika (u uglastim zagradama - varijabilni podaci):

Poštovani [ime ispitanika]!

Pozivamo vas da izvršite niz zadataka osmišljenih za procjenu jednostavnosti i upotrebljivosti [Naziv sustava]. Slobodno dovršite zadatke. Svrha studije je procijeniti kvalitete sučelja koje se proučava, a ne vi osobno. Ako nešto učinite pogrešno, to znači da sučelje i samo sučelje treba poboljšati.

Kada izvršavate zadatke, morate se ponašati kako vam odgovara. Na primjer, ako odlučite koristiti pomoć, možete to učiniti bez traženja dopuštenja eksperimentatora.

Napominjemo da se vaši postupci i riječi bilježe za daljnje proučavanje, ali svi prikupljeni podaci ostat će strogo povjerljivi i bit će dostupni samo istraživačima.

Pažljivo pročitajte zadatak i pažljivo slijedite upute.

Pokušajte dovršiti svaki zadatak do kraja, ali ako tijekom zadatka shvatite da ga ne možete ili ne želite dovršiti, obavijestite eksperimentatora i prijeđite na sljedeći zadatak.

Okrenite stranicu zadatka tek kada završite zadatak na otvorenoj stranici.

Ako ne razumijete nijedan zadatak, ne ustručavajte se ponovno pitati stručnjaka za testiranje.

S druge strane, u nekim je slučajevima puno učinkovitije dati ispitanicima zadatke ne na papiru, već na način koji je bliži stvarnosti. Na primjer, prilikom testiranja POS sučelja, najbolje je glumiti da ste kupac, a kupci rijetko svoje potrebe navode u pisanom obliku.

7. Ako ćete anketirati korisnike, trebat će vam tiskani upitnici.

8. Ako ćete biti blizu ispitanika i odmah popraviti bilo koji parametar, trebat će vam tablet s papirom i olovkom. Zgodno je unaprijed ispisati nekoliko listova s ​​imenom ispitanika i brojevima stranica - ako pokrenete nekoliko testova zaredom, to će zajamčeno izbjeći bol od zbrkanih papira.

Kao što vidite, nije potrebno toliko. Trošak potrebne opreme i softvera (osim prijenosnog računala, u 21. stoljeću to nije luksuz) u ekonomičnoj verziji nije više od 450 dolara. Prednosti takvog rješenja su pouzdanost i jednostavnost rada; osim toga, mobilnost omogućuje testiranje sa samim ispitanicima, što značajno povećava njihov broj (mnogi potencijalni ispitanici ni pod kojim uvjetima neće ići u ordinaciju kod stručnjaka za upotrebljivost).

Snimanje izraza lica ispitanika

Ako ćete analizirati rezultate nakon testa (a ne tijekom njega), bit će izuzetno korisno napraviti video snimku izraza lica i gesta ispitanika. Bez videa s ispitanikom, morat ćete analizirati pokrete pokazivača (popraćeni, budući da je zvuk snimljen, šištanje i vrišti). Uz snimku će biti moguće analizirati interakciju osobe sa sučeljem, jer će se pojaviti preduvjeti za gestalt. Objektivno beznačajna razlika u metodi će se vratiti na objektivno značajno poboljšanje rezultata.

Problem je u tome što je snimanje videa sa samim ispitanikom ispunjeno određenim poteškoćama - morate automatski sinkronizirati lice ispitanika i snimanje njegovih radnji.

Ne postavljajte mikrofon blizu testnih ispisa. Oglušite dok gledate video.

U stacionarnom laboratoriju upotrebljivosti to se postiže činjenicom da je video s kamere hardverski pomiješan s video streamom s video kartice računala. Glavni nedostaci ovog rješenja su visoka cijena i niska kvaliteta snimljene slike na ekranu (broj piksela na ekranu je nekoliko puta veći od onoga što se može snimiti na magnetofon). Osim toga, s takvim snimkama je nezgodno raditi.

Možete sinkronizirati snimanje i ručno, snimanje na računalu istovremeno struji s kamere i s ekrana. Ali u ovom slučaju, nakon svakog testa, morat ćete provesti neko vrijeme na dosadnom radu miješanja dvije različite video datoteke.

Prije je bilo dostupno samo glupo, iako izvodljivo rješenje (novi, bolji način opisan je u nastavku). Prije testiranja:

1. Isključite grafičko ubrzanje u sustavu Windows (in Upravljačke ploče birati Zaslon, na kartici Mogućnosti pritisni gumb Dodatno, u prozoru koji se otvara na kartici Dijagnostika pomaknite klizač Hardversko ubrzanje nalijevo). Nakon testa, ubrzanje se može ponovno uključiti.
2. Pokrenite bilo koji program koji može prikazati video koji dolazi s kamere. Takvi su programi pričvršćeni na web kamere, osim toga, prikladni su programi za video chat.
3. Prozor sa slikom koja dolazi iz kamere postavite u donji desni rub ekrana (gdje najmanje odvlači pažnju ispitanika), a prozor testiranog sustava postavite tako da ne zaklanja slike. Prozor s videom trebao bi biti prekriven komadom papira (hvala Dmitryju Satinu na ideji).
4. Zamolite ispitanika da ne mijenja veličinu prozora sustava koji se testira.
5. Omogućite snimanje cijelog sadržaja zaslona.

Zbog toga se tijekom izvođenja testa snima cijeli sadržaj ekrana, uključujući i radnje ispitanika i njegovu sliku iz kamere.

Prikaz ekrana pri snimanju izraza lica na ovaj način.

Dodatak: U trećoj verziji TechSmith Camtasia Studio postoji način rada slika u slici (stream s video kamere se ubacuje u kut video snimke sa sadržajem ekrana), pa je sada sve postalo puno lakše.

Jedini problem sa snimanjem izraza lica ispitanika je taj što ako sami odete do ispitanika, nitko vam ne može jamčiti da u pozadini videa neće biti gadnih stvari – ispitanici se često vole susresti sa stručnjacima za upotrebljivost u bugovima.

Testiran test

Na kraju, moramo provjeriti i sam test. Morate biti sigurni da:

1. oprema je u funkciji
2. znaš kako se prema njoj ponašati kao prema mladom polubogu
3. sve su zadane postavke ispravne
4. imate dovoljno praznih traka ili prostora na disku
5. svi potrebni radovi se ispisuju i provjeravaju relevantnost i greške
6. testni zadaci sadrže sve potrebne podatke i ne zahtijevaju dodatna objašnjenja
7. u ispitnim stavkama nema skrivenih tragova
8. znate kako brzo dovesti sustav koji se testira u prvobitno stanje tako da sljedeći ispitanici ne vide promjene koje su napravili prethodni sudionici
9. vaša ideja o tome što je ispravno raditi zadatke je istinita
10. test na jednom ispitaniku može se provesti u razumnom vremenu (ne više od sat i pol).

Kao što vidite, postoji toliko mnogo točaka u kojima se mogu napraviti pogreške da će njihova provjera sama po sebi postati izvor pogrešaka (složene zadatke je teško izvesti bez pogrešaka). Sukladno tome, potrebna je pouzdana metoda provjere. Ova metoda je testiranje samog testa, tj. provesti test na nekome koga ne žališ i koga je lako uhvatiti (primjerice, kolegu). Ako je probni rad pokazao barem jednu pogrešku u pripremi testa, ispravite je i ponovite izvođenje.

Međutim, imajte na umu da probno izvođenje ne uklanja potrebu da sami testirate test, budući da se neki aspekti probnog rada ne mogu testirati.

Testiranje

Dakle, test je spreman i možete početi. Postupak je jednostavan. Nakon što uključi snimanje i sjedne ispitanik za računalo:

1. unesite ispitanika u problem
2. pitajte ga o njegovim očekivanjima od sustava
3. testirati sučelje
4. saznati kako su ispunjena očekivanja ispitanika
5. završiti test.

Ovi koraci su detaljno opisani u nastavku.

Uvod u problem

Uvod ispitanika u problem je da mu dosljedno objašnjavate pravila testiranja. Sva su ova objašnjenja iznimno važna, ako propustite i jedan bod, rezultati će biti iskrivljeni.

• Objasnite ispitaniku što je testiranje upotrebljivosti i zašto je potrebno.
• Objasnite ispitaniku (ovdje je dopušteno lagati) da je on i samo on potreban za provođenje testiranja - osjećajući da je potreban, ispitanik će se razveseliti.
• Spomenite da sučelje niste razvili vi (možete i trebate lagati), tako da se nećete uvrijediti ako ispitanik izgrdi sučelje.
• Prije testiranja ne zaboravite isključiti mobitel i zamoliti ispitanika da učini isto.
• Objasnite ispitaniku da ne testirate njega, već sustav. Upozorite da su svi njegovi problemi zapravo problemi sustava, te da ako pogriješi, nitko mu neće zamjeriti, dapače, znat ćete da problem nije u njemu, nego u sustavu.
• Ispričajte se što morate snimiti njegove postupke. Uvjerite ispitanika da će prikupljeni podaci ostati kod vas i da ćete rezultate testiranja prenijeti kupcu, prije nego što ih depersonalizirate. Ako snimate sadržaj na ekranu, dodatno zamolite ispitanika da ne upisuje svoje prezime u ekranske obrasce (kako ga vaš klijent kojemu ćete dati video snimku ne vidi).
• Objasnite ispitaniku da u svakom trenutku može odbiti nastavak testa i da će mu u tom slučaju ipak biti isplaćena nagrada. Objasnite da ispitanik može zatražiti prekid testa u bilo kojem trenutku kako bi se odmorio.
• Na kraju, objasnite ispitaniku da je beskorisno postavljati pitanja o sučelju, ali možete i trebate biti pitani ako ispitaniku neki zadatak nije jasan.

Zapamtite popis stvari koje trebate reći prije testiranja. To također utječe na rezultate.

Identificiranje očekivanja od sustava

Bez obzira na vrstu i svrhu testa, prilikom testiranja novog sučelja korisno je utvrditi koliko ono ispunjava očekivanja korisnika. Ako su očekivanja ispunjena, provedba i početna podrška bit će uvelike olakšani; ako se ispostavi da su očekivanja razočarana, sustav će odmah uzrokovati odbijanje.

Identificiranje očekivanja, općenito govoreći, trebalo bi učiniti prije dizajniranja sučelja – no nažalost, u ranim fazama rada to je iznimno teško i zahtijeva izvanredan talent uz slušanje i postavljanje pravih pitanja. Međutim, u fazama kada se već ima što testirati, na primjer, prilikom testiranja prototipova, lakše je identificirati očekivanja korisnika, pa je glupo ne iskoristiti ovu priliku.

Postupak utvrđivanja očekivanja sastoji se od dva koraka:

1. Prije provođenja testa ispitanika treba pitati što očekuje od sustava. Ispitanika morate pažljivo slušati, a sve što kaže možete sigurno zaboraviti, jer sve njegove riječi nisu ništa više od fantazije. Morate pitati ne da biste nešto saznali, već kako biste ispitanika pripremili za drugu fazu.
2. Nakon testa ispitanika treba pitati kako prikazano sučelje ispunjava njegova očekivanja. Ovdje se ispitaniku već može u potpunosti vjerovati: prvo, pripremljen je svojim prethodnim odgovorima, a drugo, prikazano mu sučelje može ga potaknuti da formulira zahtjeve koje prije nije shvaćao.

Testiranje

Prilikom testiranja treba slijediti sljedećih šest "nikad":

• Nikada se nemojte ispričavati zbog nesavršenosti sustava koji se testira.
• Nikada nemojte reći: "Popravit ćemo to kasnije."
• Nemojte nikoga kriviti da je sučelje loše ("Programeri su, naravno, idioti i napravili su nešto nezgodno, ali mi ćemo to odmah popraviti").
• Nikada ne nazivajte proces testiranja "korisničko testiranje" - ispitanik će misliti da ga testira i bojat će se. U idealnom slučaju, uvijek ćete postupak nazivati ​​"testiranje upotrebljivosti sučelja" ili jednostavno "testiranje sučelja".
• Nikada nemojte prekidati ispitanika. Čak i ako kaže nešto nebitno, neka se u potpunosti izjasni i tek onda postavljajte svoja pitanja.
• Nikada nemojte oblikovati ponašanje ispitanika. Neki se ljudi prilagođavaju očekivanjima eksperimentatora, na primjer, nakon što su osjetili da želite pronaći više pogrešaka u sučelju, sami će stalno griješiti, čak i ako sučelje nema preduvjete za to. Kako biste izbjegli ovaj rezultat, sve vaše riječi trebaju biti naglašene neutralno. Postoje dvije jednostavne metode za postizanje neutralnosti. Prvo, ne biste trebali postavljati pitanja s jednim izborom. Umjesto da pitate ispitanika koliko mu se sustav činio jednostavnim (ovo je očito sugestivno pitanje, budući da se može postaviti i drugačije s drugačijim stavom prema temi - "koliko vam se sustav činio složenim?"), bolje je pitati je li sučelje sustava jednostavno ili složeno. Drugo, ispitanici vam često sami postavljaju pitanja, pokušavajući izbjeći da sami donose odluku. Lako je odgovoriti na takva pitanja, samo će odgovori, zbog svoje spontanosti, biti sugestivni. U takvim slučajevima, najbolji odgovor je protupitanje. Snalazim li se? - Što misliš? Jesam li ispravno izvršio zadatak? - Što misliš? I tako sve dok se ispitanik ne smiri. Neuljudno, ali učinkovito.

Osim toga, postoji nekoliko ne tako strogih pravila:

• Ako tijekom testa pratite svojstvo sučelja, na primjer, brojeći greške ispitanika, ne biste trebali pratiti više od jednog pokazatelja. Na primjer, ako brojite pogreške, ne biste trebali računati vrijeme izvršenja operacija - vjerojatnost vlastite pogreške se previše povećava. Po mom mišljenju, tijekom testa možete samo zapisati svoje hipoteze o potencijalnim poboljšanjima sučelja – t.j. što odmah vidite. Bolje je izračunati pokazatelje sučelja na temelju video zapisa.
• Čak i uz aktivnu intervenciju, pokušajte ne postavljati ispitaniku pitanja koja nisu izravno povezana s njihovim trenutnim djelovanjem. Bolje ih je pitati nakon testa.
• Ako je moguće, sjednite desno od stražnjeg dijela ispitanika – tako da vam može vidjeti lice, lagano okrećući glavu. Vaša prisutnost je opterećujuća za ispitanika, ali u ovoj situaciji on će barem biti manje napet.
• Tijekom testa često ne možete vidjeti probleme sa sučeljem u cjelini. Na primjer, primijetili ste korisničku pogrešku. Ali kako se to objašnjava? Je li to anomalija uzrokovana činjenicom da je korisnik manje spreman od ostalih? Jeste li sigurni da svi ponavljaju ovu pogrešku? Zbog toga morate zabilježiti maksimalan broj opažanja. Neke ćete kasnije odbaciti, ali to je bolje nego propustiti problem.

• Brzina rada. Između zadataka pomaknite štopericu u novi krug. Ako je ispitanik iz bilo kojeg razloga ometen, pauzirajte štopericu.
• Pogreške. Na komad papira napišite crticu za svaku ljudsku pogrešku. Prikladno je staviti male crtice za male pogreške i duge za velike. Nakon testa dovoljno je izbrojati broj redaka. Ako zasebno brojite pogreške različitih vrsta (na primjer, jednostavne pogreške i zasebno netočno odabrane stavke izbornika), bolje je koristiti različite kodove, na primjer, iste crtice za jednostavne pogreške i slova M za pogreške povezane s izbornikom.
• Problemi koje vidite odmah. Ukratko zapišite na komad papira bit problema i trenutno vrijeme (prvo vrijeme!). Znajući kada je točno došlo do problema, lakše ćete locirati odgovarajući dio videozapisa.
• Emocionalne reakcije ispitanika. Koristite znak plus za pozitivne reakcije i znak minus za negativne reakcije. Reakcije koje se javljaju u vrijeme završetka testnih zadataka se ne računaju.

Završetak testa

Nakon završetka testa:

• Ispitaniku postavite zaostala pitanja.
• Neka ispitanik ispuni upitnike ako provodite anketu.
• Pitajte ispitanika sviđa li mu se sučelje; bez obzira na odgovor, tražite da pojasnite što vam se svidjelo, a što ne.
• Plati ispitaniku.
• Hvala mu na testiranju. Uvjerite ispitanika da je napravio sjajan posao i da ste zahvaljujući njemu uspjeli identificirati mnoge probleme sa sučeljem (učinite to čak i ako se ispitanik pokazao kao povučena, neugodna vrsta komunikacije, test na kojem nije otkrio ništa novo ).
• Ako je ispitanik posebno dobar, pitajte ga možete li mu se ubuduće obratiti za nove zadatke testiranja. Ispitanik s iskustvom u testiranju uvijek je bolji od ispitanika bez iskustva.

Testiranje na prototipovima

Posebnu pozornost treba posvetiti testiranju na prototipovima. Kada testirate prototipove, imate dvije mogućnosti:

• Možete se ograničiti na aktivni test intervencije, što onemogućuje dobivanje bilo kakvih kvantitativnih podataka. Za to vam nije potreban nikakav poseban prototip, jer uvijek imate priliku ispitaniku objasniti značenje gornje informacije i razloge za nedostatke u prototipu.
• Možete, osim uobičajenog, izraditi testni prototip i dobiti neke kvantitativne podatke, gubeći mnogo resursa utrošenih na testni prototip.

Testni prototip je vrsta prototipa u kojem ispitanik može obavljati testne zadatke. Na primjer, ako se prototip sastoji od niza snimaka zaslona:

• U tipičnom prototipu, svaka slika na zaslonu predstavljat će sve moguće fragmente sučelja pod različitim okolnostima; umjesto stvarnih podataka, prikazat će se generalizirani podaci s napomenama o maksimalnom i minimalnom volumenu koji mogu imati.
• U testnom prototipu, isto će sučelje biti predstavljeno kao što je prikazano u bilo kojem trenutku tijekom izvršavanja testnih zadataka: ako se podaci uređuju na bilo kojem zaslonu za testni zadatak, obje verzije ovog zaslona morat će biti nacrtane u prototipu , a moguće i više (stanje prije, tijekom i nakon uređivanja).

Izrada prototipa za testiranje uvijek oduzima mnogo vremena. U redu je da se ekrani u takvom prototipu moraju crtati nekoliko puta. Što je još gore, nećete se moći ograničiti na stvaranje samo prototipa za testiranje, pa ćete morati napraviti i obične i testne prototipe. A ako iterativno testirate, i dalje ćete morati popraviti oba prototipa odjednom.

Da budem pošten, moram reći da ponekad još uvijek morate stvoriti prototipove za testiranje. Primjerice, ako je interakcija na nekom ekranu previše složena i promjenjiva, kupac to neće moći shvatiti (teško će vam biti to učiniti sami). Jedini izlaz u takvoj situaciji je crtanje ovog ekrana u svim mogućim stanjima sa svim mogućim opcijama interakcije, t.j. stvoriti isti testni prototip.

Dakle, korištenje nefunkcionalnih prototipova za testiranje je kontrolirano, ali ipak noćna mora (zapravo, to je glavni razlog za stvaranje funkcionalnih prototipova, koji su u početku testni prototipovi). Treba li vam ova noćna mora - odlučite sami.

Analiza rezultata

Konačno, vrijeme je za analizu rezultata testa. Ovdje su važne tri stvari:

• kada započeti analizu
• kako analizirati postupke ispitanika
• što se može naučiti iz kvantitativnih podataka.

Pitanje kada početi s optimizacijom sučelja stoji odvojeno.

Kada započeti analizu

Rezultate možete analizirati tijekom i nakon testa. Analiza tijekom testiranja ima prednosti i nedostatke. Prednosti uključuju činjenicu da on:

• Omogućuje vam uštedu vremena u fazi analize, jer neke od analiza rade se u ranijoj fazi.
• Daje najizravniji dojam testa (gestalt), omogućujući vam da vidite probleme koji se na bilo koji drugi način ne primjećuju.

Tu su i nedostaci:

• Ne dopušta bilježenje više od jednog ergonomskog pokazatelja odjednom, a i tada je u praksi moguće samo mjeriti brzinu rada korisnika i broj ljudskih pogrešaka (iako su to najtraženiji pokazatelji).
• Moguće samo uz značajno iskustvo stručnjaka za upotrebljivost.
• Nemoguće ako test provodi jedan stručnjak, a analizu drugi (s druge strane, ovoj drugoj osobi će svakako trebati opažanja osobe koja je provela test).

Analiza nakon testiranja je lišena ovih prednosti i nedostataka. Omogućuje vam da pažljivo i promišljeno analizirate materijal, bez obzira na broj i prirodu mjerenih pokazatelja. Osim toga, lako se prilagođava na onoliko izvođača koliko želite.

Stoga se čini da je optimalna strategija započeti analizu tijekom testa. U nekim slučajevima ova analiza može biti ograničena. Ako se to pokaže nemogućim, uvijek možete analizirati i protokole video testa.

Analiza postupanja ispitanika

Gotovo svako testiranje upotrebljivosti odnosi se na pronalaženje i prepoznavanje problema. Ali kako vidjeti problem u postupcima ispitanika?

Pogreške

Ne objašnjava se greška svakog ispitanika problemima sučelja, na primjer, ispitanik je mogao pokazati elementarnu nepažnju. Međutim, svaka pogreška zahtijeva razmatranje:

• Ako je greška kritična, t.j. ispitanik je pogriješio zbog nerazumijevanja strukture sučelja, a pogreška je dovela do drugih pogrešaka (na primjer, posjetitelj web-mjesta otišao je u odjeljak koji mu nije trebao i tamo se izgubio), odgovarajući fragment mora se ponoviti: koraci moraju uzeti za uklanjanje nejasnoća, dodavanje savjeta itd.
• Ako greška nije kritična, t.j. ispitanik je to odmah primijetio i sam ispravio, morate odlučiti hoćete li to ispraviti ili ostaviti bez nadzora. Vrijedno je riješiti problem ako smatrate da razumijete zašto je došlo do pogreške (tu će vam samo iskustvo pomoći). Ako ne osjećate, ostavite sučelje kakvo jest. Naravno, ako se problem ponovi, grešku je potrebno ispraviti – ali ćete imati više informacija o njoj, pa će ju biti lakše popraviti.
• Možda je pogreška posljedica nesavršenosti ispitne stavke. Obavezno se uvjerite da to nije tako - zamolite ispitanika da svojim riječima prepriča zadatak, a ako je pogriješio, onda je pogrešno shvatio zadatak i zadatak treba hitno ponoviti, ali greška se može zanemariti .

Usporavanje zadatka

Ako je ispitanik zastao bez ikakvog razloga, to znači da pokušava shvatiti što dalje treba učiniti. Sučelje vjerojatno nije samo po sebi razumljivo ili dovoljno nedvosmisleno. Problem je potrebno ispraviti.

Usporenje možete vidjeti ne samo po samom usporavanju, samo nije uvijek jasno vidljivo, koliko po pratećim nasumičnim pokretima pokazivača miša (mnogi ljudi, nakon što su izgubili nit radnje, automatski pomiču kursor).

) postoji faza procjene dizajna, u toj se fazi može provesti visokokvalitetno testiranje upotrebljivosti.

Na pisanje ovog članka natjerali su me problemi koji su se pojavili tijekom testiranja upotrebljivosti. Nadam se da ću nekome pomoći da točnije shvati kada treba koristiti testiranje upotrebljivosti i kako izbjeći neke zabune u tome.

Redizajn web stranice

Kada trebate provesti testiranje upotrebljivosti i što dolazi prije toga?

U slučaju već razvijene stranice, postavlja se pitanje provođenja testiranja upotrebljivosti kada osjetite ili ustanovite da nešto nije u redu sa stranicom. U svakom slučaju potrebno je instalirati Google analitiku (knjiga: Google Analytics. Stručna analiza posjećenosti web stranice) ili neki drugi servis za analizu posjećenosti web stranice. Neću govoriti o tome zašto bi se takav servis trebao instalirati, budući da je tema odavno iscrpljena i samo lijeni ljudi ne preporučuju instaliranje takvih usluga. Nakon instaliranja Google analitike, već imate određene podatke o statistici posjeta, mjestima ulaska i izlaska posjetitelja stranice i drugim informacijama.

Sljedeći korak je definiranje KPI-ja (Wikipedia: Key Performance Indicators). Potrebno je analizirati što je važno za poslovanje, odrediti ciljeve koje stranice moraju postići.

Primjer: za nekoga to mogu biti narudžbe robe, za nekoga kontaktirati putem obrasca za povratne informacije s bilo kakvim pitanjima itd.

Ako su do ovog trenutka preporuke bile obvezne, odnosno u svakom slučaju ovi koraci će pomoći u razvoju i promociji stranice, onda slijede daljnje preporuke, u slučaju da stvarno shvatite da stranica nije učinkovita.

Treći korak je izravno identificiranje problematičnih stranica i funkcija. Jednostavno provođenje testiranja upotrebljivosti je neučinkovito, morate razumjeti gdje nastaju problemi, na kojoj stranici, s kojom funkcijom, a zatim testirati kako biste utvrdili što točno nije u redu na stranici i kako to riješiti. Opet će vam pomoći Google analytics, ovdje možete odrediti koje stranice korisnici napuštaju, koje stranice se zanemaruju, a koje funkcije se ne koriste.

Priprema za testiranje upotrebljivosti

Dakle, u ovom trenutku je već utvrđeno da stranica treba redizajn, pronašli smo stranice i funkcije s kojima korisnici imaju problema. Ostaje samo razumjeti zašto korisnici imaju problema i kako ih riješiti.

Četvrti korak trebao bi biti formiranje hipoteza o tome što nije u redu sa stranicom, a na temelju toga je potrebno odrediti metriku (Wikipedia: ISO 9126 – Ocjena softverskog proizvoda) kojom će se funkcije testirati (postoji metoda stručne procjene u kojoj stručnjak postavlja hipoteze za poboljšanje sučelja stranice i na temelju njih se stranica redizajnira, međutim, moguće je provjeriti je li ta hipoteza doista točna samo rezultatom implementacije promjene, što podrazumijeva visoku cijenu pogreške).

Primjer: Pomoću Google analitike utvrdili smo da korisnici posjećuju stranicu za registraciju, ali je ne prolaze. Korisnici možda neće moći shvatiti koje podatke unijeti u polja ili možda neće znati što učiniti sljedeće nakon popunjavanja polja. Stoga moramo testirati ovu stranicu za metriku razumljivosti poruka sustava i operativne dosljednosti.

Nakon određivanja metrike po kojoj ćemo testirati problematična područja na stranici, potrebno je odrediti karakter i scenarij rada (knjiga: Alan Cooper o sučelju. Osnove dizajna interakcije), koji će se koristiti za testiranje upotrebljivosti. Ovaj korak je neophodan za privlačenje pravih ispitanika i odabir zadatka za testiranje upotrebljivosti. Ako se ovaj trenutak propusti, onda ispitanik koji nije ciljni korisnik može uspješno proći problemsku zonu, a korisnik koji stvarno koristi zadanu stranicu imat će zaista velike probleme. Rezultat će biti redizajn sučelja bez uvažavanja podataka, a problem će ostati. Točno definiranje scenarija pomoći će da se ispitaniku da pravi zadatak. Odnosno, ako je zadatak kupiti mobitel, a ispitanik se uopće ne registrira (a mi testiramo registraciju), onda je testiranje upotrebljivosti beskorisno.

Napomena: odaberite scenarij tako da se testira što više problematičnih područja.

Zatim slijedi odabir ispitanika na temelju odabranog karaktera. Što ispitanik više odgovara portretu lika, to bolje. Dovoljan broj ispitanika je 5-8 osoba. U odabiru količine temeljim se na preporuci Jacoba Nielsena i vlastitom iskustvu.

Neposredno prije samog testiranja upotrebljivosti, neka ispitanik ispuni upitnik kako bi provjerio odgovaraju li odabrani znak i ispitanik traženim karakteristikama. Održite uvodni brifing, tijekom kojeg opišite kontekst korištenja stranice i zadatak (knjige: Web dizajn: knjiga Stevea Kruga, ili "Ne tjeraj me na razmišljanje!").

Primjer zadatka: u potrazi za novim mobitelom otišli ste na ovu stranicu putem tražilice. Pronađite telefon koji vam je potreban (također zamolite ispitanika da opiše telefon koji će tražiti).

Provođenje samog testiranja upotrebljivosti (program: Usability Studio) nije tako teško kao što se čini. Potreban vam je prijenosno računalo s kamerom i nekoliko programa za snimanje pokreta korisnika i snimanje radnji na ekranu. Zamolite ispitanika da komentira sve svoje postupke i emocije. Kao što pokazuje praksa, on će to ipak učiniti (i to nije iznenađujuće, jer čak i kod kuće korisnici često jako vole grditi ili, naprotiv, dotjerivati ​​razne oblike i druge elemente na stranicama).

Nakon završetka testiranja, pitajte ispitanika o njegovom iskustvu, s kakvim se poteškoćama susreo i što mu je bilo neugodno. Ne preporučam korištenje podataka ankete kao zakona za promjenu svega što mu se ne sviđa. Morate slušati korisnike, ali budite vrlo nepovjerljivi prema njegovom subjektivnom mišljenju. Bolje je da se, prema rezultatima ankete, pojavi hipoteza o potrebi promjene sučelja, dodavanju još jedne stavke na popis problematičnih područja i testiranju u sljedećoj iteraciji.

Obrada podataka testa upotrebljivosti

Zatim trebate pogledati prikupljene video materijale, analizirati rezultate testiranja upotrebljivosti i odrediti zahtjeve sučelja za redizajn (knjiga: Web-dizajn. Upotrebljivost web stranica). Promjene koje će biti napravljene na temelju određenih zahtjeva vrijedi provjeriti u sljedećem testu upotrebljivosti. Broj takvih iteracija trebao bi uvelike ovisiti o ciljevima i proračunu koji je dodijeljen za redizajn stranice.

Primjeri: dodajte savjete u obrazac za registraciju, označite gumb za kupnju, dodajte polje "platforma" u obrazac za odabir telefona prema parametrima, itd.

Dizajn stranice

Ako je projektiranje izvedeno prema standardu ISO 9241-210, tada ispitivanje upotrebljivosti zbog pripremljene analitičke baze ne bi trebalo biti skup i dugotrajan proces. Glavne faze testiranja upotrebljivosti prilikom dizajniranja web stranice od nule ostaju iste kao što je gore opisano, s izuzetkom nekih aspekata:

1. Formiranje hipoteza
2. Definiranje metrike za testiranje
3. Definiranje likova i scenarija
4. Odabir ispitanika
5. Ispunjavanje upitnika
6. Uvodni trening
7. Testiranje upotrebljivosti
8. Anketa ispitanika
9. Analiza rezultata
10. Određivanje zahtjeva za dizajn stranice

Glavni problem s kojim sam se suočio s testiranjem upotrebljivosti u ovom slučaju je testiranje statičkog dizajna, a ne punopravne stranice. U stvarnosti, bolje je testirati izgled, pa čak i programirano mjesto, ali trošak ponavljanja dizajna bit će već visok. Što se prije pronađe problem u sučelju, niži je trošak njegovog popravljanja. Kako provesti potpuni test upotrebljivosti statične slike? Rješenje za ovaj problem bio je program Axure. Najjeftiniji i najuspješniji način bio je umjetno postaviti linkove na statičnu sliku dizajna stranice i generirati ih u HTML stranicama. Ova metoda omogućuje testiranje stranice bez trošenja sredstava čak i na izgled. Naravno, na generiranim stranicama gotovo da i nema funkcionalnosti, ona se prikazuje samo u određenom obliku, ali to je dovoljno za identificiranje više problema.

Ne razmatram opciju kvantitativnog testiranja upotrebljivosti, jer vam omogućuje određivanje cjelokupne ergonomije sučelja, ali ne dopušta vam da odredite koji problemi nastaju, zašto i kako ih riješiti.

p.s. Radujem se konstruktivnim kritikama u vezi s predloženim rješenjem za kvalitetno testiranje upotrebljivosti dizajna, budući da takvo rješenje nikada nigdje nisam vidio. Ako postoje prijedlozi o tome koliko je jeftino i veselo provesti cjelovito visokokvalitetno testiranje upotrebljivosti, bit će mi drago pročitati ih.

Provodi se kako bi se pronašla problematična područja na web mjestu ili u proizvodu. Njegov glavni cilj je naknadno uvođenje uređivanja na stranicu i unapređenje novih hipoteza za A/B - testiranje.

Trebate li povećati konverziju na svojoj web stranici? Pokrećete novu web stranicu ili proizvod i trebate povratne informacije od potencijalnih kupaca? Onda je ovaj članak za vas. Danas ćemo govoriti o tome od kojih se faza sastoji proces testiranja i kako ga ispravno provesti.

6 koraka testiranja upotrebljivosti

Korak 1. Odredite ključne ciljeve istraživanja

Kvaliteta i konačni rezultat testiranja upotrebljivosti ovisit će o tome koliko točno i točno formulirate ciljeve istraživanja. Ne biste trebali istraživati ​​sve odjednom u jednom testu. Preporučujemo da odaberete jedan cilj za svaki test, to će vam pomoći da ispravno formulirate zadatke za korisnike i dobijete više podataka za analizu.

Loš primjer:

• Svrha istraživanja je identificirati sve probleme stranice.

dobar primjer:

• Svrha istraživanja je otkriti koliko je korisniku lako pronaći željeni proizvod i naručiti.

Korak 2. Odaberite svoju ciljanu publiku

Morate provesti testiranje upotrebljivosti na stvarnim ljudima što je moguće bliže vašoj ciljnoj publici. Štoviše, moraju prvi put upotrijebiti vašu stranicu (ili prvi put testirati novo ažuriranje). Ako je osoba već naučila kako koristiti stranicu, imat će puno manje poteškoća od novog kupca, a naći će manje pogrešaka i problema.

Gdje pronaći testere?

Ako imate b2c tvrtku i prodajete proizvode ili usluge širokoj publici (cipele, kućanske potrepštine itd.), preporučujemo korištenje naše usluge online testiranja upotrebljivosti Korisnička točka. ru, gdje postoji velika baza testera, među kojima možete odabrati svoju ciljanu publiku prema dobi, spolu i svim drugim parametrima:

Naravno, ako imate vrlo usku publiku (na primjer, ako imate internetsku trgovinu za Chukchi drvosječe), tada morate voditi fokus grupu na starinski način, sami organizirati proces testiranja, u udobnoj sobi, ili koristiti usluge agencija. Naravno, tradicionalno testiranje je puno skuplje i trajat će desetke puta dulje.

Koliko korisnika trebate privući na testiranje?

U akademskoj zajednici, ovo je stara tema kontroverzi. Prema istraživanju Jacoba Nielsena i Thomasa Landauera, 5 korisnika nalazi 85% problema s upotrebljivošću, 15 korisnika nalazi 100% problema. Na slici je prikazan matematički model za pronalaženje problema upotrebljivosti koji je predstavio Nielsen.

Novija i značajnija istraživanja pokazuju potrebu uključivanja većeg broja sudionika. Dr. Gitte Lindgaart sa Sveučilišta Carleton pokazala je da postotak pronađenih problema više ovisi o kvaliteti testnih problema nego o uzorku. Grupe od 5-6 korisnika u njezinom istraživanju pronalaze 30-50% problema upotrebljivosti s različitim pristupima formuliranju problema. Za kronologiju istraživanja i kontroverze slijedi poveznica – Povijest čarobnog broja 5 u testiranju upotrebljivosti.

Preporučujemo provođenje testiranja upotrebljivosti pomoću oba minimalno 10 osoba, štoviše, treba imati na umu da je jednako važan pokazatelj osim uzorka kvaliteta postavljenih zadataka i pitanja.

Ako planirate napraviti više iteracija tijekom procesa razvoja web-mjesta, morat ćete angažirati novu grupu za svaki test. Ovo je važno pri izračunu proračuna.

Korak 3. Izradite scenarij i zadatke

Scenarij je put kojim korisnik ide od početka do kraja kako bi postigao cilj istraživanja. U svakom koraku skripte morate kreirati zadatke, u procesu kojih će ljudi razmišljati naglas, u interakciji s vašom web lokacijom ili proizvodom.

Kao što smo već rekli, ne biste trebali istraživati ​​sve odjednom u jednom testu. Idealna opcija je provesti vlastito istraživanje za svaki cilj, kreirajući za njega specifičan scenarij s nizom zadataka. Zapamtite da je za testiranje kvalitete 15-20 minuta optimalno vrijeme za korisnika da dovrši jednu skriptu. Također, ne preporučujemo da radite više od 4-5 zadataka u jednom scenariju.

Koristite različite vrste zadataka u svojim skriptama

Širok zadaci su korisni pri ispitivanju upotrebljivosti i sadržaja stranice, za promatranje prirodnog ponašanja korisnika.

Primjeri širokih zadataka:

• Pronađite torbu koja vam se sviđa.
• Pronađite hotel koji je pravi za vaš odmor u Sočiju sljedeći mjesec. Podijeli svoje misli.

Specifično zadaci će pomoći utvrditi s kojim alatima korisnici imaju problema i poteškoća.

Primjeri konkretnih zadataka:

• Pronađite crvenu torbu za do 10.000 RUB.
• Prilikom narudžbe poklona naznačite da ga želite preuzeti na najbližem mjestu preuzimanja. Pogledajte stranicu s rezultatima. Razvrstajte artikle na temelju najboljih recenzija.

Nemojte raditi složene složene zadatke

Loš primjer:

• Dodajte artikl u košaricu. Sada odaberite drugi proizvod i dodajte ga. Zatim povećajte količinu prvog artikla u košarici. Sada naručite i odaberite dostavu.

Bolje uradi 4 različita zadatka:

• Dodajte artikl u košaricu.
• Pronađite drugu stavku i dodajte u košaricu.
• Povećajte količinu prvog artikla u košarici.
• Naručite s dostavom.

Postavite zadatke za usporedbu s konkurentima

Naravno, cijena i uvjeti dostave najvažniji su čimbenici pri odabiru trgovine. Ali jeste li sigurni da je kupac kupio proizvod od konkurenta jer košta 1% manje? Možda vaša stranica samo nadahnjuje manju vjerodostojnost? Ili možda nema dovoljno online chata? Ili je to stvar uvjeta isporuke? Ako postoji sumnja da je razlog upravo u uvjetima isporuke, možete napraviti zadatak "usporediti uvjete isporuke i plaćanja s konkurentom X" ili čak "s konkurentima iz prva 3 rezultata Yandexa". Razloga za odabir tvrtke može biti mnogo, a testiranje upotrebljivosti izvrstan je način da saznate zašto se kupci odlučuju za kupnju na stranicama vaših konkurenata.

Postavite prava pitanja za zadatke

Zadaci testiranja upotrebljivosti potrebni su za pregled radnji koje su poduzeli testeri, a pitanja za zadatke su potrebna za prikupljanje povratnih informacija. Ovisno o vrsti pitanja (jednostavno pitanje, pitanje s više odgovora, ljestvica ocjene, povratne informacije), možete dobiti različite rezultate. Za svaki zadatak morate postaviti prava pitanja kako biste prikupili što potpunije podatke za naknadnu kvalitativnu analizu i hipotezu.

Primjer zadatka:

• Pokupite poklon za prijatelja u rasponu cijena od 5 do 10 tisuća rubalja na stranicama xxx.ru i yyy.ru.

Primjer pitanja:

• Na kojoj je stranici prikladnije koristiti filtre proizvoda?

Vrlo brzo ćemo imati novi članak o tome kako pravilno sastaviti skriptu, zadatke i pitanja za njih. Pretplatite se na ažuriranja bloga i ne propustite korisne informacije.

Korak 4. Testirajte svoj test

Naravno, gotovo je nemoguće smisliti idealan scenarij prvi put, stoga pokrenite pilot test za 1-2 korisnika. To će vam omogućiti da pronađete i otklonite većinu nedostataka u pripremi zadataka i pitanja.

Glavni cilj je osigurati da testeri ispravno razumiju vaše zadatke i pitanja, da im ne izazivaju oklijevanje i dodatna pitanja.

Možete nastaviti na sljedeći način:

• Zamolite nekoga koga poznajete da se testira (koji nije baš upoznat s vašim projektom).
• Pogledajte kako osoba radi sa svakim zadatkom i pitanjem, obratite pozornost na sve poteškoće koje ima.
• Uredite zadatke i testirajte na drugom korisniku.

Testiranje upotrebljivosti uz korištenje omogućuje vam brzo i jednostavno pokretanje testa na 1-2 korisnika iz vaše ciljane publike. U roku od 1-2 dana dobit ćete video zapise, moći ćete uređivati ​​zadatke i pokrenuti novi test za veći broj korisnika.

Pilot testiranje poboljšava kvalitetu vašeg istraživanja i dugoročno štedi puno vremena.

Korak 5. Provedite test

Ako radite s UserPointom, tada se cijeli proces (obavljanje testera s potrebnim softverom, snimanje videa s popravljanjem svih obrazloženja osobe u procesu izvršavanja zadataka) odvija automatski bez vašeg sudjelovanja. Stoga se nećemo detaljnije zadržavati na ovom koraku.

Ako se odlučite za tradicionalno testiranje, preporučamo da se upoznate s materijalima jednog od pionira tradicionalnog testiranja, Nielsen Norman Group.

Korak 6. Analizirajte rezultate i postavite hipoteze zaA/ B- testiranje

Nakon testiranja potrebno je ispisati i strukturirati kvantitativne (broj uspješno obavljenih zadataka, vrijeme testiranja, broj pronađenih pogrešaka i problema) i kvalitativne podatke (koji problemi i poteškoće testeri imaju, komentare i preporuke korisnika , odgovori na vaša pitanja o zadacima). Zapamtite da je krajnji cilj testiranja upotrebljivosti identificirati očite probleme za uređivanje stranice ili proizvoda i pripremiti hipoteze za novo A/B testiranje.

Riješite sve probleme

Točno i sažeto zapišite sve probleme i poteškoće s kojima su se testeri susreli u procesu izvršavanja zadataka.

Loši primjeri:

• Zbunjen oko navigacije.
• Kliknuli ste na krivi link.

dobar primjer:

• U fazi kupnje kliknuo sam na link "Prijava", umjesto na link "Naplata".

Obratite pažnju na ozbiljnost problema.

• Kritično- ako se ne ispravi, korisnici neće moći izvršiti zadatak.
• Ozbiljan- većina korisnika bit će razočarana ako ne riješimo problem.
• Beznačajno- ljudi su iznervirani, ali to ih ne sprječava da zadatak završe bez većih poteškoća.

Formulirajte zaključke, ispravljajte, postavljajte hipoteze za sljedećeA/ B-testiranje

Svaki zaključak trebao bi se temeljiti na primljenim podacima i sadržavati preporuke što dalje. Ako je problem kritičan, morate odmah urediti stranicu ili proizvod. Većina problema zahtijevat će hipoteze za pokretanje A/B testiranja.

Ne zaboravite da nećete moći slijediti sve preporuke testera i učiniti stranicu ili proizvod što prikladnijim za sve, bez iznimke. Najprije se usredotočite na najveće probleme koji izravno utječu na konverzije na vašoj web-lokaciji.

Ponekad nailazimo na nerazumljive, nelogične aplikacije, čije mnoge funkcije i načini korištenja često nisu očiti. Nakon takvog rada rijetko postoji želja za ponovnim korištenjem aplikacije, a mi tražimo prikladnije analoge. Da bi aplikacija bila popularna, nije dovoljno da bude funkcionalna - mora biti i zgodna. Ako razmislite o tome, intuitivne aplikacije štede korisnicima gnjavažu i troškove obuke poslodavca. To znači da su konkurentniji! Stoga je testiranje upotrebljivosti, o čemu će biti riječi u nastavku, sastavni dio testiranja bilo kojeg masovnog proizvoda.

Testiranje upotrebljivosti je metoda testiranja koja za cilj ima utvrđivanje stupnja upotrebljivosti, učenja, razumljivosti i atraktivnosti za korisnike proizvoda koji se razvija u kontekstu zadanih uvjeta. [ ISO 9126]

Testiranje upotrebljivosti mjeri razinu upotrebljivosti aplikacije na sljedećim točkama:

• produktivnost, učinkovitost (učinkovitosti) - koliko će vremena i koraka korisniku trebati da izvrši glavne zadatke aplikacije, na primjer, objavljivanje vijesti, registracija, kupnja itd.? ( manje je bolje)
• pravo (točnost) - koliko je pogrešaka korisnik napravio tijekom rada s aplikacijom? ( manje je bolje)
• aktivacija memorije (podsjetiti) - koliko se korisnik sjeća aplikacije nakon obustave rada s njom na dulje vrijeme? ( ponovno izvođenje operacija nakon pauze trebalo bi biti brže od novog korisnika)
• emocionalna reakcija (emocionalni odgovor) - kako se korisnik osjeća nakon dovršetka zadatka - zbunjen, pod stresom? Hoće li korisnik preporučiti sustav svojim prijateljima? ( pozitivna reakcija je bolja)

Provodne razine

Testiranje upotrebljivosti može se provesti kako u odnosu na gotov proizvod, kroz testiranje crne kutije, tako i na aplikacijska sučelja (API) koja se koriste u razvoju - testiranje bijele kutije. U tom se slučaju provjerava iskoristivost internih objekata, klasa, metoda i varijabli, kao i pogodnost mijenjanja, proširenja sustava i integracije s drugim modulima ili sustavima. Korištenje user-friendly sučelja (API) može poboljšati kvalitetu, povećati brzinu pisanja i održavanja razvijenog koda i, kao rezultat, poboljšati kvalitetu proizvoda u cjelini.

Stoga postaje očito da se testiranje upotrebljivosti može provesti na različitim razinama razvoja softvera: modularnoj, integracijskoj, sustavnoj i prihvaćanju. Pritom će u potpunosti i u potpunosti ovisiti o tome tko će koristiti aplikaciju na određenoj razini - programer, poslovni korisnik sustava itd.

Za dizajn user-friendly aplikacija, korisno je slijediti principe "bye-yoke" ili fail-safe. Kod nas je to poznatije kao "foolproofing". Jednostavan primjer, ako polje zahtijeva numeričku vrijednost, logično je ograničiti raspon korisničkog unosa samo na brojeve - bit će manje slučajnih pogrešaka.

Kako biste poboljšali upotrebljivost postojećih aplikacija, možete koristiti Demming ciklus Planiraj-Do-Provjeri-Djeluj, prikupljajući povratne informacije o radu i dizajnu aplikacije od postojećih korisnika te, u skladu s njihovim komentarima, planirati i implementirati poboljšanja.

Zablude o testiranju upotrebljivosti

1. Testiranje korisničkog sučelja = Testiranje upotrebljivosti

Testiranje upotrebljivosti nema veze s testiranjem funkcionalnosti korisničkog sučelja, ono se radi samo na korisničkom sučelju kao i na mnogim drugim mogućim komponentama proizvoda. U ovom slučaju, vrsta testiranja i testnih slučajeva bit će potpuno drugačija, budući da možemo govoriti o praktičnosti korištenja nevizualnih komponenti (ako ih ima) ili procesa administracije, na primjer, distribuiranog klijent-poslužitelj proizvoda itd.

2. Testiranje upotrebljivosti može se obaviti bez stručnjaka

Nije uvijek osoba koja nije upućena u predmetno područje u stanju samostalno to provesti. Zamislite da tester treba testirati upotrebljivost strateškog bombardera. Morat će provjeriti osnovne funkcije: lakoću borbe, navigaciju, pilotiranje, održavanje, kopneni transport itd. Očito, bez uključivanja stručnjaka to će biti vrlo problematično, a moglo bi se reći i nemoguće.

Testiranje upotrebljivosti je metoda procjene upotrebljivosti i učinkovitosti sučelja. Za ocjenu su uključeni predstavnici ciljne publike proizvoda, koji rade sa sučeljem, obavljajući posebno odabrane zadatke. Na temelju ponašanja ispitanika, stručnjak za upotrebljivost donosi zaključke o prisutnosti problema upotrebljivosti u sučelju i njihovoj prirodi.

Zašto je potrebno testiranje upotrebljivosti?

Kao i druge metode revizije upotrebljivosti, testiranje je potrebno kako bi se razumjelo što sprječava vaš proizvod da bude učinkovit. Testiranje upotrebljivosti pomoći će vam da otkrijete razloge zašto:

• vaša internetska trgovina ima nisku stopu konverzije;
• vaši korisnici zovu pozivni centar s pitanjima koja su već na stranici;
• vaša mobilna aplikacija dobiva negativne kritike u App Storeu i Google Playu;
• zaposlenici koji rade s vašim EDMS-om ga mrze i žale se da je preteško raditi s njim;
• itd.

Također će vam trebati testiranje ako želite:

• usporedite dva sučelja, na primjer, staro i novo, vaše i konkurentsko, kako biste saznali koje je bolje;
• usporedite praktičnost sučelja za dvije skupine korisnika, na primjer, za početnike i iskusne;
• identificirati potencijalne probleme upotrebljivosti novog proizvoda čak i prije nego što bude pušten na tržište;
• procijeniti usklađenost proizvoda s određenim KPI-ovima (na primjer, "proces naručivanja ne traje više od 5 minuta").

Po čemu se testiranje upotrebljivosti razlikuje od fokus grupa?

Fokusne grupe uvijek uključuju nekoliko ispitanika u isto vrijeme koji raspravljaju o nekoj temi. Stoga vam omogućuju učinkovito prikupljanje mišljenja ispitanika o proizvodu, usluzi, brendu i bilo kojem drugom pitanju. U pravilu se fokusne grupe ne koriste za procjenu pogodnosti, budući da ova metoda daje malo informacija o poteškoćama s kojima se korisnici susreću pri radu sa sučeljem.

U testiranju upotrebljivosti ispitanici sudjeluju jedan po jedan, vrlo rijetko u dva, ali nikad u grupi. Svaki ispitanik obavlja određene zadatke u sučelju vašeg servisa. Stručnjak promatra ponašanje ispitanika i donosi zaključke o tome kako se proizvod može poboljšati. Rezultat takve studije je opis problema upotrebljivosti i preporuke za njihovo otklanjanje, na temelju ponašanja, a ne mišljenja ispitanika.

Koje vrste testiranja upotrebljivosti postoje?

Koristeći različite kriterije klasifikacije, postoji nekoliko vrsta ispitivanja. U našoj praksi koristimo ih sve.

Ovisno o stupnju sudjelovanja moderatora (UX analitičara):

• moderirano - moderator daje zadatke, prati napredak njihove provedbe, postavlja pojašnjavajuća pitanja;
• nemoderirano - specijalizirana usluga daje zadatke, prikuplja metrike i povratne informacije automatski, bez sudjelovanja moderatora.

Jedna od opcija za daljinsko nemoderirano testiranje

Ovisno o lokaciji ispitanika:

• licem u lice - ispitanik i moderator su u istoj prostoriji, u pravilu, u laboratoriju, i izravno komuniciraju;
• daljinski - ispitanik sudjeluje u testiranju od kuće ili sa svog radnog mjesta. Obično je ovo nemoderirano testiranje. Ako je potrebno sudjelovanje moderatora, analitičar komunicira s ispitanikom putem video veze.

Ovisno o ciljevima:

• istraživački - provodi se u fazi razvoja koncepta sučelja kako bi se provjerilo koliko je koncept općenito razumljiv korisnicima, zadovoljava njihove potrebe i očekivanja;
• provjera - provodi se radi pronalaženja i rješavanja problema upotrebljivosti ili procjene pokazatelja uspješnosti gotovog proizvoda ili njegovog izgleda (vrijeme utrošeno na zadatke, zadovoljstvo korisnika itd.);
• usporedni - provodi se radi usporedbe učinkovitosti nove i stare verzije ili dva konkurentska proizvoda; zahtijeva sudjelovanje velikog broja ispitanika kako bi se izveli statistički značajni zaključci.

Za većinu projekata prikladno je laboratorijsko testiranje licem u lice. Omogućuje vam da identificirate ključne probleme sučelja i prikupite detaljne povratne informacije od ispitanika. Daljinsko nemoderirano testiranje dobro je za usporedbu performansi dviju verzija sučelja, jer prikuplja veliku količinu podataka u kratkom vremenu, ali ne pruža dubinsko razumijevanje problema s kojima se susreću ispitanici.

Naši menadžeri, već u fazi planiranja projekta, od kupca saznaju koje informacije želi dobiti kao rezultat projekta, te na temelju njegovih potreba odabiru najprikladniju metodu.

Kako ide testiranje upotrebljivosti?

U pravilu provodimo moderirano testiranje upotrebljivosti licem u lice. To znači da ispitanik dolazi u naš laboratorij i obavlja poslove pod nadzorom stručnjaka za upotrebljivost.

Prije početka projekta komuniciramo s kupcem kako bismo saznali više o proizvodu koji se testira, njegovoj publici, ciljevima testiranja i hipotezama koje bismo željeli testirati.

Nakon prikupljanja zahtjeva projekta, UX analitičar kreira testni scenarij. Ovo je dokument koji sadrži upute za ispitanika, popis zadataka za testiranje i pitanja koja moderator treba postaviti nakon svakog zadatka i nakon završetka testa. Scenarij se dogovara s kupcem.

Izvod iz scenarija. Navedeni su tekstovi, kriteriji za uspješnost implementacije, provjerljive hipoteze i pitanja koja će moderator postaviti nakon što ispitanik završi zadatak.

Paralelno s pisanjem scenarija u tijeku je i potraga za ispitanicima. U pravilu je to 8-12 osoba. Neke tvrtke pomažu nam da privučemo ispitanike među svojim klijentima. Ako to nije moguće ili ne odgovara ciljevima studije, onda tražimo ispitanike putem specijaliziranih agencija, na primjer RusOpros. Dajemo im uvjete za ispitanike, a oni daju popise potencijalnih sudionika testiranja. Istodobno, pažljivo pratimo kvalitetu zapošljavanja: provodimo dodatne pozive ispitanicima, postavljamo im pitanja o iskustvu sudjelovanja u takvim studijama, a ako nam se ispitanik čini neprikladnim, filtriramo ga.

Nakon što se dogovori scenarij i pronađu ispitanici, počinje proces testiranja. Ispitanik dolazi u naš laboratorij. Susrećemo se s njim, razgovaramo o postupku testiranja, zatim mu čitamo zadatke propisane u skripti i gledamo kako napreduje njihova provedba. Istodobno bilježimo različite metrike upotrebljivosti: vrijeme i uspješnost zadatka, zadovoljstvo ispitanika i neke operativne psihološke metrike koje je razvila naša tvrtka zajedno s Institutom za psihologiju Ruske akademije znanosti. Razgovaramo o skupu metrika s kupcem prije početka projekta.

Naš laboratorij za upotrebljivost. Pogled iz moderatorske sobe. Slika sa ekrana ispitanika je duplicirana na ekranu

Tijekom testiranja snimamo video, koji prikazuje sve što se događa na ekranu ispitanika, čuje se njegovo lice i komentari. Ako je potrebno, možemo koristiti tehnologiju praćenja očiju – to daje dodatne informacije o prirodi poteškoća s kojima se susreću ispitanici.

Nakon završetka svih sesija testiranja, UX analitičar sastavlja izvješće koje šalje kupcu.

Koliko dugo traje testiranje upotrebljivosti?

Jedno testiranje, od trenutka kada upoznamo ispitanika do trenutka kada se oprosti od njega, traje oko sat i pol. Od toga, sama procedura testiranja traje oko sat vremena, ostalo vrijeme ide na uvodni i završni razgovor. Nema smisla produljivati ​​sesije testiranja. Ispitanici se umaraju i ili griješe zbog nepažnje, ili počinju formalno obavljati zadatke, što loše utječe na kvalitetu rezultata.

Tipičan projekt testiranja upotrebljivosti, uključujući pripremu i pisanje izvješća, traje oko tri tjedna. Međutim, ovisno o prirodi proizvoda, ciljevima i složenosti testiranja, poslovnim procesima u tvrtki kupca, uvjeti mogu varirati. Na primjer, za Agile tvrtke možemo izvoditi vrlo kratke testove kojima je potrebno 1-3 dana da se uklope u sprint. Veliki projekt međukulturalnog istraživanja može potrajati tri do četiri mjeseca.

Je li praćenje očiju dio testiranja upotrebljivosti?

Naš laboratorij posjeduje opremu za snimanje pokreta očiju. Ali praćenje očiju nije potrebno na svim projektima. Obično se koristi za testiranje hipoteza o tome kako korisnici gledaju stranicu. Na primjer, ako pretpostavite da korisnici ne kliknu na gumb jer ga ne primjećuju, praćenje očiju može vam pomoći da testirate tu hipotezu.

Toplinska karta pokazuje kako je pažnja korisnika raspoređena na početnoj stranici naše stranice. Toplinska karta dobivena za isti zaslon izgledat će drugačije za različite zadatke.

Prema zadanim postavkama testiramo bez registracije pokreta očiju. Ali uvijek možete razgovarati s našim upraviteljem o mogućnosti dodavanja ove opcije vašem projektu.

Što je uključeno u izvješće o upotrebljivosti?

Obično izvješće uključuje:

• informacije o značajkama proizvoda, ciljevima i zadacima projekta, ispitanicima i metodologiji testiranja;
• metrika upotrebljivosti za svaki zadatak (ako se mjeri);
• detaljan ilustrirani opis pronađenih problema upotrebljivosti s naznakom njihove kritičnosti i pojave;
• preporuke za otklanjanje pronađenih problema;
• toplinske karte ako smo tijekom testiranja bilježili pokrete očiju.

Struktura izvješća može varirati ovisno o specifičnostima pojedinog projekta. Na primjer, ako ima mnogo problema, onda na kraj izvješća dodajemo popis svih problema, razvrstanih po ozbiljnosti. Tako ćete lakše odlučiti što ćete prvo popraviti. Izvješću možemo dodati i opis uspješnih odluka natjecatelja.

Kako koristiti rezultate testa?

Želimo osigurati da vam rezultati testa budu korisni i da se naše preporuke implementiraju. Stoga u izvješću rangiramo probleme i preporuke prema stupnju ozbiljnosti kako biste mogli planirati poboljšanja i postavljati zadatke programerima. Osim toga, imamo uslugu terenskog nadzora: možemo savjetovati programere i kontrolirati provedbu naših preporuka.

Želite li da za vas provedemo testiranje upotrebljivosti?

Ako želite da provedemo testiranje upotrebljivosti vašeg sučelja, ostavite zahtjev na našoj web stranici. Naš menadžer će vas kontaktirati kako bismo razgovarali o detaljima i odabrali najbolju metodu.