Važno: članak se pojavio prije 10 godina (gore navedeni datum nije datum pisanja, već datum posljednje revizije). Članak je užasno zastario i uopšte ga ne uklanjamo jer iz nekog nepoznatog razloga niko nije napisao bolje i novije na ruskom tokom godina.

Testiranje upotrebljivosti pojavilo se u visoko birokratskim oblastima - u vojnoj industriji i u oblasti rizične civilne proizvodnje (avioni, elektrane, itd.). Kao posljedica toga, samo testiranje upotrebljivosti bilo je krajnje birokratsko – bilo je potrebno ne samo pronaći problem, već, što je još važnije, dokazati da problem zaista postoji. Osim toga, testiranje upotrebljivosti naslijedilo je tehnike i pravila naučnog istraživanja, u kojima nije važno samo otkriti pojavu, već i osigurati da nije rezultat vanjskih okolnosti. Zbog iznuđene komplikacije procesa, na testiranju su bili angažovani čitavi timovi uskih stručnjaka: jedan piše test zadatke, drugi zapravo testira, treći analizira podatke, a drugi vuče i vuče ispitanike.

Lako je shvatiti šta je testiranje, uprkos svim svojim prednostima, ono je dugotrajno i neprihvatljivo skupo.

Posljednjih godina situacija se počela mijenjati: umjesto izrazito formalnih i izuzetno skupih testova, postaju popularni neformalni i jeftini testovi. Umjesto male gužve sa gomilom skupe opreme, u prvi plan dolazi samac sa minimumom stvari. Suština ovog pristupa opisana je u knjizi Web Design: A Book Stevea Kruga ili "Ne tjeraj me da mislim!" ...

Naravno, jednostavni testovi nisu univerzalni. Za kontrolnu tablu aviona, vjerovatno neće raditi. Ali za običan softver jednostavni testovi su mnogo bolji, makar samo zato što se više njih može izvesti.

Ovdje ćete naučiti kako provesti testiranje upotrebljivosti koristeći tehnike brzog testiranja. Složenije i formalnije metode možete pronaći u stručnoj literaturi ili ih sami izmisliti.

Šta je testiranje upotrebljivosti

Testiranje upotrebljivosti je svaki eksperiment koji ima za cilj mjerenje kvalitete sučelja ili traženje specifičnih problema u njemu.

Prednosti testiranja upotrebljivosti su višestruke. Testiranje vam omogućava da:

• Razumjeti koliko loše ili dobro funkcionira sučelje, što može ili potaknuti da ga poboljšamo, ili, ako je već dovoljno dobro, smiri; u svakom slučaju, korist je postignuta.
• Uporedite kvalitet starog i novog interfejsa i na taj način pružite opravdanje za promene ili implementaciju.
• Pronađite i identifikujte problematične fragmente interfejsa, a uz dovoljnu veličinu uzorka procijenite i njihovu učestalost.

U isto vrijeme, testiranje upotrebljivosti ne može napraviti dobar proizvod od lošeg proizvoda; samo čini proizvod boljim.

Prvo testiranje velikih sistema uvek pokazuje da interfejs radi mnogo lošije nego što njegov vlasnik ili kreator misli, i mnogo bolje nego što tester u početku veruje.

Zašto jeftino

Tri pristupa omogućavaju drastično smanjenje intenziteta rada, a time i troškova testiranja upotrebljivosti:

1. Nešto pojednostavljenja koncepta upotrebljivosti.
2. Odbijanje prikupljanja kvantitativnih podataka.
3. Smanjenje troškova opreme i smanjenje plaćanja vremena ispitanika.

Treći pristup je korištenje samo mobilnih laboratorija, što je detaljno opisano u odjeljku. Preostala dva pristupa su opisana u nastavku.

Efikasnost i efikasnost

U glavnom i najčešće korišćenom tumačenju (standard ISO 9241-11), koncept upotrebljivosti se definiše kao

Mera do koje određeni korisnici mogu koristiti proizvod za postizanje određenih ciljeva sa efektivnošću, efikasnošću i zadovoljstvom u određenom kontekstu upotrebe.

Moj prevod ove formulacije na ruski:

Stepen efikasnosti *, intenzitet rada ** i zadovoljstvo s kojim proizvod mogu koristiti određeni korisnici u određenom kontekstu upotrebe za postizanje određenih ciljeva.

* Na primjer, brzina rada ili broj ljudskih grešaka i trajanje njihovog ispravljanja.

** Na primjer, broj operacija koje je potrebno izvršiti da bi se postigao rezultat ili količina informacija koje je potrebno obraditi da bi se donijela odluka. Termin efikasnost se i dalje često prevodi na ruski kao produktivnost; po mom mišljenju, ovo je velika greška, budući da je u originalnom ISO 9241-11 standardu pod efikasnost nešto blisko konceptu efikasnosti.

Glavni pokazatelji učinka su brzina korisnika, brzina učenja i broj ljudskih grešaka (pogledajte odjeljak za detaljniju listu metrika). Ovo su neophodni indikatori, kao i utjecaj na dizajn. Ono što je lijepo je da njihovo mjerenje nije posebno problematično.

S pokazateljima intenziteta rada sve je nešto složenije. Ova grupa uključuje:

• Uspjeh, tj. omjer završenih testova prema neispunjenim ili potpuno netačnim.
• Moć, tj. omjer zadataka iz aktivnosti korisnika prema zadacima za koje je ovaj proizvod namijenjen.
• Opterećenje korisnika (i mentalno opterećenje i, na primjer, broj radnji korisnika po testnom zadatku).

Ovdje postoje dva problema. Snaga uopće nije mjerljiv pokazatelj (više ili manje snage proizvoda je u potpunosti stvar dizajna). Opterećenje korisnika je ili teško izmjeriti, ili je nebitno, jer se i dalje manifestira u pokazateljima efikasnosti - s intenzivnim opterećenjem, brzina rada se smanjuje. Dakle, od svih pokazatelja intenziteta rada u praksi ostaje samo uspjeh.

Nema ničeg buntovnog u ovom pojednostavljenju. U stvarnom testiranju, cijeli skup indikatora se nikada ne prikuplja – na kraju krajeva, samo nekoliko njih je važno za svaki određeni sistem. Međutim, fundamentalna posljedica ovog pojednostavljenja formulacije - značajno pojednostavljenje metodologije testiranja upotrebljivosti - ne može se postići ni na koji drugi način.

Stepen djelotvornosti, uspjeha i zadovoljstva s kojim proizvod mogu koristiti određeni korisnici u specifičnom kontekstu upotrebe za postizanje određenih ciljeva.

Nema količine!

Druga prilika da se smanji radni intenzitet testiranja upotrebljivosti je izbjegavanje prikupljanja većine kvantitativnih podataka. Ovo se radi iz dva razloga:

• Svaki određeni test može biti usmjeren na dobivanje kvantitativnih ili kvalitativnih podataka. Kvalitativni podaci su obično traženiji u dizajnu, pa je bolje planirati test imajući to na umu.
• Kvantitativni podaci su još uvijek nepouzdani. Mogu se pouzdano izmjeriti, ali to zahtijeva izuzetno mnogo vremena.

Kvalitet ili kvantitet?

Testiranje upotrebljivosti može imati za cilj ili dobijanje kvantitativnih podataka (neophodnih za merenje ergonomije interfejsa), ili dobijanje kvalitativnih podataka (neophodnih da bi se razumelo šta je loše i kako to popraviti). U pravilu je nemoguće postići oba cilja u jednom testu.

Pretpostavimo da mjerimo brzinu rada sa sistemom. U tom slučaju, test treba planirati na način da se isključi svako usporavanje korisnika neuobičajeno za stvarni rad. Na primjer, kada korisnik napravi grešku, neće mu biti moguće postaviti nikakva pitanja kako bi se utvrdili razlozi za grešku. S druge strane, ako se fokusirate na kvalitativne podatke, svi kvantitativni rezultati će biti upitni.

U stvari, kvantitativni podaci su općenito luksuz upotrebljivosti, budući da su ugodniji nego što je stvarno potrebno. Treba nam više dinamike, tj. stepen promjene ovih podataka, što uvelike olakšava život. Nije bitno koliko se greške tačno računaju – ako su prebrojane isto pre i posle optimizacije interfejsa, čini se da je dinamika ispravna. Na primjer, ako se pri prebrojavanju broj ljudskih grešaka prepolovio, možete očekivati ​​(samo nemojte tražiti da potkrijepim ovu prosudbu) da ih je zaista bilo pola, iako je nemoguće reći koliko ih je tačno bilo i koliko ih je zapravo postalo.

Nepouzdani brojevi

Osim toga, pitanje da li uopće vjerovati rezultatima testiranja upotrebljivosti zaslužuje razmatranje. Na kraju krajeva, testiranje nije magija, pa ako pretpostavite da bi testiranje moglo biti loše, morate zaključiti da bi moglo imati loše rezultate.

Odgovor na ovo pitanje je jednostavan i tužan – nema razloga vjerovati u rezultate testiranja upotrebljivosti.

Zaista, uprkos činjenici da imamo apsolutno stvarne podatke na ulazu tokom testiranja upotrebljivosti, naš neizbežni volonterizam ne dozvoljava nam da im u potpunosti verujemo. Imamo previše potencijalnih izvora grešaka:

• Stvarni korisnici se mogu razlikovati od naših odabranih ispitanika. U malom uzorku, čak i mala fluktuacija u ponašanju ispitanika može navesti stručnjaka za upotrebljivost da izvuče lažne zaključke.
• Testni zadaci mogu neadekvatno odražavati stvarne aktivnosti korisnika u sistemu.
• Stručnjak za upotrebljivost možda neće primijetiti dijelove problema ili pogrešno razumjeti suštinu problema.

Rolf Molich redovno provodi uporedna testiranja samog testiranja upotrebljivosti. Rezultati su šokantni. Na primjer, u drugom testu, u kojem je devet grupa stručnjaka za upotrebljivost različitih nivoa testiralo uslugu HotMail, rezultati su bili vrlo razbacani, čak i ako su zadaci testa bili identični. Svi timovi su pronašli ukupno 310 problema sa interfejsom. Ali tri četvrtine problema je pronašla samo jedna grupa, a ostale grupe nisu (ovaj procenat uključuje dvadeset devet zaista ozbiljnih problema).

Općenito, testiranje upotrebljivosti možda naučno-istraživački rad, na koji su svi zahtjevi za naučno-istraživački rad općenito sasvim primjenjivi.

Na primjer, usporedite testiranje upotrebljivosti sa studijom slučaja. Sociolog poduzima posebne mjere, napominjem - složene i dugotrajne - kako bi osigurao ispravan izbor ispitanika. Mi nismo. Sociolog koristi provjerene, statistički ispravne alate, kako u prikupljanju podataka, tako i u njihovoj analizi. Mi nismo.

Dakle, kad god pokušamo nešto precizno izmjeriti, griješimo. Kada se i ne trudimo da postignemo tačnost, takođe se varamo, možda i ne toliko, jer je letva već spuštena skoro do poda.

Šta to konkretno znači? Po pravilu, ne možemo sa sigurnošću reći, na primjer, da smo uklonili sve uzroke ljudske greške iz interfejsa. Jednostavno zato što bismo kod drugih, možda bolje usklađenih ispitanika, - opet možda - pronašli više grešaka. Isto razmatranje vrijedi za ostale indikatore kvaliteta sučelja, a još više za druge testne zadatke. A šta da je testiranje planirao i proveo neko iskusniji od nas! I strašno je zamisliti.

Dakle, ergonomiju moramo mjeriti samo radi poređenja sa novim interfejsom, a da pritom shvatimo da naša mjerenja ni na koji način nisu tačna. Potrebni su samo za planiranje najbližih optimizacija. Samo jedno se može sa sigurnošću reći – koliko god testirali, uvijek ima prostora za napredak. Kao rezerva za poboljšanje samog interfejsa i naših metoda testiranja.

Zašto su brojevi uopšte potrebni?

Prokazujući kvantitativne podatke kao nezanimljive i nepouzdane, ne mogu a da ne istaknem njihovu pravu svrhu. Kvantitativni podaci su apsolutno neophodni u uporednom testiranju upotrebljivosti. Ako postoji nekoliko rješenja od kojih trebate odabrati najbolje – jednostavno nema alternative kvantitativnim podacima, neophodno je prikupiti ih i potrebno je poduzeti sve moguće mjere kako biste osigurali njihovu pouzdanost (posebno jer kvalitativni podaci nisu potrebni u sve u uporednom testiranju upotrebljivosti). Međutim, komparativna testiranja su rijetka, pa se ova tema ovdje uopće ne razmatra. Ako vam je potrebno benchmarking testiranje, kontaktirajte.

Šta tačno izmeriti?

Broj izmjerenih indikatora u pojedinom testu može biti prilično velik, ali se svi, po pravilu, svode na skup od pet osnovnih karakteristika. Ispod je lista ovih karakteristika s primjerima metrika generiranih iz njih.

• Brzina korisnika. metrika: trajanje operacije; vrijeme utrošeno na otkrivanje greške; vrijeme utrošeno na ispravljanje grešaka; broj naredbi koje se izvršavaju prilikom izvođenja operacije (pretpostavlja se da što je više naredbi, to je duže potrebno da se one daju); trajanje potrage za informacijama u dokumentaciji; broj komandi efikasnijih od onih koje koristi korisnik; smanjenje produktivnosti tokom dugotrajnog rada.
• Greške. metrika: postotak operacija koje su uzrokovale grešku; prosječan broj grešaka po operaciji za iskusne korisnike (posebno za iskusne korisnike, jer i neiskusni mogu imati faktore iz grupe stope učenja); broj grešaka koje korisnici nisu otkrili i nisu ispravili.
• Učenje vještina za rad sa sistemom. metrika: broj i učestalost poziva sistemu pomoći; trajanje perioda između početka korišćenja sistema i tačke u kojoj brzina rada/broj korisničkih grešaka prestaje da raste; razlika u broju grešaka/brzini rada među korisnicima sa iskustvom korišćenja sistema i bez takvog iskustva.
• Subjektivno zadovoljstvo korisnika. Merenje ove karakteristike povezano je sa određenim poteškoćama koje zaslužuju posebno razmatranje. U nastavku pogledajte metriku za ovu nekretninu.
• Zadržavanje vještina rada sa sistemom. Metrika: razlika u brzini rada/broju grešaka između korisnika nakon sat vremena rada sa sistemom i za istog korisnika na početku korištenja sistema nakon duže pauze.

Kao što vidite, mjerenje kvaliteta interfejsa može biti prilično teško, na primjer, test zadržavanja vještina može trajati više od mjesec dana. Ali ovo su samo testovi za drugu i treću komponentu upotrebljivosti, odnosno efikasnost i zadovoljstvo. Osim njih, tu je i uspjeh, koji je važniji i koji je mnogo lakše izmjeriti - samo treba izračunati koji postotak zadataka korisnik ili potpuno pogrešno obavi ili nikako ne može. Ovo uvelike pojednostavljuje život korisnika.

Koliko je duboko zadovoljstvo?

Za razliku od ostalih karakteristika, zadovoljstvo nije u stvarnom svijetu, već u glavi korisnika. Kao posljedica toga, nemoguće ga je „dodirnuti“, pa ga je nemoguće objektivno izmjeriti. Ali to se barem može mjeriti indirektno.

Postoje dva moguća pravca delovanja. Prvo, ispitanik se može pitati koliko je interfejs zadovoljavajući. Drugo, ponašanje ispitanika se može koristiti da se utvrdi da li mu se sviđa ili ne sviđa interfejs u bilo kom trenutku; prebrojavanjem broja prikazanih reakcija može se procijeniti zadovoljstvo. Naravno, ove procjene su relativne; njihova vrijednost se manifestuje samo u poređenju sa novim interfejsom ili u poređenju sa konkurentima.

Ispod su neke metode za mjerenje zadovoljstva.

Upitnik

Ako pokušate da utvrdite zadovoljstvo putem ankete ispitanika, ne možete bez formalnih upitnika. Zaista, ako format ankete nije fiksiran, ne može biti sigurno da je ispitanicima postavljeno isto pitanje, što znači da odgovori postaju sumnjivi.

Nažalost, u ruskom kontekstu upitnici imaju veliki nedostatak - pouzdani upitnici jednostavno ne postoje. Unatoč činjenici da je u zemljama propadajućeg Zapada stvoreno mnogo prilično izvodljivih upitnika (SUMI, QUIS, MUMMS, IsoMetrics, itd.), nijedan od njih nije preveden na ruski i nije ponovo testiran. Kao rezultat toga, ovi upitnici, koji su, inače, veoma skupi, nisu ništa pouzdaniji od bilo kojih upitnika do kojih možete sami doći.

Nažalost, izrada i testiranje pouzdanih upitnika je veoma dugotrajan i naporan proces, pa se ne može računati na brzu pojavu kvalitetnih domaćih upitnika.

Ispod su dva izvodljiva, iako nepouzdana upitnika.

Upitnik po riječima

Po prvi put, ovaj upitnik su predložili istraživači iz Microsoft Laboratorije za upotrebljivost kao način da se vrlo brzo, iako notorno nepouzdan, procijeni zadovoljstvo. Upitnik je vrlo jednostavan. Ispitaniku se daje list papira sa nizom nasumično odabranih prideva, od kojih je jedna polovina vjerovatnije pozitivna, druga polovina negativna. Od ispitanika se traži da naglasi riječi koje su, po njegovom mišljenju, primjenjive na proizvod (sličnost upitnika sa upitnicima koji se koriste u metodi semantičke diferencijacije nije značajna – to su potpuno različite metode). Nakon što se upitnik popuni, izračunava se razlika između broja negativnih i pozitivnih pojmova.

Koristim sljedeći skup prideva:

Zastarelo - Učinkovito - Zamagljeno - Nezgodno - Prljavo - Tupo - Svijetlo - Čisto - Direktno - Jasno - Nedosljedno - Neupravljivo - Atraktivno - Standardno - Kontrolirano - Dobro - Intuitivno - Zabavno - Amatersko - Neefikasno - Opasno - Dosadno - Radosno - Sigurno - Čvrsto - Iritantno - Trokutasto - Neugodno - Udobno - Hladno - Pametno - Bespomoćno - Jezivo - Toplo - Lagano - Konzistentno - Misteriozno - Kvalitetno - Zanimljivo - Nepouzdano - Fleksibilno - Zgodno - Ružno - Neprivlačno - Korisno - Ludo - Zbunjujuće - Udobno - Razumljivo - Razumljivo - Vedro - Teško - Moderno - Lagano - Prijateljsko - Nestandardno - Loše - Pouzdano - Teško - Jednostavno - Tamno - Profesionalno - Sporo - Okruglo - Tužno - Neprijateljsko - Predvidljivo - Nerazumljivo - Brzo - Ludo - Tužno - Prijatno

Napominjemo da nije slučajno što su riječi pomiješane, tako ih trebate prezentirati ispitanicima.

Formalni upitnik

Za razliku od upitnika riječima, ovaj upitnik se ne može koristiti bez prilagodbe za određeni projekt. Neka njena pitanja su nekad nebitna, nekad ih treba preformulisati. U svakom slučaju, za ispitanice je potrebno promijeniti spol teksta upitnika.

Upitnik se sastoji od nekoliko pitanja, za svako od kojih ispitanik može izabrati jednu od pet opcija odgovora. Napominjemo da sam ovaj upitnik osmislio samo kao post-test, njegova upotreba u bilo kojem drugom svojstvu je upitna.

Pitanja iz upitnika:

Prilikom izvršavanja zadataka sam pogriješio Ne / Da

Sistem je u stanju da uradi sve što mi treba i još više Ne / Da Sistem radi dovoljno brzo Ne / Da

Sviđa mi se izgled interfejsa Ne / Da

Osjećam da ću, ako bolje proučim sistem, moći u njemu raditi stvari za koje sada ni ne znam Ne / Da

Sistem se lako može prilagoditi mojim potrebama Ne / Da

Početak rada je bio lak; Nisam se suočio sa značajnim poteškoćama Ne / Da

Kad god sam pogriješio, lako sam uočio i ispravio svoju grešku Ne / Da

Zadovoljan sam brzinom mog rada Ne / Da

Tokom zadataka, osjećao sam se prilično samopouzdano Ne / Da

U svakom trenutku sam shvatio šta treba da uradim sledeće Ne / Da

Sistem mi se čini korisnim, rado bih ga koristio da riješim svoje probleme Ne / Da

Rezultate treba izračunati prema sljedećem algoritmu: središnja vrijednost daje nula bodova, ekstremne vrijednosti daju ili –2 boda (lijevi odgovor), ili +2 boda (desni odgovor), srednje vrijednosti su ili –1 ili +1 bod, respektivno. Rezultat je vrijednost koju treba uporediti.

Posmatranje emocionalnih reakcija

Pored upitnika, mogu se izračunati i emocionalne reakcije ispitanika. Na primjer, ispitanik se nasmiješio - stavio plus, opsovao se ili namrštio - stavio minus. Broj i znak reakcija je željena vrijednost indikatora.

Postoje i problemi sa ovom metodom.

Prvo, nije jasno kako izračunati reakcije različite jačine. Koliko puta ispitanik mora da se nasmiješi da bi uravnotežio osam sekundi selektivnog zlostavljanja? I devet sekundi zlostavljanja?

Drugo, jedna te ista osoba treba da izračuna reakcije svih ispitanika, jer je nemoguće da više ljudi uskladi svoje ideje o tome šta je, zapravo, uključeno u pojam emocionalne reakcije. Kao rezultat toga, intenzitet resursa testa se uvelike povećava.

Nemojte se zamarati ovim testom ako niste barem malo sigurni u svoju sposobnost da uhvatite tuđe emocije (na primjer, ako ste Em, a ne Jo).

Drugi problem je nesigurnost testa. Uočava se samo operativna satisfakcija, odnosno zadovoljstvo, dok percipirano zadovoljstvo, koje je gotovo uvijek važnije, ostaje iza kulisa.

Šta je potrebno za testiranje

Sada kada su osnovna pitanja generalno rešena, možemo da nastavimo sa praksom. Vrijedi početi s listom onoga što treba prikupiti na jednom mjestu za testiranje upotrebljivosti (ove točke će biti detaljnije opisane u nastavku). Dakle, šta nam treba:

• ispitanika
• metoda ispitivanja
• test skripte
• radna stanica za ispitivanje i dobro uhodana metoda fiksiranja materijala
• testiran test.

Ispitanici

Prilikom odabira ispitanika za testiranje, najprije je zgodno odrediti opšte zahtjeve za ispitanike, a tek onda, koristeći formirane zahtjeve, odabrati ispitanike iz ciljne publike.

Imajte na umu da je biranje ispitanika iz neciljne publike daleko opasnije nego što se na prvi pogled čini. Ili ćete identificirati nepostojeće probleme ili nećete identificirati postojeće. U najgorem slučaju, toliko ćete pojednostaviti sučelje da će ga čak i prosječni korisnici, koji su zapravo većina, teško koristiti.

Opšti zahtjevi za ispitanike

Prva stvar je da li je ispitanicima potrebno iskustvo sa sistemom. Po pravilu, ako se optimizira interfejs postojećeg sistema, polovina ispitanika treba da ima radno iskustvo (mogu da utvrde probleme prekvalifikacije tokom implementacije), a polovina ne (oni određuju stopu učenja). Ako postoje konkurentski sistemi, bolji je drugačiji odnos: trećina sa iskustvom sa prethodnom verzijom, druga trećina sa iskustvom sa konkurentskim sistemima, a preostala trećina bez iskustva sa sistemom.

Druga tačka je nivo kompjuterske pismenosti. Uz ostale jednake stvari, preferirani izbor je stvaran, tj. poklapa se sa iskustvom ciljne publike, nivoom tri četvrtine ispitanika i niskim nivoom preostale četvrtine (na njemu je moguće identifikovati više problema).

Nivo kompjuterske pismenosti pogodno je odrediti prema sljedećoj skali:

1. Visoko. Ispitanik ima računar na poslu i kod kuće, većinu svojih radnih aktivnosti obavlja na računaru, ispitanik samostalno koristi računar kao sredstvo za samorazvoj, aktivno koristi usluge na Internetu (npr. redovno kupuje robu i usluge u internet prodavnicama).
2. Iznad prosjeka. Ispitanik ima računar na poslu i kod kuće, najveći deo svoje radne aktivnosti obavlja na računaru, ali ispitanik ne koristi računar za rešavanje problema koji prevazilaze njegovu osnovnu delatnost (radi na računaru „od poziva do poziva“). ” i ne više).
3. Prosjek. Rad sa računarom dio je vaše normalne (poslovne ili lične) aktivnosti tokom dvije godine ili više.
4. Kratko. Ili na poslu ili kod kuće postoji kompjuter, ali iskustvo sa računarom ne prelazi dvije godine i kompjuter nije značajan alat u radu.
5. Veoma nisko. Iskustvo korištenja računara je sporadično, traje manje od tri godine. Računar se ne koristi ni na poslu ni kod kuće.

Na trećem mjestu su godine. Optimalna proporcija: tri četvrtine ispitanika je starosne dobi ciljne publike sistema, preostala četvrtina je starija (na njoj je moguće identifikovati više problema).

Pol ispitanika ima manji uticaj na rezultate – ali to ne znači da nije potrebno odabrati tačan pol. Vrijedi povećati broj žena među ispitanicima u odnosu na udio u ciljnoj publici, jer je lakše identifikovati probleme implementacije na ženama (žene, generalno, sporije uče, ali nakon učenja rade bolje).

Posljednja značajna karakteristika je nivo emocionalne otvorenosti ispitanika. Što je ispitanik više sputan, to je manje u stanju da vam kaže vrijednog. Čak i nakon utvrđivanja postojanja problema, nećete moći od njega dobiti nikakvu informaciju o tome šta je uzrok problema. Postoji odličan način da se riješi problem nedostatka emocionalne otvorenosti – vrijedi imati bazu ispitanika i ponovo ih koristiti. Ispitanik koji već iz iskustva zna da nema ništa loše u testiranju upotrebljivosti mnogo je spremniji da kontaktira i generalno pričljiviji.

Konačno, kada su željena svojstva korisnika za test već određena, vrijeme je da se izaberu oni ispitanici koji ne samo da zadovoljavaju gore navedene zahtjeve, već i pripadaju ciljnoj publici sistema.

Koliko vam je ispitanika potrebno

Robert Virzi je 1992. napisao Rafiniranje testne faze evaluacije upotrebljivosti: Koliko je predmeta dovoljno? sugerira da je pet ispitanika dovoljno za test. Godinu dana kasnije palicu su preuzeli Jakob Nielsen i Thomas K. Landauer sa člankom Matematički model pronalaženja problema upotrebljivosti, u kojem su tvrdili da je pet ispitanika dovoljno da uhvati 70% problema, a da su potrebna još tri ispitanika kako bi da se efikasnost podigne do 85%.

Zajednica upotrebljivosti voljela je ove brojeve svim srcem. Od tada je fraza "5-8 ispitanika" postala gotovo mantra. Avaj, ova mantra je lažna.

Prvo, sva tri autora su pisali samo o testiranju malih sistema. Šta učiniti ako je sistem prevelik da stane test na svakog ispitanika za sat i po (to je maksimum koji osoba, i ispitanik i eksperimentator, može da izdrži; testovi od 40 minuta su mnogo bolji). U ovom slučaju, moraćete da izvršite nekoliko različitih testova na različitim ispitanicima; bez toga će biti jednostavno nemoguće pokriti čitav interfejs sistema. Koliko je ispitanika potrebno u ovom slučaju zavisi od sistema, tu ne može biti jasnih gradacija. Dakle, za testiranje velikog korporativnog sajta, na prijateljski način, potrebno vam je dvadeset ljudi u nekoliko serija od po 5 ljudi.

Drugo, osam ljudi je premalo da bi se moglo govoriti o bilo kakvoj tačnosti mjerenja ergonomskih karakteristika. Za mjerenje vam je potrebno najmanje dvanaest ljudi.

Treće, osam osoba ne može prihvatiti ni spol, ni godine ni bilo koju drugu raznolikost ispitanika. Ako želite da testirate interfejs dizajniran za nekoliko različitih grupa publike, svaka grupa treba da dobije svojih pet do osam ispitanika.

S druge strane, prvih nekoliko ispitanika i dalje otkriva lavovski dio problema. Dakle, jedino stvarno moguće rješenje je testiranje u serijama: prva serija prođe, identificirani problemi se rješavaju, zatim druga serija, problemi se ponovo rješavaju itd. Ako se u prvoj seriji koriste svi tipovi ispitanika, ostatak serije se može bezbedno prekinuti kada količina otkrivenih podataka značajno opadne. U isto vrijeme, prva serija bi trebala biti veća, a ostale manje.

Organizaciona pitanja

Pored stvarnih zahtjeva za ispitanike, ostaje otvoreno pitanje: kako uvjeriti potencijalnog ispitanika da učestvuje u testiranju?

Ako dizajnirate interfejs po narudžbi, pokušajte da potragu za ispitanicima prebacite na kupca. Gotovo uvijek sistem ima stvarne ili potencijalne korisnike sa kojima je kupac razvio poseban odnos i koji su – što je lijepo – posebno zainteresovani za novi interfejs, zbog čega su veoma druželjubivi.

Ako dizajnirate interfejs za sistem sa širokom (zajedničkom) ciljnom publikom, nemojte zanemariti svoje najmilije. Oboje su odlazni i lako dostupni.

Mnoge kompanije za zapošljavanje angažirane su u regrutovanju ispitanika za fokus grupe, tako da mogu upariti ispitanike za testiranje upotrebljivosti. Nažalost, fokus grupa je jednokratan, relativno kratkotrajan događaj. Testiranje upotrebljivosti će zahtijevati da zakažete sastanke sa ispitanicima jedan po jedan, jednu po jednu osobu, što uvelike komplikuje proces.

Održavajte bazu podataka ljudi koje ste već koristili za testiranje. Sa njima je po pravilu lakše pregovarati nego sa onima koji nemaju iskustva u testiranju.

Kada dogovarate sastanke sa ispitanikom, budite što fleksibilniji i usaglašeni. Ispitanik, čak i ako je njegovo vrijeme plaćeno, čini vam uslugu time što pristaje da učestvuje u testu.

Ako sami nađete ispitanika, čak i ako se radi o vašem prijatelju ili rođaku, treba ga nagraditi za utrošeno vrijeme (možete i bez naknade ako ispitanike pruža korisnik interfejsa, ako ste koristili usluge regrutacije , o naknadi treba razgovarati sa predstavnikom servisa) ... Za nespecifičnu publiku, najbolji poticaj je novac – optimalan iznos plaćanja je dvostruko veći od satnice određenog ispitanika, uzimajući u obzir vrijeme koje je ispitanik proveo na putu. Za određenu publiku često su potrebne vrlo velike količine nagrada, u takvim uslovima razumno je nagraditi ispitanike vrijednim poklonima za koje možete dobiti veliki veleprodajni popust (osobno više volim da koristim skupi alkohol).

Metode ispitivanja

Postoje samo tri glavne metode testiranja upotrebljivosti: pasivno posmatranje performansi testnih predmeta, tok svesti i aktivna intervencija; prvi je dizajniran za prikupljanje kvantitativnih podataka, drugi je kvalitativni:

• Pasivno posmatranje performansi testnih zadataka. Suština metode je vrlo jednostavna: ispitanik izvršava testne zadatke, analiziraju se njegove radnje (tokom testa ili nakon, prema protokolima), što omogućava kako pronalaženje problematičnih fragmenata, tako i mjerenje ergonomskih karakteristika interfejsa.
• Struja svijesti (razmišljajte naglas). Odgovara verifikaciji pasivnim posmatranjem, ali se od ispitanika takođe traži da usmeno komentariše svoje postupke. Zatim se komentari analiziraju. Metoda je prilično nestabilna, ali ponekad daje zanimljive rezultate (u velikoj mjeri zavisi od pričljivosti ispitanika). Glavni minus toka svijesti je to što su mjerenja ergonomskih karakteristika interfejsa vrlo upitna.
• Aktivna intervencija. U ovoj metodi, stručnjak za upotrebljivost ne očekuje usluge od prirode u osobi ispitanika, već ih pokušava sam uzeti. Nakon svake radnje ispitanika, eksperimentator ga pita zašto se ispitanik tako ponaša; na svakom ekranu, eksperimentator pita kako ispitanik razumije svrhu i funkciju ovog ekrana. Ova metoda je bliža fokusiranom intervjuu nego samom testiranju – na primjer, metoda se može koristiti čak i bez testnih zadataka, sve dok postoji interfejs za diskusiju. Jasno je da uz aktivnu intervenciju nikakva mjerenja jednostavno nisu moguća, ali je količina dobijenih kvalitetnih podataka najveća.

Test skripte

Testni slučaj je provjerljivi aspekt sistema. Po mom mišljenju, adekvatno odabrani scenariji testiranja su najvažniji preduslov za kvalitet testiranja.

Scenariji se sastoje od prilagođenog zadatka i povezanih zadataka:

• smislene ergonomske metrike
• ispitne stavke za ispitanike (može biti nekoliko stavki)
• znakovi uspješnog završetka zadatka.

Hajde da ih detaljno analiziramo.

Prilagođeni zadatak

Prvi korak u definiranju scenarija je definiranje smislenih korisničkih zadataka. Ovi zadaci su početni materijal za pisanje skripti.

Šta je prilagođeni zadatak? To je zadatak koji njihova aktivnost postavlja korisnicima, a koji za korisnike ima samostalnu vrijednost. Prilagođeni zadatak se izvršava kao jedna ili više operacija (prilagođena operacija nema nezavisnu vrijednost). Na primjer, za program mail klijenta, zadaci su:

• pisanje i slanje pisma
• primanje poruka sa servera
• prilagođavanje programa vašim potrebama (na primjer, postavljanje automatskog prijema pošte u određenim intervalima).

Ali izbor adresata iz adresara prilikom pisanja novog pisma više nije zadatak, jer ova radnja sama po sebi nije vrijedna. Ovo je operacija koja se sastoji od mnogo radnji (kliknite na dugme Za…> izaberite kontakt> potvrdite izbor).

Prilikom odabira zadataka za testiranje, trebali biste se voditi dvama razmatranjima:

• Svi zadaci moraju biti stvarni, tj. identifikovano iz stvarnih aktivnosti korisnika: želja da se otežaju poslovi kako bi se pronašao više problema odjednom, neodrživa je - zadaci bi trebali biti obični, jer nema smisla tražiti probleme s kojima se niko ne susreće.
• Budući da je testiranje cijelog sučelja na svim korisničkim zadacima moguće samo idealno, morate se ograničiti i odabrati samo važne zadatke. Važni zadaci su, prvo, frekventni zadaci, tj. koje izvode svi korisnici i/ili često izvode, drugo, svi drugi zadaci za koje sumnjate da loše obavljaju sistem i, na kraju, zadaci koji, ako se izvode nepravilno, dovode do velikih problema.

Smislene ergonomske metrike zadataka

Za svaki zadatak morate odabrati karakteristike interfejsa koje su za njega značajne. Naravno, na raspolaganju su nam metrike iz odjeljka „Šta mjeriti“. Međutim, ove metrike su nezgodne: teško ih je izmjeriti i teško ih je razumjeti (iako ih je lakše uporediti). S praktične tačke gledišta, svjetovnije karakteristike su mnogo prikladnije.

Na primjer, možete izbrojati broj ljudskih grešaka. Ali utjecaj ove metrike na integralni rezultat je toliko težak da se ipak pri analizi ne može bez elemenata voluntarizma i subjektivnosti. Mnogo je lakše utvrditi uticaj istih grešaka neposredno, čak i prije testiranja, na primjer, postavljanjem značajne karakteristike interfejsa „Korisnik je u mogućnosti da instalira program za manje od pet minuta, a da ne napravi više od dva manja greške" (gdje manja greška znači grešku koju je korisnik uočio i ispravio). Naravno, u takvoj potražnji ima dosta proizvoljnosti. Ali to je ipak manje nego u sumnjivim spekulacijama o broju identificiranih ljudskih grešaka. Stoga su "prizemne" metrike pogodnije od univerzalnih metrika.

Pored toga, jednostavne deklarativne metrike su takođe zgodne jer vam omogućavaju da razumete kada nastaviti sa optimizacijom interfejsa, a kada prestati. Vraćajući se na primjer iz prethodnog paragrafa, možemo reći da trebate optimizirati sučelje dok instalacija ne potraje manje od pet minuta. Ako se nakon optimizacije sučelja program instalira za šest minuta, to je razlog da ponovo modificirate sučelje i ponovo ga testirate.

Evo primjera takvih metrika:

• Uspjeh - ispitanici tačno urade 90% zadataka.
• Efikasnost - brzina rada korisnika: registracija na sajtu je završena za manje od 7 minuta.
• Efikasnost - greške: pri unosu 10 obrazaca broj grešaka u unosu ne prelazi dvije.
• Efikasnost – učenje vještina rada sa sistemom: prilikom izvođenja zadatka 9, koji se od zadatka 2 razlikuje samo po ulaznim podacima, ispitanici ne prave nijednu grešku (ne računajući greške u kucanju).
• Zadovoljstvo - prema rezultatima upitnika, broj bodova je povećan za 20% u odnosu na prethodne rezultate.

Test zadaci

Testni zadatak je ono što ispitanik dobije od vas, zadatak koji vam omogućava da ispitanika vodite kroz fragment sistemskog interfejsa i odredite karakteristike ovog fragmenta.

Testni zadaci, osim što su konzistentni sa zadacima korisnika, moraju imati i sljedeća svojstva:

• Nedvosmislenost. Zadatke treba formulisati na način da se isključi njihova pogrešna interpretacija od strane ispitanika. Ako ispitanik pogrešno shvati zadatak, gotovo sigurno nećete moći usmjeriti test na pravi put, a da ga u isto vrijeme ne navedete da završi zadatak.
• Kompletnost. Tekst zadatka mora sadržavati sve podatke potrebne za završetak ovog zadatka.
• Kratkoća. Ako mjerite brzinu izvršavanja zadataka, zadaci bi trebali biti dovoljno kratki tako da trajanje čitanja zadataka od strane ispitanika ne utiče na trajanje samih zadataka (ljudi čitaju različitom brzinom). Ako je tekst zadatka velikog obima, moraćete ručno da odsečete trajanje čitanja za svaki zadatak, što je veoma dugotrajno.
• Nedostatak upita. Iz teksta zadatka ne bi trebalo da bude jasno kako bi ovaj zadatak trebalo da se izvrši. Na primjer, neprihvatljivo je koristiti terminologiju sistema – umjesto svakog pojma potrebno je opisati njegovo značenje, inače će ispitanici jednostavno kliknuti na dugmad sa istim riječima i nećete uočiti nikakve probleme.
• Zadatak mora sadržavati početna tačka zadatka, tj. prozor ili ekran na kojem bi ispitanik trebao biti na početku treba napisati. Ukoliko se takve informacije ne pruže, ispitanici će neminovno preći na druge fragmente interfejsa, što znači da će zadatak različito obavljati različiti ispitanici, što obesmišljava sve statističke proračune. Morate popraviti početnu tačku zadatka na kraju prethodnog zadatka. Ako zadatak počinje praznim listom, na kraju prethodnog zadatka treba pisati "povratak na glavni ekran". Ako zadatak treba da počne tamo gde je prethodni zadatak završio, prethodni zadatak treba da završi rečima "kada završite, ne zatvarajte trenutni prozor / ostanite na ovom ekranu."

Pored ovih opštih zahteva, treba uzeti u obzir i sledeće:

• Moguće je da će za jedan prilagođeni zadatak biti potrebno napisati nekoliko testnih zadataka. Zadatak je obično prevelik da bi stao u jedan zadatak. Osim toga, ako je prilagođeni zadatak čest, ne treba vas posebno zanimati kako se izvodi prvi put – mnogo je zanimljivije znati kako će ga korisnici izvesti drugi, treći, četvrti (i tako dalje) puta. U ovom slučaju, u okviru testa na jednom ispitaniku, biće potrebno izvršiti ovaj zadatak nekoliko puta, svaki put mijenjajući zadatke.
• Pored zadataka u kojima ispitanik mora izvršiti radnju, prihvatljivi su i poželjni dvostruki zadaci u kojima ispitanik prvo mora odlučiti da li treba da izvrši ovu radnju u datom trenutku. Na primjer, ako testiramo defragmentator diska, umjesto zadatka “Defragmentiraj disk računala” bolje je koristiti zadatak “Provjeri stupanj fragmentacije diska i, ako smatraš da je potrebno, defragmentiraj disk računala”. Takve zadatke treba osmisliti na način da ispitanik ne može odbiti donošenje odluke, a da pritom ne kaže da je, kaže, sve u redu i da defragmentacija nije potrebna. Osim toga, mudro je namjerno fragmentirati disk prije takvog testa kako ispitanik ne bi mogao izbjeći zadatak.
• Ponekad, tokom zadatka, morate nasilno promijeniti stanje sistema. Na primjer, ako želite točno znati kako korisnici rješavaju određeni problem, morate ga kreirati. Zbog toga je neprihvatljivo prekidati izvođenje testa, jer će to odvući pažnju ispitanika. U takvim slučajevima prije odgovarajućeg zadatka možete umetnuti drugi zadatak u kojem ispitanik mora sam stvoriti problem. Naravno, takav zadatak neće pružiti nikakve informacije o interfejsu.
• Analiza rezultata i sumiranje statistike uvelike su pojednostavljeni ako ne radite mali broj dugih zadataka, već veliki broj kratkih zadataka koji zahtijevaju pomicanje samo nekoliko ekrana ili popunjavanje jednog ili dva formulara.
• Prvi zadatak testa treba da bude uvodni, namenjen isključivo uvođenju ispitanika u proces. U skladu s tim, trebao bi biti jednostavan, a njegovi rezultati se mogu zanemariti.

Obavezno provjerite da li ispitanici mogu završiti vaše skripte unutar očekivanog vremena testiranja. Lista scenarija će se vjerovatno morati skratiti.

Znakovi uspješnog završetka zadatka

Posljednji dio scenarija su znakovi uspjeha zadataka. Poenta je u sljedećem: nije uvijek moguće izvršiti isti zadatak na jedan jedini način. Netačno je izvoditi test bez poznavanja svih ovih metoda, jer će se daljnja analiza pokazati sumnjivom. Pretpostavimo da je ispitanik A obavio zadatak na način A, a ispitanik B na način B. Oba ispitanika su se snašla sa zadatkom, ali je jedan ipak bolji od drugog. Uostalom, različite metode, očigledno, imaju različitu efikasnost, na primjer, broj akcija uključenih u metodu B je jedan i po puta veći od broja akcija u metodi A. Metoda A u takvoj situaciji je poželjnija, u idealan sistem (kome treba težiti) svi korisnici treba da ga koriste samo.

Osim toga, ponekad ispravan rezultat testa sa stanovišta eksperimentatora zapravo nije tačan, pogotovo ako je predmetno područje složeno, a stručnjak za upotrebljivost ga ne poznaje dovoljno. Da bi se uverio da je ispravan rezultat upravo ono što upotrebljivač misli, treba da pronađe stručnjaka za sistem i predmetnu oblast i pita. Bez čvrstog poznavanja svih načina da izvršite zadatak, jednostavno nećete moći prepoznati greške.

Radno mjesto i načini prikupljanja podataka

Postoje dva pristupa organiziranju radnog mjesta za testiranje upotrebljivosti: stacionarno radno mjesto i mobilno radno mjesto. Evo samo preporuka koje se odnose na mobilna radna mjesta, budući da su mobilne laboratorije same po sebi jeftinije i smanjuju naknadu ispitanicima (iako na račun troška vremena stručnjaka za upotrebljivost koji mora sam doći do ispitanika).

Dakle, šta trebate imati za potpuno testiranje:

1. Notebook. Zahtjevi za laptop su jednostavni. Prvo, najmoćniji procesor za istovremeno snimanje sadržaja na ekranu (iako vam čak i najslabiji Intel Centrino procesori omogućavaju snimanje video streama u pozadini, na snažnijim procesorima testirani interfejs će raditi brže, a kvalitet videa će biti veći) . Drugo, ako ćete snimiti video sa samim ispitanikom (pogledajte dolje), trebat će vam veći ekran za smještaj i interfejsa koji se testira i prozora sa fizionomijom ispitanika.

2. Web kamera, ako ćete snimiti izraze lica i smjer pogleda ispitanika. Po pravilu, što je kamera skuplja, to daje bolji kvalitet slike. Poželjna je kamera na laptopu jer je praktičnija za korištenje.

3. Mikrofon. U principu, svako će učiniti. Lično koristim običan Genius mikrofon koji košta sedamdeset rubalja. Ako vaša web kamera ima ugrađen mikrofon, to će biti sasvim u redu. S druge strane, bolji mikrofon će proizvesti bolji kvalitet snimanja, tako da će biti manje šištanja (ali ništa ne ometa).

4. Snimač ekrana. De facto standard je TechSmith Camtasia, ako sredstva dozvoljavaju, investirajte u TechSmith Morae, posebno dizajniran za testiranje upotrebljivosti (on ne snima samo sadržaj ekrana, već i bilježi radnje korisnika, što vam omogućava da uvelike ubrzate naknadnu analizu - s druge strane , Morae je četiri puta skuplji od Camtasije, koja ionako nije jeftina).

Približite se svojoj opremi što je više moguće prije prvog testiranja. Istražite kako najbolje pozicionirati kameru i mikrofon za najbolje rezultate. Naučite prečice za snimanje ekrana, naučite kako ga brzo pokrenuti u bilo kojem načinu rada. Ništa ne potkopava povjerenje ispitanika u testiranje više od spektakla vrpoljenog eksperimentatora koji pokušava da snimi traku u posljednjem trenutku prije testa.

5. Ako ćete bilježiti trajanje zadataka, korisno je nabaviti sportska štoperica sa snimanjem krugova (Laps), što vam omogućava da zapamtite niz intervala. U suprotnom ćete morati ponovo gledati video zapise kako biste izračunali trajanje zadataka, što je vrlo zamorno.

6. Test zadaci za prezentaciju ispitanicima. Po pravilu, najbolja opcija je ispis, svaki zadatak na posebnom listu, tako da ispitanik ne može trčati naprijed i čitati zadatke koje još nije obavio. Na prvom listu trebate ispisati uvodni oblik. Primjer takvog oblika (u uglastim zagradama - varijabilni podaci):

Poštovani [ime ispitanika]!

Pozivamo vas da izvršite niz zadataka dizajniranih za procjenu jednostavnosti i upotrebljivosti [Naziv sistema]. Slobodno dovršite zadatke. Svrha studije je da se proceni kvalitet interfejsa koji se proučava, a ne vi lično. Ako nešto uradite pogrešno, to znači da sučelje i samo sučelje treba poboljšati.

Kada izvršavate zadatke, morate se ponašati kako vam odgovara. Na primjer, ako odlučite koristiti pomoć, možete to učiniti bez traženja dozvole eksperimentatora.

Napominjemo da se vaši postupci i riječi snimaju za dalje proučavanje, ali svi prikupljeni podaci ostat će strogo povjerljivi i bit će dostupni samo istraživačima.

Pažljivo pročitajte zadatak i pažljivo slijedite upute.

Pokušajte da dovedete završetak svakog zadatka do kraja, ali ako tokom zadatka shvatite da ga ne možete ili ne želite završiti, obavijestite o tome eksperimentatora i prijeđite na sljedeći zadatak.

Okrenite stranicu sa zadatkom tek kada završite zadatak na otvorenoj stranici.

Ako ne razumijete nijedan zadatak, ne ustručavajte se ponovo pitati stručnjaka za testiranje.

S druge strane, u nekim slučajevima je mnogo efikasnije davati zadatke ispitanicima ne na papiru, već na način koji je bliži stvarnosti. Na primjer, kada testirate POS sučelje, najbolje je pretvarati se da ste kupac, a kupci rijetko navode svoje potrebe u pisanom obliku.

7. Ako ćete anketirati korisnike, trebat će vam štampani upitnici.

8. Ako ćete biti blizu ispitanika i odmah popraviti bilo koji parametar, biće vam potrebno tablet sa papirom i olovkom. Zgodno je unaprijed odštampati nekoliko listova sa imenom ispitanika i brojevima stranica - ako pokrenete nekoliko testova zaredom, to će garantovano izbjeći bol od zbrkanih papira.

Kao što vidite, nije potrebno toliko. Cijena potrebne opreme i softvera (osim laptopa, u 21. vijeku to nije luksuz) u ekonomičnoj verziji nije više od 450 dolara. Prednosti takvog rješenja su pouzdanost i jednostavnost rada; osim toga, mobilnost omogućava testiranje sa samim ispitanicima, što značajno povećava njihov broj (mnogi potencijalni ispitanici ni pod kojim okolnostima neće ići u ordinaciju kod stručnjaka za upotrebljivost).

Snimanje izraza lica ispitanika

Ako ćete analizirati rezultate nakon testa (a ne tokom njega), biće izuzetno korisno napraviti video zapis izraza lica i gestova ispitanika. Bez video snimka sa ispitanikom, moraćete da analizirate pokrete kursora (popraćeno, pošto je zvuk snimljen, šištanjem i vriskom). Sa snimkom će biti moguće analizirati interakciju osobe sa interfejsom, jer će se pojaviti preduslovi za geštalt. Objektivno beznačajna razlika u metodi će se vratiti na objektivno značajno poboljšanje rezultata.

Problem je u tome što je snimanje videa sa samim ispitanikom ispunjeno određenim poteškoćama - potrebno je automatski sinhronizirati lice ispitanika i snimanje njegovih radnji.

Ne postavljajte mikrofon blizu testnih otisaka. Oglušite dok gledate video.

U stacionarnoj laboratoriji upotrebljivosti, to se postiže činjenicom da je video sa kamere hardverski pomešan sa video streamom sa video kartice računara. Glavni nedostaci ovog rješenja su visoka cijena i nizak kvalitet snimljene slike na ekranu (broj piksela na ekranu je nekoliko puta veći od onoga što se može snimiti na kasetofonu). Osim toga, s takvim snimcima je nezgodno raditi.

Možete sinhronizovati snimanje i ručno, snimanje na računaru istovremeno teče sa kamere i sa ekrana. Ali u ovom slučaju, nakon svakog testa, morat ćete provesti neko vrijeme na dosadnom radu miješanja dva različita video fajla.

Ranije je bilo dostupno samo glupo, iako izvodljivo rješenje (novi, bolji način je opisan u nastavku). Prije testiranja:

1. Isključite grafičko ubrzanje u Windowsima (in Kontrolni paneli izabrati Ekran, na kartici Opcije pritisnite dugme Dodatno, u prozoru koji se otvara na kartici Dijagnostika pomerite klizač Hardversko ubrzanje nalijevo). Nakon testa, ubrzanje se može ponovo uključiti.
2. Pokrenite bilo koji program koji može prikazati video koji dolazi s kamere. Takvi programi su pričvršćeni za web kamere, osim toga, prikladni su programi za video ćaskanje.
3. Postavite prozor sa slikom koja dolazi iz kamere u donju desnu ivicu ekrana (gde najmanje odvlači pažnju ispitanika) i postavite prozor sistema koji se testira tako da ne zaklanja slike. Prozor sa video snimkom treba prekriti komadom papira (hvala Dmitriju Satinu na ideji).
4. Zamolite ispitanika da ne mijenja veličinu prozora sistema koji se testira.
5. Omogućite snimanje svih sadržaja ekrana.

Zbog toga se tokom izvođenja testa snima čitav sadržaj ekrana, uključujući i radnje ispitanika i njegovu sliku sa kamere.

Prikaz ekrana kada snimate izraze lica na ovaj način.

Dodatak: U trećoj verziji TechSmith Camtasia Studio postoji režim slika u slici (stream sa video kamere se ubacuje u ugao video snimka sa sadržajem ekrana), pa je sada sve postalo mnogo lakše.

Jedini problem sa snimanjem izraza lica ispitanika je to što ako sami odete do ispitanika, niko ne može garantovati da neće biti gadnih stvari u pozadini videa - ispitanici se često vole sastati sa stručnjacima za upotrebljivost u bugovima.

Testiran test

Na kraju, moramo provjeriti sam test. Morate biti sigurni da:

1. oprema je u funkciji
2. znaš kako da je tretiraš kao mladog poluboga
3. sve zadane postavke su ispravne
4. imate dovoljno praznih traka ili prostora na disku
5. svi potrebni radovi se štampaju i provjeravaju relevantnost i greške
6. testni zadaci sadrže sve potrebne informacije i ne zahtijevaju dodatna objašnjenja
7. u testnim stavkama nema skrivenih tragova
8. znate kako brzo dovesti sistem koji se testira u prvobitno stanje tako da sljedeći ispitanici ne vide promjene koje su napravili prethodni učesnici
9. Vaša ideja o tome šta je ispravno raditi zadatke je tačna
10. test na jednom ispitaniku može se izvršiti u razumnom roku (ne više od sat i po).

Kao što vidite, postoji toliko mnogo tačaka u kojima se mogu napraviti greške da će njihovo provjeravanje samo po sebi postati izvor grešaka (složene zadatke je teško završiti bez grešaka). Shodno tome, potrebna je pouzdana metoda verifikacije. Ova metoda je testiranje samog testa, tj. pokrenite test na nekome koga vam nije žao i koga je lako uhvatiti (na primjer, kolegu). Ako je probni rad pokazao barem jednu grešku u pripremi testa, ispravite je i ponovite rad.

Imajte na umu, međutim, da probno izvođenje ne uklanja potrebu da sami testirate test, budući da se neki aspekti probnog rada ne mogu testirati.

Testiranje

Dakle, test je spreman i možete početi. Procedura je jednostavna. Nakon uključivanja snimanja i sjedenja ispitanika za kompjuter:

1. unesite ispitanika u problem
2. pitajte ga o njegovim očekivanjima od sistema
3. testirajte interfejs
4. saznati kako su očekivanja ispitanika ispunjena
5. završiti test.

Ovi koraci su detaljno opisani u nastavku.

Uvod u problem

Uvođenje ispitanika u problem je da mu dosljedno objašnjavate pravila testiranja. Sva ova objašnjenja su izuzetno važna, ako propustite i jedan bod, rezultati će biti iskrivljeni.

• Objasnite ispitaniku šta je testiranje upotrebljivosti i zašto je potrebno.
• Objasnite ispitaniku (ovdje je dozvoljeno lagati) da je on i samo on potreban da sprovede testiranje - osjećajući da je potreban, ispitanik će se razveseliti.
• Navedite da interfejs niste razvili vi (možete i treba da lažete), tako da se nećete uvrijediti ako ispitanik izgrdi interfejs.
• Prije testiranja ne zaboravite isključiti mobilni telefon i zamoliti ispitanika da učini isto.
• Objasnite ispitaniku da ne testirate njega, već sistem. Upozorite da su svi njegovi problemi u stvari sistemski problemi i da ako pogriješi niko ga neće kriviti, naprotiv, znaćete da problem nije u njemu, već u sistemu.
• Izvinite se što morate snimiti njegove postupke. Uvjerite ispitanika da će prikupljeni podaci ostati kod vas i da ćete rezultate testiranja prenijeti kupcu, prije nego što ih depersonalizirate. Ukoliko snimate sadržaj na ekranu, dodatno zamolite ispitanika da ne upisuje svoje prezime u ekranske formulare (kako ga vaš klijent kome ćete dati video snimak ne vidi).
• Objasnite ispitaniku da u svakom trenutku može odbiti nastavak testa i da će mu u tom slučaju ipak biti isplaćena nagrada. Objasnite da ispitanik može tražiti da prekine test u bilo koje vrijeme kako bi se odmorio.
• Na kraju, objasnite ispitaniku da je beskorisno da postavljate pitanja o interfejsu, ali možete i trebate biti pitani ako ispitaniku zadatak nije jasan.

Zapamtite listu stvari koje treba reći prije testiranja. Ovo takođe utiče na rezultate.

Identifikacija očekivanja od sistema

Bez obzira na vrstu i svrhu testa, prilikom testiranja novog interfejsa korisno je utvrditi koliko dobro ispunjava očekivanja korisnika. Ako su očekivanja ispunjena, implementacija i početna podrška će biti znatno olakšani; ako se ispostavi da su očekivanja razočarana, sistem će odmah izazvati odbijanje.

Identifikovanje očekivanja, uopšteno govoreći, trebalo bi da se uradi pre dizajniranja interfejsa – ali nažalost, u ranim fazama rada, to je izuzetno teško i zahteva izuzetan talenat pored slušanja i postavljanja pravih pitanja. Međutim, u fazama kada već postoji nešto za testiranje, na primjer, prilikom testiranja prototipova, lakše je prepoznati očekivanja korisnika, pa je glupo ne iskoristiti ovu priliku.

Procedura za identifikaciju očekivanja sastoji se od dva koraka:

1. Prije sprovođenja testa ispitanika treba pitati šta očekuje od sistema. Ispitanika morate pažljivo saslušati, a sve što kaže može se sigurno zaboraviti, jer sve njegove riječi nisu ništa drugo do fantazije. Morate pitati ne da biste nešto saznali, već da biste pripremili ispitanika za drugu fazu.
2. Nakon testa, ispitanika treba pitati kako prikazani interfejs ispunjava njegova očekivanja. Ovdje se već može u potpunosti vjerovati ispitaniku: prvo, pripremljen je svojim prethodnim odgovorima, a drugo, prikazani mu interfejs može ga navesti da formuliše zahtjeve koje ranije nije shvatio.

Testiranje

Prilikom testiranja treba slijediti sljedećih šest "nikad":

• Nikada se nemojte ispričavati zbog nesavršenosti sistema koji se testira.
• Nikada nemojte reći: "Popravićemo to kasnije."
• Nemojte nikoga kriviti da je interfejs loš („Programeri su, naravno, idioti i napravili su nešto nezgodno, ali ćemo to odmah popraviti“).
• Nikada ne nazivajte proces testiranja "korisničko testiranje" - ispitanik će misliti da ga testira i plašiće se. U idealnom slučaju, uvijek ćete ovu proceduru nazivati ​​"testiranje upotrebljivosti interfejsa" ili jednostavno "testiranje interfejsa".
• Nikada ne prekidajte ispitanika. Čak i ako kaže nešto nebitno, neka se u potpunosti izjasni i tek onda postavljajte pitanja.
• Nikada ne oblikujte ponašanje ispitanika. Neki ljudi se prilagođavaju očekivanjima eksperimentatora, na primjer, nakon što su osjetili da želite pronaći više grešaka u interfejsu, oni će sami stalno praviti greške, čak i ako interfejs nema preduslove za to. Da biste izbjegli ovaj rezultat, sve vaše riječi trebaju biti naglašene neutralno. Postoje dvije jednostavne metode za postizanje neutralnosti. Prvo, ne biste trebali postavljati pitanja sa jednim izborom. Umesto da ispitanika pitate koliko mu se sistem činio jednostavnim (ovo je očigledno sugestivno pitanje, jer se može postaviti drugačije sa drugačijim odnosom prema temi – „koliko vam se sistem činio složenim?“), bolje je pitati da li je interfejs sistema jednostavan ili složen. Drugo, ispitanici vam često sami postavljaju pitanja, pokušavajući izbjeći da sami donose odluku. Lako je odgovoriti na takva pitanja, samo će odgovori, zbog svoje spontanosti, biti sugestivni. U takvim slučajevima, najbolji odgovor je protupitanje. Da li se snalazim? - Šta ti misliš? Da li sam ispravno izvršio zadatak? - Šta ti misliš? I tako sve dok se ispitanik ne smiri. Neuljudno, ali efikasno.

Osim toga, postoji nekoliko ne tako strogih pravila:

• Ako tokom testa pratite svojstvo interfejsa, na primer, brojeći greške ispitanika, ne biste trebali pratiti više od jednog indikatora. Na primjer, ako brojite greške, ne biste trebali računati vrijeme izvršenja operacija - vjerovatnoća vaše vlastite greške se previše povećava. Po mom mišljenju, tokom testa možete samo zapisati svoje hipoteze o potencijalnim poboljšanjima interfejsa – tj. šta odmah vidite. Bolje je izračunati indikatore interfejsa na osnovu video snimaka.
• Čak i uz aktivnu intervenciju, pokušajte da ne postavljate ispitaniku pitanja koja nisu direktno povezana sa njihovim trenutnim radom. Bolje ih je pitati nakon testa.
• Ako je moguće, sedite desno od leđa ispitanika - tako da može da vidi vaše lice, lagano okrećući glavu. Vaše prisustvo je opterećujuće za ispitanika, ali će u ovoj situaciji barem biti manje napet.
• Tokom testa često ne možete vidjeti probleme sa interfejsom u cjelini. Na primjer, primijetili ste grešku korisnika. Ali kako se to objašnjava? Je li ovo anomalija uzrokovana činjenicom da je korisnik manje spreman od ostalih? Jeste li sigurni da svi ponavljaju ovu grešku? Zbog toga morate zabilježiti maksimalan broj zapažanja. Kasnije ćete neke odbaciti, ali to je bolje nego propustiti problem.

• Brzina rada. Između zadataka pomjerite štopericu na novi krug. Ako je ispitanik iz bilo kojeg razloga ometen, pauzirajte štopericu.
• Greške. Na komadu papira napišite crticu za svaku ljudsku grešku. Pogodno je staviti male crtice za male greške i dugačke za velike. Nakon testa, dovoljno je izbrojati broj redova. Ako zasebno brojite greške različitih tipova (na primjer, jednostavne greške i odvojeno pogrešno odabrane stavke izbornika), bolje je koristiti različite kodove, na primjer, iste crtice za jednostavne greške i slova M za greške povezane s izbornikom.
• Problemi koje vidite odmah. Ukratko zapišite na komad papira suštinu problema i trenutno vrijeme (prvo vrijeme!). Ako se tačno zna kada se problem pojavio, lakše ćete pronaći odgovarajući dio videa.
• Emocionalne reakcije ispitanika. Koristite znak plus za pozitivne reakcije i znak minus za negativne reakcije. Reakcije koje se javljaju u trenutku završetka testnih zadataka se ne računaju.

Završetak testa

Nakon završetka testa:

• Ispitaniku postavite zaostala pitanja.
• Neka ispitanik popuni upitnike ako provodite anketu.
• Pitajte ispitanika da li mu se dopao interfejs; bez obzira na odgovor, tražite da pojasnite šta vam se dopalo, a šta ne.
• Plati tuženiku.
• Hvala mu na testiranju. Uvjerite ispitanika da je napravio odličan posao i da ste zahvaljujući njemu uspjeli identificirati mnoge probleme sa interfejsom (učinite to čak i ako se ispitanik pokazao kao povučena, neugodna vrsta komunikacije, test na kojem nije otkrio ništa novo ).
• Ako je ispitanik posebno dobar, pitajte ga možete li mu se ubuduće obratiti za nove zadatke testiranja. Ispitanik sa iskustvom u testiranju je uvijek bolji od ispitanika bez iskustva.

Testiranje na prototipovima

Posebnu pažnju treba posvetiti testiranju na prototipovima. Kada testirate prototipove, imate dvije opcije:

• Možete se ograničiti na test aktivne intervencije, čineći nemogućim dobivanje bilo kakvih kvantitativnih podataka. Za to vam nije potreban nikakav poseban prototip, jer uvijek imate priliku da ispitaniku objasnite značenje gornje informacije i razloge za nedostatke u prototipu.
• Možete, pored uobičajenog, kreirati prototip za testiranje i dobiti neke kvantitativne podatke, gubeći mnogo resursa utrošenih na test prototip.

Testni prototip je tip prototipa u kojem ispitanik može obavljati testne zadatke. Na primjer, ako se prototip sastoji od niza snimaka ekrana:

• U tipičnom prototipu, svaka slika na ekranu će predstavljati sve moguće fragmente interfejsa pod različitim okolnostima; umjesto stvarnih podataka, generalizirani podaci će biti prikazani s napomenama o tome koji maksimalni i minimalni volumen mogu imati.
• U prototipu testa, isto sučelje će biti predstavljeno onako kako je prikazano u bilo kojem trenutku tokom izvršavanja testnih zadataka: ako se podaci uređuju na bilo kojem ekranu za test zadatak, obje verzije ovog ekrana će se morati nacrtati u prototip, a moguće i više (stanje prije, tokom i nakon uređivanja).

Izrada prototipa za testiranje je uvijek dugotrajna. U redu je da se ekrani u takvom prototipu moraju crtati nekoliko puta. Što je još gore, nećete se moći ograničiti na kreiranje samo prototipa za testiranje, tako da ćete morati napraviti i obične i testne prototipe. A ako iterativno testirate, i dalje ćete morati popraviti oba prototipa odjednom.

Da budem pošten, moram reći da ponekad ipak morate kreirati prototipove za testiranje. Na primjer, ako je interakcija na nekom ekranu previše složena i varijabilna, kupac to neće moći shvatiti (teško će vam biti da to učinite sami). Jedini izlaz u takvoj situaciji je iscrtati ovaj ekran u svim mogućim stanjima sa svim mogućim opcijama interakcije, tj. kreirati isti prototip za testiranje.

Stoga je korištenje nefunkcionalnih prototipova za testiranje kontrolno, ali ipak noćna mora (u stvari, to je glavni razlog za stvaranje funkcionalnih prototipova, koji su u početku testni prototipovi). Treba li vam ova noćna mora - odlučite sami.

Analiza rezultata

Konačno, vrijeme je za analizu rezultata testa. Ovdje su važne tri stvari:

• kada početi sa analizom
• kako analizirati postupke ispitanika
• šta se može naučiti iz kvantitativnih podataka.

Pitanje kada početi sa optimizacijom interfejsa se izdvaja.

Kada započeti analizu

Možete analizirati rezultate i tokom i nakon testa. Analiza tokom testiranja ima prednosti i nedostatke. Prednosti uključuju činjenicu da on:

• Omogućava vam da uštedite vrijeme u fazi analize, jer neke od analiza se rade u ranijoj fazi.
• Daje najdirektniji utisak o testu (geštalt), omogućavajući vam da vidite probleme koji se ne primjećuju na bilo koji drugi način.

Postoje i nedostaci:

• Ne dozvoljava istovremeno snimanje više od jednog ergonomskog indikatora, a i tada je u praksi moguće samo mjeriti brzinu rada korisnika i broj ljudskih grešaka (iako su to najtraženiji indikatori).
• Moguće samo uz značajno iskustvo stručnjaka za upotrebljivost.
• Nemoguće ako test radi jedan specijalista, a analizu drugi (s druge strane, ovoj drugoj osobi će svakako biti potrebna zapažanja osobe koja je testirala).

Analiza nakon testiranja je lišena ovih prednosti i nedostataka. Omogućava vam da pažljivo i promišljeno analizirate materijal, bez obzira na broj i prirodu mjerenih pokazatelja. Osim toga, lako se prilagođava na onoliko izvođača koliko želite.

Stoga se čini da je optimalna strategija započeti analizu tokom testa. U nekim slučajevima ova analiza može biti ograničena. Ako se ispostavi da je to nemoguće, uvijek možete analizirati i protokole video testa.

Analiza postupanja ispitanika

Gotovo svako testiranje upotrebljivosti odnosi se na pronalaženje i prepoznavanje problema. Ali kako sagledati problem u postupcima ispitanika?

Greške

Nije greška svakog ispitanika objašnjena problemima u interfejsu, na primer, ispitanik je mogao pokazati elementarnu nepažnju. Međutim, svaka greška zahtijeva razmatranje:

• Ako je greška kritična, tj. ispitanik je napravio grešku zbog nesporazuma strukture interfejsa i greška je dovela do drugih grešaka (na primer, posetilac sajta je otišao u odeljak koji mu nije bio potreban i tamo se izgubio), odgovarajući fragment se mora ponoviti: koraci moraju uzeti za uklanjanje dvosmislenosti, dodavanje savjeta, itd.
• Ako greška nije kritična, tj. ispitanik je to odmah primijetio i sam ispravio, morate odlučiti da li ćete to ispraviti ili ostaviti bez nadzora. Vrijedi riješiti problem ako smatrate da razumijete zašto je došlo do greške (tu će vam samo iskustvo pomoći). Ako ne osjećate, ostavite interfejs kakav jeste. Naravno, ako se problem ponovi, grešku je potrebno ispraviti - ali ćete imati više informacija o njoj, tako da ćete je lakše popraviti.
• Možda je greška posljedica nesavršenosti ispitne stavke. Obavezno se uvjerite da to nije tako - zamolite ispitanika da svojim riječima prepriča zadatak, a ako je pogriješio, onda je pogrešno shvatio zadatak i zadatak treba hitno ponoviti, ali greška se može zanemariti .

Usporavanje zadatka

Ako je ispitanik pauzirao bez ikakvog razloga, to znači da pokušava da shvati šta dalje treba da uradi. Interfejs vjerovatno nije dovoljno razumljiv ili nedvosmislen. Problem treba ispraviti.

Usporenje možete vidjeti ne samo po samom usporavanju, samo nije uvijek jasno uočljivo, koliko po pratećim nasumičnim pokretima kursora miša (mnogi ljudi, izgubivši nit radnje, automatski pomjeraju kursor).

) postoji faza procjene dizajna, u ovoj fazi se može provesti visokokvalitetno testiranje upotrebljivosti.

Na pisanje ovog članka natjerali su me problemi koji su se pojavili tokom testiranja upotrebljivosti. Nadam se da mogu pomoći nekome da preciznije shvati kada treba koristiti testiranje upotrebljivosti i kako izbjeći neke zabune u tome.

Redizajn web stranice

Kada biste trebali provesti testiranje upotrebljivosti i šta dolazi prije njega?

U slučaju već razvijene stranice, postavlja se pitanje provođenja testiranja upotrebljivosti kada osjetite ili otkrijete da nešto nije u redu s web-mjestom. U svakom slučaju potrebno je instalirati Google analitiku (knjiga: Google Analytics. Profesionalna analiza posjećenosti web stranice) ili neki drugi servis za analizu posjećenosti web stranice. Neću govoriti o tome zašto bi se takav servis trebao instalirati, jer je tema odavno iscrpljena i samo lijeni ljudi ne preporučuju instaliranje takvih usluga. Nakon instaliranja Google analitike, već imate određene podatke o statistici posjeta, mjestima ulaska i izlaska posjetitelja stranice i drugim informacijama.

Sljedeći korak je definiranje KPI-ja (Wikipedia: Key Performance Indicators). Potrebno je analizirati šta je važno za poslovanje, odrediti ciljeve koje sajtovi moraju postići.

Primjer: za nekoga to mogu biti narudžbe robe, za nekoga kontaktiranje putem obrasca za povratne informacije sa bilo kakvim pitanjima itd.

Ako su do ovog trenutka preporuke bile obavezne, odnosno, u svakom slučaju, ovi koraci će pomoći u razvoju i promociji sajta, onda slijede dalje preporuke, u slučaju da zaista shvatite da sajt nije efikasan.

Treći korak je direktna identifikacija problematičnih stranica i funkcija. Jednostavno provođenje testiranja upotrebljivosti je neučinkovito, morate razumjeti gdje nastaju problemi, na kojoj stranici, s kojom funkcijom, a zatim provesti testiranje kako biste utvrdili šta točno nije u redu na stranici i kako to riješiti. Opet, Google analytics će vam pomoći, ovdje možete odrediti koje stranice korisnici napuštaju, koje stranice se ignorišu, a koje funkcije se ne koriste.

Priprema za testiranje upotrebljivosti

Dakle, trenutno je već utvrđeno da je sajtu potreban redizajn, pronašli smo stranice i funkcije sa kojima korisnici imaju problema. Jedino što preostaje je razumjeti zašto korisnici imaju probleme i kako ih riješiti.

Četvrti korak bi trebalo da bude formiranje hipoteza o tome šta nije u redu sa stranicom, a na osnovu toga je potrebno odrediti metriku (Wikipedia: ISO 9126 - Evaluacija softverskog proizvoda) kojom će se funkcije testirati (postoji metoda stručne procjene u kojoj stručnjak postavlja hipoteze za poboljšanje interfejsa sajta i na osnovu njih se sajt redizajnira, međutim, da li je ova hipoteza zaista tačna, moguće je proveriti samo rezultatom implementacije promjene, što podrazumijeva visoku cijenu greške).

Primjer: Koristeći Google analitiku, utvrdili smo da korisnici posjećuju stranicu za registraciju, ali je ne prolaze. Korisnici možda neće moći da shvate koje informacije da unesu u polja ili možda ne znaju šta da rade nakon što popune polja. Stoga, moramo testirati ovu stranicu za metriku razumljivosti sistemske poruke i operativne konzistentnosti.

Nakon određivanja metrike po kojoj ćemo testirati problematična područja na sajtu, potrebno je odrediti karakter i scenario rada (knjiga: Alan Cooper o interfejsu. Osnove dizajna interakcije), koji će se koristiti za testiranje upotrebljivosti. Ovaj korak je neophodan za privlačenje pravih ispitanika i odabir zadatka za testiranje upotrebljivosti. Ako se ovaj trenutak propusti, onda ispitanik koji nije ciljni korisnik može uspješno proći problemsku zonu, a korisnik koji stvarno koristi datu stranicu imat će zaista velike probleme. Rezultat će biti redizajn interfejsa bez razmatranja podataka, a problem će ostati. Precizno definisanje scenarija pomoći će da se ispitaniku da pravi zadatak. Odnosno, ako je zadatak kupiti mobilni telefon, a ispitanik se uopće ne registruje (a mi testiramo registraciju), onda je testiranje upotrebljivosti beskorisno.

Napomena: odaberite scenario tako da se testira što više problematičnih područja.

Zatim slijedi odabir ispitanika na osnovu odabranog karaktera. Što više ispitanik odgovara portretu lika, to bolje. Dovoljan broj ispitanika je 5-8 osoba. Prilikom odabira količine baziram se na preporuci Jacoba Nielsena i vlastitom iskustvu.

Neposredno prije samog testiranja upotrebljivosti, neka ispitanik popuni upitnik kako bi provjerio da li odabrani lik i ispitanik odgovaraju traženim karakteristikama. Dajte uvodni brifing, tokom kojeg opišite kontekst korištenja stranice i zadatak (knjige: Web dizajn: knjiga Stevea Kruga, ili „Ne tjeraj me da razmišljam!“).

Primjer zadatka: u potrazi za novim mobilnim telefonom, došli ste na ovu stranicu putem tražilice. Pronađite telefon koji vam je potreban (takođe zamolite ispitanika da opiše telefon koji će tražiti).

Sprovođenje samog testiranja upotrebljivosti (program: Usability Studio) nije tako teško kao što se čini. Potreban vam je laptop sa kamerom i nekoliko programa za snimanje pokreta korisnika i radnje na ekranu. Zamolite ispitanika da prokomentariše sve svoje postupke i emocije. Kao što pokazuje praksa, on će to ipak učiniti (i to nije iznenađujuće, jer čak i kod kuće korisnici često jako vole grditi ili, naprotiv, dotjerivati ​​različite oblike i druge elemente na web-lokacijama).

Nakon završetka testiranja, pitajte ispitanika o njegovom iskustvu, s kojim se poteškoćama suočio i šta mu je bilo neprijatno. Ne preporučujem korištenje podataka ankete kao zakona za promjenu svega što mu se ne sviđa. Morate slušati korisnike, ali budite vrlo nepovjerljivi prema njegovom subjektivnom mišljenju. Bolje je da se, prema rezultatima ankete, pojavi hipoteza o potrebi promjene sučelja, dodavanju još jedne stavke na listu problematičnih područja i testiranju u sljedećoj iteraciji.

Obrada podataka testa upotrebljivosti

Zatim morate pogledati prikupljene video materijale, analizirati rezultate testiranja upotrebljivosti i odrediti zahtjeve interfejsa za redizajn (knjiga: Web-dizajn. Upotrebljivost web stranica). Promjene koje će biti napravljene na osnovu određenih zahtjeva vrijedi provjeriti u sljedećem testu upotrebljivosti. Broj takvih iteracija uvelike bi trebao ovisiti o ciljevima i budžetu koji se izdvaja za redizajn stranice.

Primjeri: dodajte savjete u obrazac za registraciju, označite dugme za kupovinu, dodajte polje „platforma“ u obrazac za odabir telefona po parametrima, itd.

Dizajn sajta

Ako je projektovanje izvedeno prema standardu ISO 9241-210, onda ispitivanje upotrebljivosti ne bi trebalo da bude skup i dugotrajan proces zbog pripremljene analitičke baze. Glavne faze testiranja upotrebljivosti prilikom dizajniranja web stranice od nule ostaju iste kao što je gore opisano, s izuzetkom nekih aspekata:

1. Formiranje hipoteza
2. Definiranje metrike za testiranje
3. Definiranje likova i scenarija
4. Odabir ispitanika
5. Popunjavanje upitnika
6. Uvodni trening
7. Testiranje upotrebljivosti
8. Anketa ispitanika
9. Analiza rezultata
10. Utvrđivanje zahtjeva za dizajn lokacije

Glavni problem sa kojim sam se suočio sa testiranjem upotrebljivosti u ovom slučaju je testiranje statičkog dizajna, a ne punopravnog sajta. U stvarnosti, bolje je testirati izgled, pa čak i programiranu stranicu, ali će cijena iteracije u dizajn već biti visoka. Što se prije pronađe problem u sučelju, to su niži troškovi njegovog popravljanja. Kako provesti potpuni test upotrebljivosti statične slike? Rješenje za ovaj problem bio je program Axure. Najjeftiniji i najuspješniji način bio je umjetno postavljanje linkova na statičnu sliku dizajna stranice i generiranje u HTML stranicama. Ova metoda omogućava testiranje stranice bez trošenja resursa čak i na izgled. Naravno, funkcionalnosti na generiranim stranicama gotovo da i nema, ona se prikazuje samo u određenom obliku, ali to je dovoljno da se identifikuju još problemi.

Ne razmatram opciju kvantitativnog testiranja upotrebljivosti, jer vam omogućava da odredite ukupnu ergonomiju sučelja, ali vam ne dozvoljava da odredite koji problemi nastaju, zašto i kako ih riješiti.

P.S. Radujem se konstruktivnim kritikama u pogledu predloženog rješenja za kvalitetno testiranje upotrebljivosti dizajna, jer takvo rješenje nikada nigdje nisam vidio. Ako postoje prijedlozi o tome koliko je jeftino i veselo provesti potpuno kvalitetno testiranje upotrebljivosti, rado ću ih pročitati.

Izvodi se kako bi se pronašla problematična područja na stranici ili u proizvodu. Njegov glavni cilj je naknadno uvođenje izmjena na stranicu i unapređenje novih hipoteza za A/B - testiranje.

Trebate li povećati konverziju na svojoj web stranici? Pokrećete novu web stranicu ili proizvod i trebate povratne informacije od potencijalnih kupaca? Onda je ovaj članak za vas. Danas ćemo govoriti o tome od kojih se faza sastoji proces testiranja i kako ga ispravno provesti.

6 koraka testiranja upotrebljivosti

Korak 1. Odredite ključne ciljeve istraživanja

Kvaliteta i konačni rezultat testiranja upotrebljivosti ovisit će o tome koliko ispravno i precizno formulirate ciljeve istraživanja. Ne biste trebali istraživati ​​sve odjednom u jednom testu. Preporučujemo da odaberete jedan cilj za svaki test, to će vam pomoći da pravilno formulirate zadatke za korisnike i dobijete više podataka za analizu.

Loš primjer:

• Svrha istraživanja je identificirati sve probleme stranice.

dobar primjer:

• Svrha istraživanja je otkriti koliko je korisniku lako pronaći željeni proizvod i naručiti.

Korak 2. Odaberite svoju ciljnu publiku

Morate provesti testiranje upotrebljivosti na stvarnim ljudima što je moguće bliže vašoj ciljnoj publici. Štaviše, oni moraju prvi put koristiti vašu stranicu (ili prvi put testirati novo ažuriranje). Ako je osoba već naučila kako koristiti stranicu, imat će mnogo manje poteškoća od novog kupca i naći će manje grešaka i problema.

Gdje pronaći testere?

Ako imate b2c kompaniju i prodajete proizvode ili usluge širokoj publici (cipele, potrepštine za domaćinstvo, itd.), preporučujemo korištenje naše usluge online testiranja upotrebljivosti Userpoint. ru, gdje postoji velika baza testera, među kojima možete odabrati svoju ciljnu publiku po godinama, spolu i svim drugim parametrima:

Naravno, ako imate vrlo usku publiku (na primjer, ako imate internetsku trgovinu za Chukchi drvosječe), onda morate voditi fokus grupu na starinski način, sami organizirati proces testiranja, u udobnoj prostoriji, ili koristite usluge agencija. Naravno, tradicionalno testiranje je mnogo skuplje i trajat će desetine puta duže.

Koliko korisnika trebate privući na testiranje?

U akademskoj zajednici, ovo je stara tema kontroverzi. Prema istraživanju Jacoba Nielsena i Thomasa Landauera, 5 korisnika nalazi 85% problema s upotrebljivošću, 15 korisnika nalazi 100% problema. Na slici je prikazan matematički model za pronalaženje problema upotrebljivosti koji je predstavio Nielsen.

Novija i suštinska istraživanja pokazuju potrebu za privlačenjem većeg broja učesnika. Dr Gitte Lindgaart sa Univerziteta Carleton je pokazala da procenat pronađenih problema više zavisi od kvaliteta testnih problema nego od uzorka. Grupe od 5-6 korisnika u njenom istraživanju pronalaze 30-50% problema upotrebljivosti sa različitim pristupima formulisanju problema. Za hronologiju istraživanja i kontroverze, pratite link - Istorija magičnog broja 5 u testiranju upotrebljivosti.

Preporučujemo provođenje testiranja upotrebljivosti koristeći oba minimalno 10 osoba, štaviše, treba imati na umu da je jednako važan pokazatelj pored uzorka kvalitet postavljenih zadataka i pitanja.

Ako planirate da radite više iteracija tokom procesa razvoja sajta, moraćete da angažujete novu grupu za svaki test. Ovo je važno prilikom izračunavanja budžeta.

Korak 3. Kreirajte scenario i zadatke

Scenarij je put kojim korisnik ide od početka do kraja kako bi postigao cilj istraživanja. U svakom koraku skripte morate kreirati zadatke, u procesu kojih će ljudi razmišljati naglas, u interakciji s vašom web lokacijom ili proizvodom.

Kao što smo ranije rekli, ne biste trebali istraživati ​​sve odjednom u jednom testu. Idealna opcija je provesti vlastito istraživanje za svaki cilj, kreirajući za njega specifičan scenarij sa nizom zadataka. Zapamtite da je za kvalitetno testiranje 15-20 minuta optimalno vrijeme da korisnik završi jednu skriptu. Također, ne preporučujemo da radite više od 4-5 zadataka u jednom scenariju.

Koristite različite vrste zadataka u svojim skriptama

Široko zadaci su korisni kada se ispituje upotrebljivost i sadržaj sajta, da se posmatra prirodno ponašanje korisnika.

Primjeri širokih zadataka:

• Pronađite torbu koja vam se sviđa.
• Pronađite hotel koji je pravi za vaš odmor u Sočiju sljedećeg mjeseca. Podijelite svoja razmišljanja.

Specifično zadaci će pomoći da se utvrdi s kojim alatima korisnici imaju problema i poteškoća.

Primjeri konkretnih zadataka:

• Pronađite crvenu torbu za do 10.000 RUB.
• Prilikom narudžbe poklona naznačite da želite da ga preuzmete na najbližem mjestu preuzimanja. Pogledajte stranicu sa rezultatima. Sortirajte artikle na osnovu najboljih recenzija.

Ne radite složene složene zadatke

Loš primjer:

• Dodajte artikal u svoju korpu. Sada odaberite drugi proizvod i dodajte ga. Zatim povećajte količinu prvog artikla u korpi. Sada naručite i odaberite dostavu.

Bolje uradite 4 različita zadatka:

• Dodajte artikal u korpu.
• Pronađite drugi artikal i dodajte ga u korpu.
• Povećajte količinu prvog artikla u korpi.
• Naručite sa dostavom.

Postavite zadatke za poređenje sa konkurentima

Naravno, cijena i rokovi isporuke su najvažniji faktori pri odabiru trgovine. Ali jeste li sigurni da je kupac kupio proizvod od konkurencije jer košta 1% manje? Možda vaša stranica samo inspiriše manji kredibilitet? Ili možda nema dovoljno online chata? Ili je to pitanje uslova isporuke? Ako postoji sumnja da je razlog upravo u uslovima isporuke, možete napraviti zadatak "uporediti uslove isporuke i plaćanja sa konkurentom X" ili čak "sa konkurentima iz prva 3 rezultata Yandexa". Razloga za odabir kompanije može biti mnogo, a testiranje upotrebljivosti je sjajan način da saznate zašto se kupci odlučuju za kupnju na stranicama vaših konkurenata.

Postavite prava pitanja za zadatke

Zadaci testiranja upotrebljivosti su potrebni da bi se sagledale radnje koje su poduzeli testeri, a pitanja za zadatke su potrebna za prikupljanje povratnih informacija. Ovisno o vrsti pitanja (jednostavno pitanje, pitanje s više odgovora, skala ocjene, povratne informacije), možete dobiti različite rezultate. Za svaki zadatak morate postaviti prava pitanja kako biste što potpunije prikupili podatke za naknadnu kvalitativnu analizu i hipotezu.

Primjer zadatka:

• Pokupite poklon za prijatelja u rasponu cijena od 5 do 10 hiljada rubalja na stranicama xxx.ru i yyy.ru.

Primjer pitanja:

• Na kojoj stranici je pogodnije koristiti filtere proizvoda?

Uskoro ćemo imati novi članak o tome kako pravilno sastaviti skriptu, zadatke i pitanja za njih. Pretplatite se na ažuriranja bloga i ne propustite korisne informacije.

Korak 4. Testirajte svoj test

Naravno, gotovo je nemoguće smisliti idealan scenario prvi put, pa pokrenite pilot test za 1-2 korisnika. To će vam omogućiti da pronađete i otklonite većinu nedostataka u pripremi zadataka i pitanja.

Glavni cilj je osigurati da testeri ispravno razumiju vaše zadatke i pitanja, da im ne izazivaju oklijevanje i dodatna pitanja.

Možete nastaviti na sljedeći način:

• Zamolite nekoga koga poznajete da se testira (koji nije baš upoznat sa vašim projektom).
• Pogledajte kako osoba radi sa svakim zadatkom i pitanjem, obratite pažnju na sve poteškoće koje ima.
• Uredite zadatke i testirajte na drugom korisniku.

Testiranje upotrebljivosti uz korištenje omogućava vam da brzo i jednostavno pokrenete test na 1-2 korisnika iz vaše ciljne publike. U roku od 1-2 dana ćete dobiti video zapise, moći ćete uređivati ​​zadatke i pokrenuti novi test za veći broj korisnika.

Pilot testiranje poboljšava kvalitet vašeg istraživanja i štedi vam puno vremena na duge staze.

Korak 5. Provedite test

Ako radite sa UserPoint-om, tada se cijeli proces (obavljanje testera potrebnim softverom, snimanje videa s popravljanjem svih obrazloženja osobe u procesu izvršavanja zadataka) obavlja automatski bez vašeg učešća. Stoga se nećemo detaljnije zadržavati na ovom koraku.

Ako se odlučite za tradicionalno testiranje, preporučujemo da se upoznate s materijalima jednog od pionira tradicionalnog testiranja, Nielsen Norman Group.

Korak 6. Analizirajte rezultate i postavite hipoteze zaA/ B- testiranje

Nakon testiranja potrebno je ispisati i strukturirati kvantitativne (broj uspješno obavljenih zadataka, vrijeme testiranja, broj pronađenih grešaka i problema) i kvalitativne podatke (s kojim problemima i poteškoćama su se testeri susreli, komentari i preporuke korisnika, odgovore na vaša pitanja o zadacima). Zapamtite da je krajnji cilj testiranja upotrebljivosti identificirati očigledne probleme za uređivanje stranice ili proizvoda i pripremiti hipoteze za novo A/B testiranje.

Riješite sve probleme

Precizno i ​​sažeto zapišite sve probleme i poteškoće na koje su se testeri susreli u procesu izvršavanja zadataka.

Loši primjeri:

• Zbunjen oko navigacije.
• Kliknuli ste na pogrešan link.

dobar primjer:

• U fazi kupovine, kliknuo sam na link "Prijava", umjesto na link "Checkout".

Obratite pažnju na ozbiljnost problema.

• Kritično- ako se ne ispravi, korisnici neće moći izvršiti zadatak.
• Ozbiljno- većina korisnika će biti razočarana ako ne riješimo problem.
• Beznačajno- ljudi su iznervirani, ali to ih ne sprečava da zadatak završe bez većih poteškoća.

Formulirajte zaključke, izvršite korekcije, postavite hipoteze za sljedećeA/ B-testiranje

Svaki zaključak treba da se zasniva na primljenim podacima i da sadrži preporuke šta dalje. Ako je problem kritičan, morate odmah izvršiti izmjene na stranici ili proizvodu. Većina problema će zahtijevati hipoteze za pokretanje A/B testiranja.

Ne zaboravite da nećete moći slijediti sve preporuke testera i učiniti stranicu ili proizvod što je moguće pogodnijim za sve, bez izuzetka. Prvo se fokusirajte na najveće probleme koji direktno utiču na konverzije na vašoj web lokaciji.

Ponekad se susrećemo sa nerazumljivim, nelogičnim aplikacijama, mnoge funkcije i načini korišćenja koje često nisu očigledne. Nakon takvog rada rijetko se javlja želja za ponovnim korištenjem aplikacije i tražimo prikladnije analoge. Da bi aplikacija bila popularna, nije dovoljno da bude funkcionalna - mora biti i zgodna. Ako razmislite o tome, intuitivne aplikacije štede korisnicima gnjavažu i troškove obuke poslodavca. To znači da su konkurentniji! Stoga je testiranje upotrebljivosti, o čemu će biti riječi u nastavku, sastavni dio testiranja bilo kojeg masovnog proizvoda.

Testiranje upotrebljivosti je metoda testiranja koja ima za cilj utvrđivanje stepena upotrebljivosti, učenja, razumljivosti i atraktivnosti za korisnike proizvoda koji se razvija u kontekstu datih uslova. [ ISO 9126]

Testiranje upotrebljivosti mjeri nivo upotrebljivosti aplikacije na sljedećim točkama:

• produktivnost, efikasnost (efikasnost) - koliko vremena i koraka će korisniku trebati da izvrši glavne zadatke aplikacije, na primjer, objavljivanje vijesti, registracija, kupovina itd.? ( manje je bolje)
• u pravu (tačnost) - koliko je grešaka korisnik napravio dok je radio sa aplikacijom? ( manje je bolje)
• aktivacija memorije (opoziv) - koliko se korisnik sjeća aplikacije nakon obustave rada s njom na duži vremenski period? ( ponovno izvršavanje operacija nakon pauze trebalo bi biti brže od novog korisnika)
• emocionalna reakcija (emocionalni odgovor) - kako se korisnik osjeća nakon obavljenog zadatka - zbunjen, pod stresom? Hoće li korisnik preporučiti sistem svojim prijateljima? ( pozitivna reakcija je bolja)

Provodni nivoi

Testiranje upotrebljivosti se može sprovesti kako u odnosu na gotov proizvod, kroz testiranje crne kutije, tako i na interfejse aplikacije (API) koji se koriste u razvoju - testiranje bele kutije. U ovom slučaju se provjerava upotrebljivost internih objekata, klasa, metoda i varijabli, kao i pogodnost mijenjanja, proširenja sistema i integracije sa drugim modulima ili sistemima. Upotreba interfejsa prilagođenih korisniku (API) može poboljšati kvalitet, povećati brzinu pisanja i održavanja razvijenog koda i, kao rezultat, poboljšati kvalitet proizvoda u celini.

Stoga postaje očigledno da se testiranje upotrebljivosti može izvoditi na različitim nivoima razvoja softvera: modularnom, integracijskom, sistemskom i prihvatljivom. Istovremeno će u potpunosti i potpuno zavisiti od toga ko će koristiti aplikaciju na određenom nivou - programer, poslovni korisnik sistema itd.

Za dizajn korisničkih aplikacija, korisno je slijediti principe "bye-yoke" ili "fail-safe". Kod nas je to poznatije kao "zaštita od budale". Jednostavan primjer, ako polje zahtijeva numeričku vrijednost, logično je ograničiti opseg unosa korisnika samo na brojeve - bit će manje slučajnih grešaka.

Da biste poboljšali upotrebljivost postojećih aplikacija, možete koristiti Deming ciklus Planiraj-Uradi-Provjeri-Deluj, prikupljajući povratne informacije o radu i dizajnu aplikacije od postojećih korisnika, te, u skladu s njihovim komentarima, planirati i implementirati poboljšanja.

Zablude o testiranju upotrebljivosti

1. Testiranje korisničkog interfejsa = Testiranje upotrebljivosti

Testiranje upotrebljivosti nema nikakve veze sa testiranjem funkcionalnosti korisničkog interfejsa, ono se radi samo na korisničkom interfejsu kao i na mnogim drugim mogućim komponentama proizvoda. U ovom slučaju će vrsta testiranja i testnih slučajeva biti potpuno drugačija, jer možemo govoriti o praktičnosti korištenja ne-vizualnih komponenti (ako ih ima) ili procesa administracije, na primjer, distribuiranog klijent-server proizvoda, itd.

2. Testiranje upotrebljivosti može se obaviti bez stručnjaka

Nije uvijek osoba koja nije upućena u predmetnu oblast sposobna sama to provesti. Zamislite da tester treba da testira upotrebljivost strateškog bombardera. Morat će provjeriti osnovne funkcije: lakoću borbe, navigaciju, pilotiranje, održavanje, kopneni transport itd. Očigledno, bez uključivanja stručnjaka to će biti vrlo problematično, a moglo bi se reći i da je nemoguće.

Testiranje upotrebljivosti je metod procene upotrebljivosti i efikasnosti interfejsa. Za procjenu su uključeni predstavnici ciljne publike proizvoda, koji rade sa interfejsom, obavljajući posebno odabrane zadatke. Na osnovu ponašanja ispitanika, stručnjak za upotrebljivost donosi zaključke o prisustvu problema upotrebljivosti u interfejsu i njihovoj prirodi.

Zašto je potrebno testiranje upotrebljivosti?

Kao i druge metode revizije upotrebljivosti, testiranje je potrebno da bi se razumjelo šta sprečava vaš proizvod da bude efikasan. Testiranje upotrebljivosti pomoći će vam da otkrijete razloge zašto:

• vaša internet prodavnica ima nisku stopu konverzije;
• Vaši korisnici zovu pozivni centar s pitanjima koja su već na stranici;
• vaša mobilna aplikacija dobiva negativne kritike u App Store-u i Google Play-u;
• zaposleni koji rade s vašim EDMS-om ga mrze i žale se da je preteško raditi s njim;
• itd.

Također će vam trebati testiranje ako želite:

• uporedite dva interfejsa, na primer, stari i novi, vaš i konkurentski, da biste saznali koji je bolji;
• uporedite praktičnost sučelja za dvije grupe korisnika, na primjer, za početnike i iskusne;
• identificirati potencijalne probleme upotrebljivosti novog proizvoda čak i prije nego što bude pušten na tržište;
• procijenite usklađenost proizvoda s određenim KPI-ovima (na primjer, „proces naručivanja ne traje više od 5 minuta“).

Po čemu se testiranje upotrebljivosti razlikuje od fokus grupa?

Fokus grupe uvijek uključuju nekoliko ispitanika u isto vrijeme koji raspravljaju o nekoj temi. Stoga vam omogućavaju da efikasno prikupite mišljenja ispitanika o proizvodu, usluzi, brendu i bilo kom drugom pitanju. U pravilu, fokus grupe se ne koriste za procjenu pogodnosti, jer ova metoda pruža malo informacija o poteškoćama s kojima se korisnici susreću pri radu sa sučeljem.

U testiranju upotrebljivosti, ispitanici sudjeluju u jednom po jednom, vrlo rijetko u dva, ali nikada u grupi. Svaki ispitanik obavlja određene zadatke u interfejsu vašeg servisa. Stručnjak posmatra ponašanje ispitanika i donosi zaključke o tome kako se proizvod može poboljšati. Rezultat ovakve studije je opis problema upotrebljivosti i preporuke za njihovo otklanjanje, na osnovu ponašanja, a ne mišljenja ispitanika.

Koje vrste testiranja upotrebljivosti postoje?

Koristeći različite kriterije klasifikacije, može se imenovati nekoliko tipova testiranja. U našoj praksi koristimo ih sve.

U zavisnosti od stepena učešća moderatora (UX analitičara):

• moderirano - moderator daje zadatke, prati napredak u njihovoj implementaciji, postavlja pojašnjavajuća pitanja;
• nemoderirano - specijalizirana usluga daje zadatke, prikuplja metriku i povratne informacije automatski, bez sudjelovanja moderatora.

Jedna od opcija za daljinsko nemoderirano testiranje

U zavisnosti od lokacije ispitanika:

• licem u lice - ispitanik i moderator su u istoj prostoriji, po pravilu, u laboratoriji i direktno komuniciraju;
• daljinski - ispitanik učestvuje u testiranju od kuće ili sa svog radnog mjesta. Obično je ovo nemoderirano testiranje. Ukoliko je potrebno učešće moderatora, analitičar komunicira sa ispitanikom putem video veze.

U zavisnosti od ciljeva:

• istraživački - provodi se u fazi razvoja koncepta interfejsa kako bi se provjerilo kako je koncept općenito razumljiv korisnicima, zadovoljava njihove potrebe i očekivanja;
• verifikacija - sprovodi se radi pronalaženja i rešavanja problema upotrebljivosti ili procene indikatora performansi gotovog proizvoda ili njegovog izgleda (vreme utrošeno na zadatke, zadovoljstvo korisnika, itd.);
• komparativni - vrši se da se uporedi efikasnost nove i stare verzije ili dva konkurentska proizvoda; zahtijeva učešće velikog broja ispitanika kako bi se izveli statistički značajni zaključci.

Za većinu projekata, laboratorijsko testiranje licem u lice je prikladno. Omogućava vam da identifikujete ključne probleme sa interfejsom i prikupite detaljne povratne informacije od ispitanika. Daljinsko nemoderirano testiranje je dobro za poređenje performansi dvije verzije interfejsa, jer prikuplja veliku količinu podataka u kratkom vremenu, ali ne pruža dubinsko razumijevanje problema sa kojima se susreću ispitanici.

Naši menadžeri, još u fazi planiranja projekta, od kupca saznaju koje informacije želi dobiti kao rezultat projekta i na osnovu njegovih potreba odabiru najprikladniji metod.

Kako ide testiranje upotrebljivosti?

U pravilu provodimo moderirano testiranje upotrebljivosti licem u lice. To znači da ispitanik dolazi u našu laboratoriju i obavlja poslove pod nadzorom stručnjaka za upotrebljivost.

Prije početka projekta komuniciramo s kupcem kako bismo saznali više o proizvodu koji se testira, njegovoj publici, ciljevima testiranja i hipotezama koje bismo željeli testirati.

Nakon prikupljanja zahtjeva projekta, UX analitičar kreira testni scenario. Ovo je dokument koji sadrži uputstva za ispitanika, listu zadataka za testiranje i pitanja koja moderator treba da postavi nakon svakog zadatka i nakon završetka testa. Scenario se dogovara sa kupcem.

Odlomak iz scenarija. Navedena je formulacija, kriterijumi za uspješnost implementacije, provjerljive hipoteze i pitanja koja će moderator postaviti nakon što ispitanik završi zadatak.

Paralelno sa pisanjem scenarija, u toku je i potraga za ispitanicima. U pravilu se radi o 8-12 osoba. Neke kompanije nam pomažu da privučemo ispitanike među njihovim klijentima. Ako to nije moguće ili ne odgovara ciljevima studije, onda tražimo ispitanike preko specijalizovanih agencija, na primjer, RusOpros. Dajemo im uslove za ispitanike, a oni daju liste potencijalnih učesnika testa. Istovremeno, pažljivo pratimo kvalitet regrutovanja: provodimo dodatne pozive ispitanicima, postavljamo im pitanja o iskustvu sudjelovanja u takvim studijama, a ako nam se ispitanik čini nepodobnim, filtriramo ga.

Nakon što se dogovori scenario i pronađu ispitanici, počinje proces testiranja. Ispitanik dolazi u našu laboratoriju. Sastajemo se s njim, razgovaramo o proceduri testiranja, zatim mu čitamo zadatke propisane skriptom i gledamo kako napreduje njihova realizacija. Istovremeno bilježimo različite metrike upotrebljivosti: vrijeme i uspješnost zadatka, zadovoljstvo ispitanika i neke operativne psihološke metrike koje je razvila naša kompanija zajedno sa Institutom za psihologiju Ruske akademije nauka. Razgovaramo o skupu metrika s kupcem prije početka projekta.

Naša laboratorija za upotrebljivost. Pogled iz moderatorske sobe. Slika sa ekrana ispitanika se duplira na ekranu

Tokom testiranja snimamo video, koji prikazuje sve što se dešava na ekranu ispitanika, čuje se njegovo lice i komentari. Ako je potrebno, možemo koristiti tehnologiju praćenja očiju – to daje dodatne informacije o prirodi poteškoća sa kojima se susreću ispitanici.

Nakon završetka svih sesija testiranja, UX analitičar sastavlja izvještaj koji šalje kupcu.

Koliko dugo traje testiranje upotrebljivosti?

Jedno testiranje, od trenutka kada upoznamo ispitanika do trenutka kada se oprosti od njega, traje oko sat i po. Od toga, sama procedura testiranja traje oko sat vremena, ostatak vremena se troši na uvodni i završni razgovor. Nema smisla produžavati sesije testiranja. Ispitanici se umaraju i ili greše zbog nepažnje, ili počinju formalno da obavljaju zadatke, što loše utiče na kvalitet rezultata.

Tipičan projekat testiranja upotrebljivosti, uključujući pripremu i pisanje izveštaja, traje oko tri nedelje. Međutim, u zavisnosti od prirode proizvoda, ciljeva i složenosti testiranja, poslovnih procesa u kompaniji kupca, uslovi mogu varirati. Na primjer, za Agile kompanije možemo pokrenuti vrlo kratke testove kojima je potrebno 1-3 dana da se uklope u sprint. Veliki projekat međukulturalnog istraživanja može trajati tri do četiri mjeseca.

Da li je praćenje očiju dio testiranja upotrebljivosti?

Naša laboratorija ima opremu za snimanje pokreta očiju. Ali praćenje očiju nije potrebno na svim projektima. Obično se koristi za testiranje hipoteza o tome kako korisnici gledaju stranicu. Na primjer, ako pretpostavite da korisnici ne kliknu na dugme jer ga ne primjećuju, praćenje očiju može vam pomoći da testirate tu hipotezu.

Toplotna mapa pokazuje kako je pažnja korisnika raspoređena na početnoj stranici naše stranice. Toplotna mapa dobijena za isti ekran će izgledati drugačije za različite zadatke.

Standardno testiramo bez registracije pokreta očiju. Ali uvijek možete razgovarati sa našim menadžerom o mogućnosti dodavanja ove opcije vašem projektu.

Šta je uključeno u izvještaj o upotrebljivosti?

Obično izvještaj uključuje:

• informacije o karakteristikama proizvoda, ciljevima i zadacima projekta, ispitanicima i metodologiji testiranja;
• metrika upotrebljivosti za svaki zadatak (ako se mjeri);
• detaljan ilustrovan opis pronađenih problema upotrebljivosti sa naznakom njihove kritičnosti i pojave;
• preporuke za otklanjanje pronađenih problema;
• toplotne karte ako smo tokom testiranja snimili pokrete očiju.

Struktura izvještaja može varirati ovisno o specifičnostima određenog projekta. Na primjer, ako ima mnogo problema, onda na kraj izvještaja dodajemo listu svih problema, sortiranih po ozbiljnosti. Tako ćete lakše odlučiti šta ćete prvo popraviti. Izveštaju možemo dodati i opis uspešnih odluka takmičara.

Kako koristiti rezultate testa?

Želimo osigurati da vam rezultati testa budu korisni i da se naše preporuke implementiraju. Stoga u izvještaju rangiramo probleme i preporuke prema stepenu ozbiljnosti kako biste mogli planirati poboljšanja i postavljati zadatke programerima. Osim toga, imamo uslugu terenskog nadzora: možemo savjetovati programere i kontrolirati implementaciju naših preporuka.

Želite li da za vas izvršimo testiranje upotrebljivosti?

Ako želite da izvršimo testiranje upotrebljivosti vašeg sučelja, ostavite zahtjev na našoj web stranici. Naš menadžer će vas kontaktirati kako bi razgovarali o detaljima i odabrali najbolji način.