Important: articolul a aparut acum 10 ani (data de mai sus nu este data scrierii, ci data ultimei editii). Articolul este teribil de depășit și nu îl eliminăm deloc pentru că, dintr-un motiv necunoscut, nimeni nu a scris mai bine sau mai nou în rusă de-a lungul anilor.

Testele de utilizare au apărut în domenii extrem de birocratice - în industria militară și în sfera producției civile riscante (avioane, centrale electrice etc.). În consecință, testarea utilizabilității în sine a fost extrem de birocratică – trebuia nu doar să găsiți o problemă, ci, și mai important, să demonstrați că problema exista cu adevărat. În plus, testarea utilizabilității a moștenit tehnicile și regulile cercetării științifice, în care nu este important doar detectarea unui fenomen, ci și asigurarea faptului că nu este o consecință a unor circumstanțe străine. Din cauza complicației forțate a procesului, în testare au fost implicate echipe întregi de specialiști restrânși: unul scrie sarcini de testare, altul testează efectiv, al treilea analizează datele, iar altul trage respondenții înăuntru și afară.

Este ușor de înțeles că o astfel de testare, cu toate avantajele sale, necesită foarte mult timp și este inacceptabil de costisitoare.

În ultimii ani, situația a început să se schimbe: în loc de teste extrem de formale și extrem de costisitoare, devin populare testele informale și ieftine. În loc de o mulțime mică cu o grămadă de echipamente scumpe, o singură persoană cu un minim de lucruri iese în prim-plan. Chintesența acestei abordări este descrisă în cartea Web Design: cartea lui Steve Krug sau „nu mă face să gândesc!” .

Desigur, testele simple nu sunt universale. Probabil că nu sunt potrivite pentru tabloul de bord al unui avion. Dar pentru software-ul obișnuit, testele simple sunt mult mai bune, fie și doar pentru că puteți rula mai multe dintre ele.

Aici veți învăța cum să efectuați teste de utilizare folosind tehnici de testare rapidă. Puteți învăța metode mai complexe și mai formale din literatura de specialitate sau le puteți inventa singur.

Ce este testarea de utilizare

Testarea de utilizare este orice experiment care vizează măsurarea calității unei interfețe sau găsirea unor probleme specifice în aceasta.

Beneficiile testării de utilizare sunt multiple. Testarea vă permite să:

• Înțelegeți cât de prost sau de bine funcționează interfața, care fie vă poate motiva să o îmbunătățiți, fie, dacă este deja suficient de bună, să vă liniștiți; în orice caz, beneficiul este atins.
• Comparați calitatea interfețelor vechi și noi și, prin urmare, furnizați o justificare pentru modificări sau implementare.
• Găsiți și identificați fragmentele de interfață problematice și, cu o dimensiune suficientă a eșantionului, estimați și frecvența acestora.

În același timp, testarea de utilizare nu poate transforma un produs prost într-unul bun; doar face produsul mai bun.

Prima testare a sistemelor mari arată întotdeauna că interfața funcționează mult mai rău decât crede proprietarul sau creatorul ei și mult mai bine decât crede inițial testerul.

De ce la ieftin?

Trei abordări pot reduce dramatic intensitatea muncii și, prin urmare, costul testării de utilizare:

1. O oarecare simplificare a conceptului de utilizare.
2. Refuzul de a colecta date cantitative.
3. Reducerea costurilor echipamentelor și reducerea plății pentru timpul respondenților.

A treia abordare este utilizarea numai a laboratoarelor mobile, care este descrisă în detaliu în secțiunea . Celelalte două abordări sunt descrise mai jos.

Eficacitate și eficiență

În interpretarea principală și cea mai frecvent utilizată (standardul ISO 9241–11), conceptul de utilizare este definit ca

Măsura în care un produs poate fi utilizat de utilizatori specificați pentru a atinge obiectivele specificate cu eficacitate, eficiență și satisfacție într-un context de utilizare specificat.

Traducerea mea a acestei formulări în rusă:

Gradul de eficacitate*, efort** și satisfacție cu care un produs poate fi utilizat de utilizatori specificați într-un context de utilizare specificat pentru a atinge obiectivele specificate.

* De exemplu, viteza de lucru sau numărul de erori umane și durata corectării acestora.

** De exemplu, numărul de operațiuni care trebuie efectuate pentru a obține un rezultat sau cantitatea de informații care trebuie procesată pentru a lua o decizie. Termen eficienţă este încă tradus adesea în rusă ca productivitate; în opinia mea, aceasta este o greșeală gravă, deoarece în standardul original ISO 9241–11 eficienţă se înțelege ceva apropiat de conceptul de eficiență.

Principalii indicatori de performanță sunt viteza utilizatorului, viteza de învățare și numărul de erori umane (pentru o listă mai detaliată a parametrilor, consultați secțiunea). Aceștia sunt indicatori necesari care influențează și designul. Ceea ce este frumos este că măsurarea lor nu este deosebit de problematică.

Cu indicatorii de intensitate a muncii, totul este ceva mai complicat. Acest grup include:

• Succes, adică Raportul dintre sarcinile de testare finalizate și cele neterminate sau finalizate este complet incorect.
• Puterea, adică raportul dintre sarcinile din activitățile utilizatorului și sarcinile pentru care este destinat acest produs.
• Încărcare asupra utilizatorului (atât sarcina mentală, cât și, de exemplu, numărul de acțiuni ale utilizatorului per sarcină de testare).

Sunt două probleme aici. Puterea nu este deloc un indicator măsurabil (mai mult sau mai puțină putere a unui produs este în întregime o chestiune de design). Sarcina asupra utilizatorului este fie dificil de măsurat, fie este irelevantă, deoarece încă se manifestă în indicatori de eficiență — cu o sarcină intensă, viteza de lucru scade. Astfel, din toți indicatorii de intensitate a muncii în practică, rămâne doar succesul.

Nu este nimic sedițios în această simplificare. În testarea reală, întregul set de indicatori nu este oricum colectat - la urma urmei, doar unii dintre ei sunt importanți pentru fiecare sistem specific. Cu toate acestea, consecința fundamentală a acestei simplificări a formulării - o simplificare semnificativă a metodologiei de testare a utilizabilității - nu poate fi atinsă în niciun alt mod.

Gradul de eficacitate, succes și satisfacție cu care un produs poate fi utilizat de utilizatori specificați într-un context de utilizare specificat pentru a atinge obiectivele specificate.

Fara cantitate!

A doua oportunitate de a reduce intensitatea forței de muncă a testării de utilizare este refuzul de a colecta majoritatea datelor cantitative. Acest lucru se face din două motive:

• Fiecare test specific poate avea ca scop obținerea fie de date cantitative, fie de date calitative. Datele calitative, de regulă, sunt mai solicitate în timpul proiectării, așa că este mai bine să planificați testul pe baza acestuia.
• Datele cantitative sunt încă nesigure. Ele pot fi măsurate în mod fiabil, dar este extrem de intensivă în muncă.

Calitate sau cantitate?

Testarea utilizabilității poate avea ca scop obținerea de date cantitative (necesare pentru a măsura ergonomia interfeței) sau obținerea de date calitative (necesare pentru a înțelege ce anume este rău și cum să-l remediați). De regulă, nu este posibilă atingerea ambelor obiective într-un singur test.

Să presupunem că măsurăm viteza de lucru cu sistemul. În acest caz, testul ar trebui să fie planificat astfel încât să excludă orice încetinire a utilizatorului care este neobișnuită pentru munca reală. De exemplu, atunci când un utilizator face o eroare, nu există nicio modalitate de a-i adresa întrebări pentru a identifica motivele acestei erori. Pe de altă parte, dacă te bazezi pe date calitative, toate rezultatele cantitative vor fi discutabile.

De fapt, datele cantitative sunt în general un lux de utilizare, deoarece sunt mai plăcute decât este necesar. Ceea ce este nevoie este dinamica, adică. gradul de schimbare a acestor date, ceea ce face viața mult mai ușoară. Nu contează cât de exact sunt numărate erorile - dacă au fost numărate în același mod înainte și după optimizarea interfeței, dinamica pare a fi corectă. De exemplu, dacă, la numărare, numărul erorilor umane a fost redus la jumătate, puteți număra (numai să nu-mi cereți să justific această judecată) că au fost de fapt jumătate din ele, deși este imposibil de spune exact câți au fost și câți au fost de fapt.

Cifre nesigure

În plus, întrebarea dacă să aveți încredere în rezultatele testării de utilizare merită luată în considerare. La urma urmei, testarea nu este magică, așa că dacă presupuneți că testarea poate fi proastă, trebuie să ajungeți la concluzia că rezultatele sale pot fi proaste.

Răspunsul la această întrebare este simplu și trist - nu există niciun motiv să credem în rezultatele testelor de utilizare.

De fapt, în ciuda faptului că în timpul testării de utilizare avem date absolut reale la intrare, voluntarismul nostru inevitabil nu ne permite să avem deplină încredere în ele. Avem prea multe surse potențiale de erori:

• Utilizatorii reali pot diferi de respondenții noștri selectați. Într-un eșantion mic, chiar și o ușoară fluctuație a comportamentului respondenților poate conduce un specialist în utilizare la concluzii false.
• Este posibil ca sarcinile de testare să nu reflecte în mod adecvat activitățile reale ale utilizatorilor din sistem.
• Este posibil ca un specialist în utilizare să nu observe unele probleme sau să înțeleagă greșit esența problemelor observate.

Rolf Molich analizează în mod regulat testele de utilizare în sine. Rezultatele sunt șocante. Astfel, în al doilea test, în care nouă grupuri de specialiști în uzabilitate de diferite niveluri au testat serviciul HotMail, răspândirea rezultatelor a fost foarte mare, în ciuda faptului că sarcinile de testare au fost identice. Toate grupurile au găsit un total de 310 probleme de interfață. Dar trei sferturi din unu la sută din probleme au fost găsite doar de un grup și nu au fost găsite de celelalte grupuri (acest procent include și douăzeci și nouă de probleme cu adevărat grave).

În general, testarea de utilizare Pot fi cercetare științifică, căreia îi sunt pe deplin aplicabile toate cerințele pentru cercetarea științifică în general.

De exemplu, să comparăm testarea de utilizare cu cercetarea sociologică. Sociologul ia măsuri speciale, remarc — complexe și consumatoare de timp — pentru a asigura corectitudinea alegerii respondenților. Noi nu. Un sociolog folosește instrumente dovedite, corecte din punct de vedere statistic, atât atunci când colectează date, cât și când le analizează. Noi nu.

Deci, ori de câte ori încercăm să măsurăm ceva cu precizie, înțelegem greșit. Când nici măcar nu încercăm să obținem precizie, ne înșelim, poate nu atât de mult, deoarece bara a fost deja coborâtă aproape până la podea.

Ce înseamnă asta mai exact? În general, nu putem spune cu certitudine, de exemplu, că am eliminat toate cauzele erorii umane din interfață. Pur și simplu pentru că la alți respondenți, poate mai corect selectați, am fi găsit mai multe erori. Aceeași considerație este valabilă pentru alți indicatori ai calității interfeței și cu atât mai mult pentru alte sarcini de testare. Ce s-ar întâmpla dacă testarea ar fi planificată și efectuată de cineva cu mai multă experiență decât noi! Și este înfricoșător de imaginat.

Astfel, trebuie să măsurăm indicatorii ergonomici doar pentru comparație cu noua interfață, recunoscând în același timp că măsurătorile noastre nu sunt deloc corecte. Sunt necesare doar pentru planificarea optimizărilor imediate. Singurul lucru pe care îl putem spune cu certitudine este că, indiferent cât de mult am testa, există întotdeauna loc de îmbunătățire. Atât o rezervă pentru îmbunătățirea interfeței în sine, cât și a metodelor noastre de testare.

De ce mai ai nevoie de numere?

După ce am denunțat datele cantitative ca fiind neinteresante și nesigure, nu pot să nu subliniez adevăratul lor scop. Datele cantitative sunt absolut esențiale în testele comparative de utilizare. Dacă există mai multe soluții din care trebuie să o alegeți pe cea mai bună, pur și simplu nu există alternativă la datele cantitative, este imperativ să le colectați și trebuie să luați toate măsurile posibile pentru a le asigura fiabilitatea (mai ales că testarea comparativă de utilizare nu necesită deloc date calitative). Cu toate acestea, testarea comparativă este o raritate, așa că acest subiect nu este deloc discutat aici. Dacă aveți nevoie de benchmarking, vă rugăm să contactați.

Ce să măsoare mai exact?

Numărul de indicatori măsurați într-un anumit test poate fi destul de mare, dar toți, de regulă, se reduc la un set de cinci caracteristici de bază. Mai jos este o listă a acestor caracteristici cu exemple de valori create pe baza acestora.

• Viteza utilizatorului. Metrici: durata operațiunii; timpul petrecut pentru detectarea erorilor; timpul petrecut pentru corectarea erorilor; numărul de comenzi executate la efectuarea unei operații (se înțelege că cu cât sunt mai multe comenzi, cu atât este nevoie de mai mult timp pentru a le emite); durata căutării informațiilor în documentație; numărul de comenzi care sunt mai eficiente decât cele utilizate de utilizator; scăderea productivității în timpul funcționării pe termen lung.
• Erori. Metrici: procentul de operațiuni care au cauzat o eroare; numărul mediu de erori per operațiune în rândul utilizatorilor experimentați (în special, în rândul utilizatorilor experimentați, deoarece factorii din grupul de viteză de învățare pot fi, de asemenea, la lucru în rândul utilizatorilor neexperimentați); numărul de erori care nu au fost detectate și corectate de utilizatori.
• Abilitatea de a învăța cum să opereze sistemul. Metrici: numărul și frecvența apelurilor către sistemul de ajutor; durata perioadei dintre începerea utilizării sistemului și punctul în care viteza de funcționare/numărul erorilor utilizatorului încetează să crească; diferența în numărul de erori/viteza de lucru între utilizatorii cu experiență în utilizarea sistemului și fără o astfel de experiență.
• Satisfacția subiectivă a utilizatorului. Măsurarea acestei caracteristici este asociată cu anumite dificultăți care merită luate în considerare separat. Consultați mai jos valorile pentru această proprietate.
• Menținerea abilităților de lucru cu sistemul. Valori: diferență de viteză/număr de erori pentru un utilizator după o oră de lucru cu sistemul și pentru același utilizator la începutul utilizării sistemului după o pauză lungă.

După cum puteți vedea, măsurarea calității interfeței poate fi destul de dificilă, de exemplu, un test de reținere a abilităților poate dura mai mult de o lună. Dar acestea sunt doar teste pentru a doua și a treia componentă a utilizabilității, și anume eficiența și satisfacția. Pe lângă acestea, există și succesul, care este mai important și care este mult mai ușor de măsurat — trebuie doar să calculați ce procent din sarcinile pe care utilizatorul le finalizează complet incorect sau nu le poate finaliza deloc. Acest lucru simplifică foarte mult viața unui designer de utilizare.

Cât de adâncă este satisfacția?

Spre deosebire de alte caracteristici, satisfacția nu se află în lumea reală, ci în capul utilizatorului. Ca urmare, nu poate fi „atins” și, prin urmare, nu poate fi măsurat în mod obiectiv. Dar cel puțin poate fi măsurat indirect.

Există două căi de acțiune posibile. În primul rând, respondentul poate fi întrebat cât de satisfăcătoare i se pare interfața. În al doilea rând, prin comportamentul respondentului este posibil să se determine dacă îi place sau nu îi place interfața la un anumit moment în timp; Numărând numărul de reacții afișate, satisfacția poate fi evaluată. Desigur, aceste estimări sunt relative; valoarea lor se realizează doar în comparație cu noua interfață sau în comparație cu concurenții.

Mai jos sunt câteva metode de măsurare a satisfacției.

Chestionar

Dacă încercați să determinați satisfacția printr-un sondaj între respondenți, nu puteți face fără chestionare formale. Într-adevăr, dacă formatul sondajului nu este fix, nu poate fi sigur că respondenților li se pune aceeași întrebare și, prin urmare, răspunsurile devin discutabile.

Din păcate, chestionarele au un dezavantaj major în condițiile rusești - chestionarele de încredere pur și simplu nu există. În ciuda faptului că multe chestionare destul de funcționale au fost create în țările din vestul în declin (SUMI, QUIS, MUMMS, IsoMetrics etc.), niciunul dintre ele nu a fost tradus în rusă sau testat din nou. Drept urmare, aceste chestionare, fiind, de altfel, foarte scumpe, nu sunt mai de încredere decât orice chestionare pe care le poți realiza singur.

Din păcate, elaborarea și testarea chestionarelor de încredere este un proces foarte lung, care necesită multă muncă, așa că nu se poate conta pe apariția iminentă a chestionarelor interne de înaltă calitate.

Mai jos sunt două chestionare funcționale, deși nesigure.

Chestionar după cuvinte

Acest chestionar a fost propus pentru prima dată de cercetătorii de la Microsoft Usability Laboratory ca o modalitate de a evalua rapid, deși în mod evident nesigur, satisfacția. Chestionarul este foarte simplu. Respondentului i se prezintă o foaie de hârtie cu un set de adjective alese aleatoriu, dintre care o jumătate este mai degrabă pozitivă, cealaltă jumătate negativă. Respondentului i se cere să sublinieze cuvintele care, în opinia sa, sunt aplicabile produsului (asemănarea chestionarului cu chestionarele utilizate în tehnica diferențială semantică nu este semnificativă - acestea sunt metode complet diferite). După completarea chestionarului, se calculează diferența dintre numărul de termeni negativi și pozitivi.

Folosesc următorul set de adjective:

Învechit - Eficient - Neclar - Incomod - Aglomerat - Dim - Strălucitor - Curat - Direct - Incoerent -                                                                 Atrăgător - Standard - Manebrabil - Bine - Intuitiv - Distractiv - Amatori - Ineficient - Periculos - Plictisitor -Feritor -Pctisitor - Enervant - Triunghiular - Neplăcut - Confortabil - Rece - Inteligent - Inutil - Hacky - Căldur - Ușoară  Enigmă                                           - Interesant - Nesigur - Flexibil - Frumos - Urât - Neatractiv - Util - Prost - Confuz - Convenient - Înțeles ny — Imprevizibil — Clar - Gre - Modern - Ușor - Prietenos - Personalizat - Rău - De încredere                                                                      Profesional - Încet - Rotund - Trist - Neprietenos - Previzibil - Neînțeles - Rapid - Înruditor - Trist 

Vă rugăm să rețineți că nu întâmplător cuvintele sunt date amestecate; exact așa ar trebui să fie prezentate respondenților.

Chestionar formal

Spre deosebire de cuvântul chestionar, acest chestionar nu poate fi folosit fără adaptare la un anumit proiect. Unele dintre întrebările ei sunt uneori irelevante și uneori trebuie reformulate. În orice caz, pentru respondenții de sex feminin este necesar să se schimbe genul textului chestionarului.

Chestionarul constă din mai multe întrebări, pentru fiecare dintre ele respondentul poate alege una dintre cele cinci variante de răspuns. Vă rugăm să rețineți că am conceput acest chestionar doar ca post-test; utilizarea lui în orice altă calitate este discutabilă.

Întrebări din sondaj:

Am făcut greșeli în timpul îndeplinirii sarcinilor Nu/Da

Sistemul este capabil să facă tot ce am nevoie și chiar mai mult Nu/Da Sistemul este suficient de rapid Nu/Da

Îmi place aspectul interfeței Nu/Da

Simt că, dacă ajung să cunosc mai bine sistemul, voi putea face lucruri în el la care nici nu mă gândesc acum Nu/Da

Sistemul poate fi personalizat cu ușurință pentru a se potrivi nevoilor mele Nu/Da

A începe a fost ușor; Nu am întâmpinat dificultăți semnificative Nu/Da

Ori de câte ori am făcut o greșeală, am observat cu ușurință și mi-am corectat greșeala Nu/Da

Sunt mulțumit de viteza mea de lucru Nu/Da

M-am simțit destul de încrezător în timpul îndeplinirii sarcinilor Nu/Da

În orice moment am înțeles ce trebuie să fac în continuare Nu/Da

Sistemul mi se pare util, as fi bucuros sa il folosesc pentru a-mi rezolva problemele Nu/Da

Rezultatele trebuie calculate după următorul algoritm: valoarea centrală dă zero puncte, valorile extreme dau fie –2 puncte (opțiune de răspuns stânga), fie +2 puncte (răspuns dreapta), valori intermediare fie –1, fie +1 punct, respectiv. Scorul total este valoarea comparată.

Observarea reacțiilor emoționale

Pe lângă chestionare, puteți număra reacțiile emoționale ale respondentului. De exemplu, dacă respondentul a zâmbit, punem un plus; dacă a înjurat sau a tresărit, punem un minus. Numărul și semnul reacțiilor constituie valoarea dorită a indicatorului.

Există probleme și cu această metodă.

În primul rând, nu este clar cum să numărăm reacțiile de diferite puteri. De câte ori trebuie să zâmbească un respondent pentru a contrabalansa opt secunde de înjurături la alegere? Și nouă secunde de înjurături?

În al doilea rând, aceeași persoană ar trebui să numere reacțiile tuturor respondenților, deoarece este imposibil ca mai multe persoane să-și sincronizeze ideile despre ceea ce, de fapt, este inclus în conceptul de reacție emoțională. Ca urmare, intensitatea resurselor testului crește foarte mult.

Nu susține acest test dacă ești cel puțin puțin sigur de capacitatea ta de a capta emoțiile altora (de exemplu, dacă ești Em și nu Jo).

A doua problemă este incertitudinea testului. Doar satisfacția operațională, adică plăcerea, este observată, iar satisfacția percepută, care este aproape întotdeauna mai importantă, rămâne în culise.

Ce este necesar pentru testare

Acum că problemele fundamentale au fost discutate în general, putem trece la practică. Merită să începeți cu o listă a ceea ce trebuie colectat într-un singur loc pentru a efectua teste de utilizare (aceste puncte vor fi descrise mai detaliat mai jos). Deci de ce avem nevoie:

• respondenți
• metoda de testare
• scripturi de testare
• post de lucru de testare și metodă bine stabilită de fixare a materialului
• test testat.

Respondenții

La selectarea respondenților pentru testare, este mai întâi convenabil să se determine cerințele generale pentru respondenți și abia apoi să se selecteze respondenții din publicul țintă, folosind cerințele generate.

Rețineți că selectarea respondenților care nu fac parte din publicul țintă este mult mai periculoasă decât pare la prima vedere. Veți identifica fie probleme care nu există, fie nu le veți identifica pe cele existente. În cel mai rău caz, veți simplifica atât de mult interfața încât va fi dificil de utilizat chiar și pentru utilizatorii medii, care de fapt sunt majoritatea.

Cerințe generale pentru respondenți

Primul punct este dacă respondenții au nevoie de experiență de lucru cu sistemul. Regula generală: dacă interfața unui sistem existent este optimizată, jumătate dintre respondenți ar trebui să aibă experiență (pot determina problemele de recalificare în timpul implementării), iar jumătate nu ar trebui (pot determina viteza de învățare). Dacă există sisteme concurente, o proporție diferită este mai bună: o treime cu experiență cu versiunea anterioară, o altă treime cu experiență în utilizarea sistemelor concurente, treimea rămasă fără experiență cu sistemul.

Al doilea punct este nivelul de cunoaștere a calculatorului. Toate celelalte lucruri fiind egale, alegerea preferată este cea reală, adică. coincide cu experiența publicului țintă, un nivel pentru trei sferturi dintre respondenți și un nivel scăzut pentru trimestrul rămas (pot fi identificate mai multe probleme).

Este convenabil să se determine nivelul de cunoștințe de calculator folosind următoarea scală:

1. Înalt. Respondentul are un computer la locul de muncă și acasă, majoritatea activităților sale de muncă se desfășoară pe un computer, respondentul folosește în mod independent computerul ca mijloc de auto-dezvoltare și utilizează în mod activ serviciile de pe Internet (de exemplu, cumpără regulat bunuri și servicii din magazinele online).
2. Peste medie. Respondentul are calculator la serviciu și acasă, majoritatea activităților sale de muncă se desfășoară pe calculator, dar respondentul nu folosește calculatorul pentru a rezolva probleme dincolo de sfera activității sale principale (lucrează la calculator „din clopoțel în clopoțel). ” și nu mai mult).
3. In medie. Lucrul cu un computer face parte din activități normale (de muncă sau personale) de doi ani sau mai mult.
4. Mic de statura. Fie ai un calculator la serviciu, fie acasă, dar experiența ta cu un computer nu depășește doi ani și computerul nu este un instrument semnificativ în munca ta.
5. Foarte jos. Experiența de utilizare a computerului este sporadică, nu durează mai mult de trei ani. Calculatorul nu este folosit nici la serviciu, nici acasă.

Pe locul trei se află vârsta. Proporția optimă: trei sferturi dintre respondenți au vârsta audienței țintă a sistemului, restul sfert este mai în vârstă (pot fi identificate mai multe probleme).

Genul respondenților are o influență mai mică asupra rezultatelor — dar asta nu înseamnă că nu este necesară selectarea respondenților de genul corect. Merită să crească numărul de femei în rândul respondenților în comparație cu proporția din publicul țintă, deoarece este mai ușor să identifici problemele de implementare la femei (femeile, în general, învață mai încet, dar odată instruite, lucrează mai bine).

Ultima caracteristică semnificativă este nivelul de deschidere emoțională a respondenților. Cu cât respondentul este mai constrâns, cu atât este mai puțin valoros să vă spună. Chiar dacă determinați că există o problemă, nu veți putea obține nicio informație de la el despre ce a cauzat problema. Există o modalitate excelentă de a rezolva problema deschiderii emoționale insuficiente - merită să aveți o bază de date a respondenților și să le reutilizați. Un respondent care știe deja din experiență că nu este nimic înfricoșător în testarea utilizabilității este mult mai dispus să ia contact și este, în general, mai vorbăreț.

În cele din urmă, când proprietățile utilizatorului dorite pentru test au fost deja determinate, este timpul să selectăm respondenți care nu numai că îndeplinesc cerințele de mai sus, dar sunt și incluși în publicul țintă al sistemului.

Câți respondenți sunt necesari?

În 1992, Robert Virzi a scris în articolul său Rafinarea fazei de testare a evaluării uzabilității: câți subiecți sunt suficiente? a sugerat că cinci respondenți sunt suficienți pentru test. Un an mai târziu, Jakob Nielsen și Thomas K. Landauer au preluat ștafeta cu articolul A mathematical model of the finding of usability problems, în care susțineau că cinci respondenți sunt suficienți pentru a prinde 70% din probleme și este nevoie de încă trei respondenți în pentru a crește eficiența la 85%.

Comunitatea de utilizare a iubit aceste numere din toată inima. De atunci, expresia „5–8 respondenți” a devenit aproape o mantră. Din păcate, această mantră este falsă.

În primul rând, toți cei trei autori au scris doar despre testarea sistemelor mici. Ce trebuie făcut dacă sistemul este prea mare pentru a încadra testul pe fiecare respondent într-o oră și jumătate (acesta este maximul pe care îl poate rezista o persoană, atât respondentul, cât și experimentatorul; testele de 40 de minute sunt mult mai bune). În acest caz, va trebui să efectuați mai multe teste diferite pe respondenți diferiți; Fără aceasta, va fi pur și simplu imposibil să acoperiți întreaga interfață a sistemului. Câți respondenți vor fi necesari depinde de sistem; aici nu pot exista gradări clare. Așadar, pentru a testa un site corporativ mare, într-un mod amiabil, aveți nevoie de aproximativ douăzeci de persoane în mai multe serii de câte 5 persoane.

În al doilea rând, opt persoane sunt prea puține pentru a vorbi despre măcar orice acuratețe în măsurarea caracteristicilor ergonomice. Pentru a măsura ai nevoie de cel puțin douăsprezece persoane.

În al treilea rând, opt persoane nu pot găzdui nici genul, nici vârsta sau orice altă diversitate a respondenților. Dacă trebuie să testați o interfață concepută pentru mai multe grupuri de public distincte, fiecare grup ar trebui să primească propriii cinci până la opt respondenți.

Pe de altă parte, primii câțiva respondenți ne permit să identificăm partea leului de probleme. Prin urmare, singura soluție cu adevărat posibilă este testarea în serie: prima serie trece, problemele identificate sunt rezolvate, apoi a doua serie, problemele sunt rezolvate din nou și așa mai departe. Dacă toate tipurile de respondenți sunt utilizate în prima serie, seria rămasă poate fi întreruptă în siguranță atunci când numărul de date identificate scade semnificativ. Prima serie ar trebui să fie mai mare, restul mai mic.

Chestiuni organizatorice

Pe lângă cerințele reale pentru respondenți, întrebarea rămâne deschisă: cum să convingem un potențial respondent să participe la testare?

Dacă proiectați o interfață personalizată, încercați să delegați clientului căutarea respondenților. Aproape întotdeauna sistemul are utilizatori reali sau potențiali cu care clientul a dezvoltat o relație specială și care — ceea ce este frumos — sunt interesați în mod deosebit de noua interfață, motiv pentru care sunt foarte sociabili.

Dacă proiectați o interfață pentru un sistem cu un public țintă larg (general), nu-i neglijați pe cei dragi. Sunt amândoi sociabili și ușor accesibili.

Multe companii de recrutare selectează respondenți pentru focus grupuri, astfel încât să poată selecta respondenți pentru testele de utilizare. Din păcate, un focus grup este un eveniment unic, de durată relativ scurtă. Testarea de utilizare va necesita programarea întâlnirilor cu respondenții pe rând, câte o persoană pe rând, ceea ce face procesul mult mai dificil.

Mențineți o bază de date cu persoanele pe care le-ați folosit deja pentru testare. De regulă, este mai ușor să negociezi cu ei decât cu cei care nu au experiență în participarea la testare.

Atunci când organizați o întâlnire cu respondentul, dați dovadă de flexibilitate și flexibilitate maximă. Respondentul, chiar dacă este plătit pentru timpul lor, vă face o favoare acceptând să participe la test.

Dacă ați găsit singur respondentul, chiar dacă este prietenul sau ruda dvs., acesta ar trebui să fie recompensat pentru timpul petrecut (puteți face fără recompensă dacă respondenții au fost furnizați de clientul interfeței, dar dacă ați apelat la serviciile unui serviciul de selecție a personalului, recompensa trebuie discutată cu un reprezentant al serviciului) . Pentru un public nespecific, cel mai bun stimulent sunt banii - suma optimă de plată este dublă față de tariful orar al unui anumit respondent, ținând cont de timpul petrecut de respondent în călătorii. Pentru un anumit public, sunt adesea necesare cantități foarte mari de recompense; în astfel de condiții, este rezonabil să răsplătiți respondenții cu cadouri valoroase, pentru care puteți obține o reducere mare angro (personal, prefer să folosesc alcool scump).

Metode de testare

Există doar trei metode principale de testare a utilizării: observarea pasivă a sarcinilor de testare, fluxul de conștiință și intervenția activă; primul este destinat colectării de date cantitative, cel din urmă - calitativ:

• Observarea pasivă a sarcinilor de testare. Esența metodei este foarte simplă: respondentul realizează sarcini de testare, acțiunile sale sunt analizate (în timpul testului sau după, conform protocoalelor), ceea ce permite atât găsirea fragmentelor problematice, cât și măsurarea caracteristicilor ergonomice ale interfeței.
• Flux de conștiință (gândește cu voce tare). Corespunde testării prin observație pasivă, dar respondentului i se cere și să comenteze verbal acțiunile sale. Comentariile sunt apoi analizate. Metoda este destul de instabilă, dar uneori dă rezultate interesante (depinde foarte mult de vorbăreala respondentului). Un dezavantaj major al fluxului de conștiință este că măsurătorile caracteristicilor ergonomice ale interfeței sunt foarte discutabile.
• Intervenție activă.În această metodă, specialistul în uzabilitate nu așteaptă favoruri de la natură în persoana respondentului, ci încearcă să le ia el însuși. După fiecare acţiune a respondentului, experimentatorul îl întreabă de ce respondentul acţionează astfel; Pe fiecare ecran, experimentatorul întreabă cât de exact înțelege respondentul scopul și funcțiile acestui ecran. Această metodă este mai aproape de un interviu concentrat decât de testarea în sine — de exemplu, metoda poate fi folosită chiar și fără sarcini de testare, atâta timp cât există o interfață pentru discuție. Este clar că cu intervenția activă nu sunt pur și simplu posibile măsurători, dar volumul de date calitative obținute este cel mai mare.

Scenarii de testare

Un caz de testare este aspectul sistemului testat. În opinia mea, scenariile de testare selectate în mod adecvat sunt cea mai importantă condiție prealabilă pentru testarea calității.

Scenariile constau dintr-o sarcină de utilizator și sarcinile însoțitoare ale acesteia:

• metrici ergonomice semnificative
• sarcini de testare pentru respondenți (pot fi mai multe sarcini)
• semne de succes a sarcinii.

Să le privim în detaliu.

Sarcina utilizatorului

Primul pas în definirea scenariilor este identificarea sarcinilor semnificative ale utilizatorului. Aceste sarcini sunt materia primă pentru crearea scenariilor.

Ce este sarcina utilizatorului? Aceasta este sarcina pe care activitățile lor o prezintă utilizatorilor și care are valoare independentă pentru utilizatori. O sarcină utilizator este executată ca una sau mai multe operații (o operație utilizator nu are o valoare independentă). De exemplu, pentru un program client de e-mail sarcinile sunt:

• scrierea și trimiterea unei scrisori
• primirea mesajelor de la server
• personalizarea programului în funcție de nevoile dvs. (de exemplu, configurarea recepției automate a e-mailului la intervale specificate).

Dar selectarea unui destinatar din agendă atunci când scrieți o nouă scrisoare nu mai este o sarcină, deoarece această acțiune nu este valoroasă în sine. Aceasta este o operațiune constând din multe acțiuni (faceți clic pe butonul Către... > selectați un contact > confirmați selecția).

Atunci când alegeți sarcini pentru testare, ar trebui să vă ghidați după două considerente:

• Toate sarcinile trebuie să fie realiste, adică identificate din activitățile efective ale utilizatorilor: dorința de a face sarcinile mai complicate pentru a găsi multe probleme simultan este de nesuportat - sarcinile ar trebui să fie obișnuite, deoarece nu are rost să cauți probleme cu care nimeni nu se confruntă.
• Deoarece testarea întregii interfețe pentru toate sarcinile utilizatorului este doar posibilă în mod ideal, trebuie să vă limitați și să selectați numai sarcinile importante. Sarcinile importante sunt, în primul rând, sarcinile de frecvență, adică. care sunt efectuate de toți utilizatorii și/sau efectuate frecvent, în al doilea rând, toate celelalte sarcini pe care le bănuiți că sunt executate prost pe sistem și, în sfârșit, sarcini care, dacă sunt efectuate incorect, duc la probleme majore.

Măsuri de sarcină ergonomice semnificative

Pentru fiecare sarcină, trebuie să selectați caracteristicile interfeței care sunt semnificative pentru aceasta. Desigur, avem la dispoziție metricile din secțiunea „Ce anume să măsori”. Cu toate acestea, aceste metrici sunt incomode: sunt greu de măsurat și greu de înțeles (deși sunt mai ușor de comparat). Din punct de vedere practic, caracteristicile mai cu picioarele pe pământ sunt mult mai convenabile.

De exemplu, puteți număra numărul de erori umane. Dar influența acestei metrici asupra rezultatului integral este atât de complexă, încât analiza încă nu se poate lipsi de elemente de voluntarism și subiectivism. Este mult mai ușor să determinați imediat impactul acelorași erori, chiar înainte de testare, de exemplu, prin setarea unei caracteristici semnificative a interfeței „Utilizatorul este capabil să instaleze programul în mai puțin de cinci minute, făcând nu mai mult de două erori minore. ” (unde o eroare minoră înseamnă o eroare pe care el însuși utilizatorul a observat-o și a corectat-o). Desigur, există multă arbitrar într-o astfel de cerință. Dar este încă mai puțin decât în ​​speculațiile dubioase cu privire la numărul de erori umane identificate. Astfel, valorile „la pământ” sunt mai convenabile decât valorile universale.

În plus, valorile declarative simple sunt, de asemenea, convenabile, deoarece vă permit să înțelegeți când trebuie să continuați optimizarea interfeței și când vă puteți opri. Revenind la exemplul din paragraful anterior, putem spune că trebuie să optimizați interfața până când instalarea durează mai puțin de cinci minute. Dacă, după optimizarea interfeței, programul se instalează în șase minute, acesta este un motiv pentru a modifica încă o dată interfața și a testa din nou.

Iată exemple de astfel de valori:

• Succes — respondenții realizează corect 90% din sarcini.
• Eficiență — viteza utilizatorului: înregistrarea pe site se finalizează în mai puțin de 7 minute.
• Eficiență — erori: la introducerea a 10 formulare, numărul de erori de introducere nu depășește două.
• Eficiență — deprinderi de învățare pentru a lucra cu sistemul: la finalizarea sarcinii 9, care diferă de sarcina 2 doar în datele de intrare, respondenții nu greșesc o singură greșeală (fără a număra greșelile de scriere).
• Satisfacție — conform rezultatelor sondajului, numărul de puncte a crescut cu 20% față de rezultatele anterioare.

Sarcini de testare

O sarcină de testare este ceea ce respondentul primește de la dvs., o sarcină care vă permite să ghidați respondentul printr-un fragment al interfeței sistemului și să determinați caracteristicile acestui fragment.

Sarcinile de testare, pe lângă sarcinile de întâlnire ale utilizatorului, trebuie să aibă și următoarele proprietăți:

• Neambiguitate. Sarcinile trebuie formulate astfel încât să se prevină interpretarea lor greșită de către respondent. Dacă respondentul înțelege greșit sarcina, aproape sigur nu îl veți putea direcționa pe calea cea bună în timpul testului fără să-i spuneți simultan succesiunea îndeplinirii sarcinii.
• Completitudine. Textul sarcinii trebuie să conțină toate informațiile necesare pentru a finaliza această sarcină.
• Concizie. Dacă măsurați viteza de finalizare a sarcinilor, sarcinile ar trebui să fie suficient de scurte, astfel încât perioada de timp în care respondenții le citesc sarcinile să nu afecteze durata de timp în care au îndeplinit sarcinile ei înșiși (oamenii citesc la viteze diferite). Dacă textul sarcinii are un volum mare, va trebui să tăiați manual durata de citire pentru fiecare sarcină, ceea ce necesită foarte multă muncă.
• Fără indicii. Textul sarcinii nu trebuie să clarifice modul în care această sarcină trebuie îndeplinită. De exemplu, este inacceptabil să folosiți terminologia sistemului - în loc de fiecare termen trebuie să descrieți semnificația acestuia, altfel respondenții vor apăsa pur și simplu butoanele cu aceleași cuvinte și nu veți identifica nicio problemă.
• Sarcina trebuie să includă punctul de pornire al sarcinii, adică trebuie precizată fereastra sau ecranul pe care trebuie să fie amplasat respondentul la început. Dacă astfel de informații nu sunt furnizate, respondenții vor trece inevitabil în alte părți ale interfeței, ceea ce înseamnă că sarcina va fi efectuată diferit de respondenți diferiți, ceea ce face ca toate calculele statistice să nu aibă sens. Trebuie să fixați punctul de pornire al sarcinii la sfârșitul sarcinii anterioare. Dacă o sarcină începe de la zero, sfârșitul sarcinii anterioare ar trebui să spună „întoarcere la ecranul principal”. Dacă o sarcină urmează să reia de unde a rămas o sarcină anterioară, sarcina anterioară ar trebui să se încheie cu cuvintele „când ați terminat, nu închideți fereastra curentă/rămâneți pe acest ecran”.

Pe lângă aceste cerințe generale, trebuie avute în vedere și următoarele:

• Este posibil ca mai multe sarcini de testare să fie scrise pentru o sarcină de utilizator. Un caz tipic este că sarcina este prea mare pentru a se potrivi într-o singură sarcină. De asemenea, dacă o sarcină de utilizator este o sarcină de înaltă frecvență, nu ar trebui să fii interesat în mod deosebit de modul în care se realizează prima dată — este mult mai interesant să știi cum o vor face utilizatorii a doua, a treia, a patra (și așa mai departe). ) ori. În acest caz, în cadrul testului pe un respondent, va trebui să executați această sarcină de mai multe ori, variind sarcinile de fiecare dată.
• Pe lângă sarcinile în care respondentul trebuie să efectueze o anumită acțiune, sarcinile duble sunt acceptabile și de dorit, în care Intimatul trebuie mai întâi să decidă dacă trebuie să efectueze această acțiune în acest moment. De exemplu, dacă testăm un program de defragmentare a discului, în loc de sarcina „Defragmentați discul computerului”, este mai bine să folosiți sarcina „Verificați gradul de fragmentare a discului și, dacă considerați necesar, defragmentați discul computerului. ” Asemenea sarcini ar trebui concepute în așa fel încât respondentul să nu poată refuza să ia o decizie fără să se uite și să spună că, spun ei, totul este în regulă și nu este necesară defragmentarea. De asemenea, este înțelept să fragmentați în mod deliberat discul înainte de un astfel de test, astfel încât respondentul să nu poată evita sarcina.
• Uneori, în timpul unei sarcini, trebuie să schimbați cu forță starea sistemului. De exemplu, dacă doriți să aflați exact cum rezolvă utilizatorii o anumită problemă, va trebui să creați acea problemă. Este inacceptabilă întreruperea testului în acest scop, deoarece aceasta va distrage atenția intimatului. În astfel de cazuri, înaintea sarcinii corespunzătoare poate fi introdusă o altă sarcină, în care respondentul trebuie să creeze singur problema. Desigur, o astfel de sarcină nu va oferi nicio informație despre interfață.
• Analiza rezultatelor și compilarea statisticilor este mult simplificată dacă nu efectuați un număr mic de sarcini lungi, ci un număr mare de sarcini scurte care necesită mutarea doar câteva ecrane sau completarea unuia sau două formulare.
• Prima sarcină a testului ar trebui să fie o sarcină introductivă, menită exclusiv să introducă respondentul în proces. În consecință, ar trebui să fie simplu, iar rezultatele sale pot fi ignorate.

Asigurați-vă că verificați dacă scripturile dvs. pot fi completate de respondenți în timpul estimat de testare. Probabil că lista scenariilor va trebui scurtată.

Semne ale succesului sarcinii

Ultima componentă a scenariului este semnele îndeplinirii cu succes a sarcinilor. Iată chestia: nu există întotdeauna o singură modalitate de a îndeplini aceeași sarcină. Este incorect să rulați un test fără a cunoaște toate aceste metode, deoarece analiza ulterioară va fi discutabilă. Să presupunem că respondentul A a finalizat sarcina în metoda A, iar respondentul B în metoda B. Ambii respondenți au finalizat sarcina, dar unul este totuși mai bun decât celălalt. La urma urmei, diferite metode aparent au o eficacitate diferită, de exemplu, numărul de acțiuni incluse în metoda B este de o dată și jumătate mai mare decât numărul de acțiuni din metoda A. Metoda A într-o astfel de situație este de preferat, într-un sistem ideal. (la care ar trebui să ne străduim) toți utilizatorii ar trebui să-l folosească numai.

În plus, uneori, rezultatul corect al testului din punctul de vedere al experimentatorului nu este de fapt corect, mai ales dacă domeniul este complex și specialistul în utilizare nu îl cunoaște suficient. Pentru a se asigura că rezultatul corect este exact ceea ce crede specialistul în utilizare, acesta trebuie să găsească un expert în sistem și în domeniu și să întrebe. Fără a cunoaște cu fermitate toate modalitățile de a finaliza o sarcină, pur și simplu nu vei putea identifica greșelile.

Locul de muncă și metodele de înregistrare a datelor

Există două abordări pentru organizarea unui loc de muncă pentru testarea gradului de utilizare: un loc de muncă staționar și unul mobil. Aici sunt date doar recomandări legate de locurile de muncă mobile, deoarece laboratoarele mobile în sine sunt mai ieftine și permit reducerea remunerației respondenților (deși cu prețul timpului unui specialist în uzabilitate care trebuie să se deplaseze însuși la respondenți).

Deci, ce trebuie să aveți pentru testarea completă:

1. Laptop. Cerințele pentru laptop sunt simple. În primul rând, cel mai puternic procesor posibil pentru înregistrarea simultană a conținutului ecranului (deși chiar și cele mai slabe procesoare Intel Centrino vă permit să înregistrați un flux video în fundal, la procesoare mai puternice interfața testată va funcționa mai rapid, iar calitatea video va fi superior). În al doilea rând, dacă intenționați să înregistrați un videoclip cu respondentul însuși (vezi mai jos), veți avea nevoie de un ecran mai mare, astfel încât atât interfața testată, cât și fereastra cu fața respondentului să se potrivească pe el.

2. Cameră web, dacă urmează să înregistrați expresiile faciale și direcția privirii respondentului. De regulă, cu cât camera este mai scumpă, cu atât o calitate a imaginii este mai bună. O cameră care se montează pe ecranul unui laptop este de dorit, deoarece este mai convenabil de utilizat.

3. Microfon.În principiu, orice va face. Personal, folosesc un microfon Genius obișnuit care costă șaptezeci de ruble. Dacă camera web are un microfon încorporat, va funcționa bine. Pe de altă parte, un microfon mai bun va produce o calitate mai bună a înregistrării, deci va fi mai puțin șuierat (dar nu va interfera cu nimic).

4. Program de înregistrare a ecranului. Standardul de facto este TechSmith Camtasia, dar dacă fondurile permit, investiți în TechSmith Morae, care este special conceput pentru testarea gradului de utilizare (înregistrează nu numai conținutul ecranului, ci și acțiunile utilizatorului, ceea ce poate accelera foarte mult analiza ulterioară — pe de altă parte, Morae este de patru ori mai scump decât Camtasia, care oricum nu este ieftin).

Înainte de a testa pentru prima dată, cunoașteți-vă cât mai bine echipamentul. Explorați cum să poziționați cel mai bine camera și microfonul pentru a obține cele mai bune rezultate. Aflați tastele rapide pentru programul de înregistrare a ecranului și aflați cum să-l lansați rapid în orice mod. Nimic nu subminează încrederea unui respondent în testare mai mult decât vederea unui experimentator agitat care încearcă să pornească corect înregistrarea în ultimul moment înainte de test.

5. Dacă aveți de gând să înregistrați durata sarcinilor, este util să aveți cronometru sportiv cu înregistrarea Laps, permițându-vă să memorați o serie de intervale. În caz contrar, va trebui să vizionați din nou videoclipurile pentru a calcula durata sarcinilor, iar acest lucru este foarte obositor.

6. Sarcini de testare pentru prezentare respondenților. De regulă, cea mai bună opțiune este să tipăriți fiecare sarcină pe o foaie separată, astfel încât respondentul să nu poată trece înainte și să citească sarcini pe care nu le-a finalizat încă. Pe prima foaie trebuie să afișați forma introductivă. Un exemplu de această formă (în paranteze drepte - date variabile):

Stimate [Numele respondentului]!

Vă invităm să finalizați o serie de sarcini concepute pentru a evalua simplitatea și ușurința de utilizare a [System Name]. Simțiți-vă liber când finalizați sarcinile. Scopul studiului este de a evalua calitățile interfeței studiate, și nu dvs. personal. Dacă faci ceva greșit, va însemna că interfața și numai interfața necesită îmbunătățiri.

Când îndepliniți sarcinile, trebuie să acționați așa cum credeți de cuviință. De exemplu, dacă decideți să utilizați Ajutorul, puteți face acest lucru fără a cere permisiunea experimentatorului.

Vă rugăm să rețineți că acțiunile și cuvintele dvs. sunt înregistrate pentru studii suplimentare, dar toate datele colectate vor rămâne strict confidențiale și vor fi accesibile doar cercetătorilor.

Citiți cu atenție sarcina și urmați întocmai instrucțiunile.

Încercați să finalizați fiecare sarcină până la sfârșit, dar dacă în timpul sarcinii vă dați seama că nu puteți sau nu doriți să o finalizați, informați experimentatorul și treceți la următoarea sarcină.

Vă rugăm să întoarceți pagina cu temei numai după ce ați finalizat tema de pe pagina deschisă.

Dacă nu înțelegeți nicio sarcină, nu ezitați să întrebați din nou specialistul de testare.

Pe de altă parte, în unele cazuri este mult mai eficient să le dai respondenților sarcini nu pe hârtie, ci într-un mod mai apropiat de realitate. De exemplu, atunci când testați o interfață punct de vânzare, cel mai bine este să pretindeți că sunteți client, iar clienții își exprimă rareori nevoile în scris.

7. Dacă ai de gând să chestionezi utilizatorii, vei avea nevoie formulare tipărite.

8. Dacă veți fi aproape de respondent și veți înregistra imediat orice parametru, va trebui tabletă cu hârtie și stilou. Este la îndemână să tipăriți câteva coli de hârtie în avans cu numele respondentului și numerele paginii — dacă faceți mai multe teste la rând, acest lucru este garantat pentru a evita bătălia de a amesteca lucrările.

După cum puteți vedea, nu este nevoie de mult. Costul echipamentului și software-ului necesar (fără a lua în calcul un laptop, care nu este un lux în secolul 21) nu depășește 450 USD în versiunea economică. Avantajele acestei soluții sunt fiabilitatea și ușurința în operare; în plus, mobilitatea permite testarea cu respondenții înșiși, ceea ce crește semnificativ numărul acestora (mulți potențiali respondenți nu vor merge sub nicio formă la cabinetul unui specialist în uzabilitate).

Înregistrarea expresiilor faciale ale respondenților

Dacă urmează să analizați rezultatele după test (și nu în timpul acestuia), va fi extrem de util să faceți o înregistrare video a expresiilor faciale și a gesturilor respondenților. Fără videoclip al respondentului, va trebui să analizați mișcările cursorului (însoțite, întrucât sunetul este și înregistrat, de șuierat și țipete). Odată cu înregistrarea, va fi posibilă analiza interacțiunii umane cu interfața, deoarece vor apărea condițiile preliminare pentru gestalt. O diferență obiectiv nesemnificativă a metodei va avea ca rezultat o îmbunătățire obiectiv semnificativă a rezultatelor.

Problema este că înregistrarea unui videoclip cu respondentul însuși este asociată cu o anumită dificultate - trebuie să sincronizați automat chipul respondentului și înregistrarea acțiunilor sale.

Nu așezați microfonul în apropierea testelor imprimate. Veți deveni surd în timp ce vizionați videoclipul.

Într-un laborator staționar de utilizare, acest lucru se realizează prin amestecarea video de la cameră cu fluxul video de pe placa video a computerului. Dezavantajele majore ale acestei soluții sunt costul ridicat și calitatea scăzută a imaginii înregistrate pe ecran (numărul de pixeli de pe ecran este de câteva ori mai mare decât ceea ce poate fi înregistrat pe un magnetofon). În plus, astfel de înregistrări sunt incomod pentru a lucra.

De asemenea, puteți sincroniza manual înregistrarea prin înregistrarea simultană a fluxurilor de pe cameră și de pe ecranul computerului dvs. Dar, în acest caz, după fiecare test va trebui să petreceți ceva timp muncii plictisitoare de a amesteca două fișiere video diferite.

Anterior, era disponibilă doar o soluție stupidă, deși viabilă (o modalitate nouă, mai bună, este descrisă mai jos). Înainte de testare:

1. Dezactivați accelerarea grafică în Windows (în Panouri de control Selectați Ecran, pe fila Opțiuni faceți clic pe butonul În plus, în fereastra care se deschide, pe fila Diagnosticare mutați glisorul Accelerarea hardwareîn partea stângă). După test, accelerația poate fi activată din nou.
2. Rulați orice program care poate afișa videoclipuri care provin de la cameră. Astfel de programe sunt atașate camerelor web; în plus, programele pentru chat video sunt potrivite.
3. Plasați o fereastră cu imaginea care vine de la cameră în marginea din dreapta jos a ecranului (unde distrage cel mai puțin atenția respondentului) și poziționați fereastra sistemului testat astfel încât să nu ascundă imaginile. Fereastra cu videoclipul ar trebui acoperită cu o bucată de hârtie (mulțumesc lui Dmitry Satin pentru idee).
4. Cereți respondentului să nu redimensioneze fereastra sistemului testat.
5. Activați înregistrarea pe tot ecranul.

Acest lucru asigură că întregul conținut al ecranului este înregistrat în timpul testului, incluzând atât acțiunile respondentului, cât și imaginea camerei a respondentului.

Vizualizare ecran atunci când înregistrați expresiile faciale în acest fel.

Plus: A treia versiune a TechSmith Camtasia Studio a introdus un mod „picture-in-picture” (un flux de la camera video este introdus în colțul înregistrării video cu conținutul ecranului), așa că acum totul a devenit mult mai simplu.

Singura problemă cu înregistrarea expresiilor faciale a unui respondent este că, dacă mergi singur la respondenți, nimeni nu poate garanta că nu vor fi niște lucruri urâte pe fundalul videoclipului — respondenților le place adesea să se întâlnească cu specialiști în utilizare, care sunt pur și simplu în infestările de ploșnițe.

Test testat

În cele din urmă, trebuie să verificăm testul în sine. Trebuie să vă asigurați că:

1. echipamentul este operațional
2. știi să o tratezi ca pe un tânăr semizeu
3. toate setările implicite sunt corecte
4. Aveți suficiente benzi goale sau spațiu pe disc?
5. toate documentele necesare sunt tipărite și verificate pentru relevanță și erori
6. sarcinile de testare conțin toate informațiile necesare și nu necesită explicații suplimentare
7. nu există indicii ascunse în sarcinile de testare
8. știți cum să aduceți rapid sistemul testat la starea inițială, astfel încât respondenții ulterioare să nu vadă modificările făcute de participanții anteriori
9. ideea dvs. despre ceea ce constituie performanța corectă a sarcinii este adevărată
10. testul pe un respondent poate fi efectuat într-un timp rezonabil (nu mai mult de o oră și jumătate).

După cum puteți vedea, există atât de multe puncte în care pot fi făcute greșeli, încât verificarea lor în sine va deveni o sursă de erori (sarcinile complexe sunt dificil de finalizat fără erori). În consecință, este necesară o metodă de verificare fiabilă. Această metodă testează testul în sine, adică executarea testului pe cineva care nu te deranjează și care este ușor de prins (de exemplu, un coleg de muncă). Dacă testul arată cel puțin o eroare în pregătirea testului, corectați-o și repetați rularea din nou.

Vă rugăm să rețineți, totuși, că o rulare de testare nu înlocuiește necesitatea de a testa singur testul, deoarece unele aspecte nu pot fi testate printr-o rulare de testare.

Testare

Deci, testul este gata și puteți începe. Procedura este simplă. După ce a pornit înregistrarea și l-a așezat pe respondent la computer:

1. introduceți respondentul în sarcină
2. afla de la el asteptarile lui de la sistem
3. testați interfața
4. afla in ce masura au fost indeplinite asteptarile respondentului
5. finaliza testul.

Acești pași sunt descriși în detaliu mai jos.

Introducere în problemă

Introducerea respondentului în sarcină constă în explicarea secvenţială a acestuia a regulilor de testare. Toate aceste explicații sunt extrem de importante; dacă omiteți chiar și un punct, rezultatele vor fi distorsionate.

• Explicați respondentului ce este testarea de utilizare și de ce este necesară.
• Explicați respondentului (este permis să minți aici) că el și numai el este necesar să efectueze testarea — fiind simțit nevoia, respondentul se va bucura.
• Menționați că nu ați dezvoltat interfața (puteți și ar trebui să minți), astfel încât să nu fiți jignit dacă respondentul critică interfața.
• Înainte de testare, asigurați-vă că opriți telefonul mobil și cereți respondentului să facă același lucru.
• Explicați respondentului că nu îl testați pe el, ci sistemul. Avertizați că toate problemele lui sunt de fapt probleme ale sistemului și că dacă greșește nimeni nu îl va învinovăți, dimpotrivă, veți ști că problema nu este la el, ci la sistem.
• Cere-ți scuze că trebuie să-i înregistrezi acțiunile. Asigurați-l pe respondent că datele colectate vor rămâne la dvs. și veți transfera rezultatele testului către client, anonimizându-le în prealabil. Dacă înregistrați conținutul ecranului, solicitați suplimentar respondentului să nu-și introducă numele de familie pe formularele de ecran (astfel încât acesta să nu fie văzut de clientul căruia îi oferiți înregistrarea video).
• Explicați respondentului că poate alege să nu continue testul în orice moment și că, dacă va face acest lucru, va fi în continuare plătit. Explicați că respondentul poate cere oricând întreruperea testului pentru a se odihni.
• În cele din urmă, explicați respondentului că este inutil să puneți întrebări despre interfață, dar puteți și ar trebui să fiți întrebat dacă vreo sarcină nu este clară pentru respondent.

Memorează o listă cu ce să spui înainte de test. Acest lucru afectează și rezultatele.

Identificarea așteptărilor de la sistem

Indiferent de tipul și scopul testului, atunci când se testează o nouă interfață, este util să se determine cât de bine corespunde așteptărilor utilizatorilor. Dacă așteptările sunt îndeplinite, implementarea și sprijinul inițial vor fi mult facilitate; dacă așteptările sunt dezamăgite, sistemul va provoca imediat respingere.

Stabilirea așteptărilor ar trebui, în general, să se facă înainte de proiectarea interfeței — dar, din păcate, în stadiile inițiale de lucru acest lucru este extrem de dificil și necesită, în plus, un talent extraordinar de a asculta și de a pune întrebările potrivite. Cu toate acestea, în etapele în care există deja ceva de testat, de exemplu la testarea prototipurilor, identificarea așteptărilor utilizatorilor este ușoară, așa că ar fi o prostie să nu profităm de această oportunitate.

Procedura de identificare a așteptărilor constă în două etape:

1. Înainte de a efectua testul, respondentul ar trebui să fie întrebat ce așteptări de la sistem. Trebuie să ascultați respondentul cu o privire atentă și tot ceea ce spune poate fi uitat în siguranță, deoarece toate cuvintele sale nu sunt altceva decât fantezii. Trebuie să întrebi nu pentru a afla ceva, ci pentru a pregăti respondentul pentru a doua etapă.
2. După test, respondentul ar trebui să fie întrebat cum interfața afișată corespunde așteptărilor sale. Aici se poate avea deja încredere în respondent: în primul rând, el este pregătit de răspunsurile sale anterioare, iar în al doilea rând, interfața care i se arată îl poate încuraja să formuleze cerințe de care nu le cunoștea anterior.

Testare

Când testați, ar trebui să urmați aceste șase „niciodată”:

• Nu vă cereți niciodată scuze pentru imperfecțiunea sistemului testat.
• Nu spune niciodată: „O reparăm mai târziu”.
• Nu da vina pe nimeni pentru faptul că interfața este proastă („Dezvoltatorii, desigur, sunt idioți și au creat ceva absurd, dar îl vom remedia chiar acum”).
• Nu numi niciodată procesul de testare „testare utilizator” - respondentul va crede că îl testează și se va teme. Este ideal dacă numiți întotdeauna procedura „testare de utilizare a interfeței” sau pur și simplu „testare a interfeței”.
• Nu întrerupeți niciodată un respondent. Chiar dacă spune ceva irelevant, lasă-l să vorbească complet și abia apoi pune-ți întrebările.
• Nu modelați niciodată comportamentul respondentului. Unii oameni se adaptează la așteptările experimentatorului, de exemplu, simțind că doriți să găsiți mai multe erori în interfață, vor greși în mod constant ei înșiși, chiar dacă interfața nu are condițiile prealabile pentru aceasta. Pentru a evita acest rezultat, toate cuvintele tale ar trebui să fie absolut neutre. Două metode simple ajută la obținerea neutralității. În primul rând, nu ar trebui să puneți întrebări cu o singură opțiune de răspuns. În loc să întrebați respondentul cât de simplu i s-a părut sistemul (aceasta este în mod clar o întrebare principală, deoarece poate fi pusă diferit cu o atitudine diferită față de subiect - „cât de complex ați găsit sistemul?”), este mai bine să întrebați dacă interfața sistemului este simplă sau complexă. În al doilea rând, respondenții vă pun adesea întrebări ei înșiși, încercând să evite să fie nevoiți să ia singuri o decizie. Este ușor să răspunzi la astfel de întrebări, dar răspunsurile, datorită spontaneității lor, vor fi sugestive. În astfel de cazuri, cel mai bun răspuns este o întrebare contrară. Mă descurc? -Ce crezi? Am finalizat sarcina corect? -Ce crezi? Și tot așa până când respondentul se liniștește. Nepoliticos, dar eficient.

În plus, există câteva reguli care nu sunt atât de categorice:

• Dacă în timpul testului monitorizați orice proprietate a interfeței, de exemplu, numărarea erorilor respondenților, nu trebuie să monitorizați mai mult de un indicator. De exemplu, dacă numărați erorile, nu ar trebui să numărați timpul de execuție al operațiunilor - probabilitatea propriei erori crește prea mult. După părerea mea, în timpul testului puteți scrie doar ipotezele dvs. despre potențialele îmbunătățiri ale interfeței — i.e. ceea ce vezi imediat. Este mai bine să calculați indicatorii de interfață folosind înregistrări video.
• Chiar și cu intervenția activă, încercați să nu adresați respondentului întrebări care nu au legătură directă cu funcționarea lor curentă. Este mai bine să-i întrebați după test.
• Dacă este posibil, așezați-vă la dreapta în spatele respondentului — pentru ca acesta să vă poată vedea fața întorcându-și ușor capul. Prezența ta este împovărătoare pentru respondent, dar în această poziție va fi cel puțin mai puțin stresat.
• În timpul unui test, adesea nu puteți vedea probleme cu interfața în ansamblu. De exemplu, observați o eroare de utilizator. Dar ce explică? Este aceasta o anomalie cauzată de faptul că utilizatorul este mai puțin pregătit decât alții? Ești sigur că toată lumea repetă această greșeală? Din acest motiv, este necesar să se înregistreze cât mai multe observații. Pe unele le vei arunca mai târziu, dar este mai bine decât să ratezi problema.

• Viteza de lucru.Între sarcini, mutați cronometrul într-un nou cerc. Dacă respondentul devine distras din orice motiv, întrerupeți cronometrul.
• Erori. Pe o bucată de hârtie, marcați o linie pentru fiecare eroare umană. Este convenabil să puneți linii mici pentru erori mici și lungi pentru erori mari. După test, numărați doar numărul de linii. Dacă numărați separat erorile de diferite tipuri (de exemplu, doar erori și elemente de meniu selectate incorect separat), este mai bine să utilizați coduri diferite, de exemplu, aceleași liniuțe pentru erori simple și literele M pentru erori legate de meniu.
• Probleme pe care le vedeți imediat. Scrieți pe scurt pe o foaie de hârtie natura problemei și ora curentă (în primul rând timpul!). Dacă știți exact când a apărut problema, vă va fi mai ușor să găsiți partea relevantă a videoclipului.
• Reacțiile emoționale ale respondentului. Pune un semn plus pentru reacțiile pozitive și un semn minus pentru cele negative. Reacțiile care apar în timpul finalizării sarcinilor de testare nu sunt luate în considerare.

Finalizarea testului

După terminarea testului:

• Puneți respondentului întrebările acumulate.
• Rugați respondentul să completeze chestionarele dacă efectuați un sondaj.
• Întrebați respondentul dacă i-a plăcut interfața; Indiferent de răspuns, cere clarificări despre ce anume ți-a plăcut și ce nu ți-a plăcut.
• Plătește intimatul.
• Mulțumește-i pentru participarea la test. Asigurați-l pe respondent că a făcut o treabă grozavă și că datorită lui ați reușit să identificați multe probleme de interfață (faceți acest lucru chiar dacă respondentul s-a dovedit a fi un tip introvertit, neplăcut, al cărui test nu a scos la iveală nimic nou).
• Dacă respondentul este deosebit de bun, întreabă-l dacă îl poți contacta în viitor pentru noi sarcini de testare. Un respondent cu experiență de testare este întotdeauna mai bun decât unul fără experiență.

Testare pe prototipuri

O atenție deosebită trebuie acordată testării pe prototipuri. Când testați pe prototipuri, aveți două opțiuni:

• Vă puteți limita la un test folosind metoda intervenției active, pierzând posibilitatea de a obține orice date cantitative. Pentru aceasta nu aveți nevoie de niciun prototip special, deoarece aveți întotdeauna posibilitatea de a explica respondentului sensul informațiilor de proprietate și motivele lacunelor din prototip.
• Pe lângă cele obișnuite, puteți crea un prototip de testare și puteți obține câteva date cantitative, pierzând o mulțime de resurse cheltuite pentru prototipul de testare.

Un prototip de testare se referă la tipul de prototip în care respondentul poate efectua sarcini de testare. De exemplu, dacă prototipul constă dintr-o secvență de imagini pe ecran:

• Într-un prototip tipic, fiecare imagine de ecran va prezenta toate fragmentele posibile ale interfeței în diferite circumstanțe; În loc de date reale, datele generalizate vor fi afișate cu note despre volumul lor maxim și minim posibil.
• În prototipul de testare va fi prezentată aceeași interfață așa cum este afișată în orice moment în timpul executării sarcinilor de testare: dacă datele sunt editate pe orice ecran pentru o sarcină de testare, în prototip va trebui să desenați ambele versiuni ale acestui ecran , și, eventual, mai mult (starea înainte, în timpul și după editare).

Crearea unui prototip de testare necesită întotdeauna forță de muncă. Este bine că ecranele într-un astfel de prototip trebuie desenate de mai multe ori. Mai rău este că nu vă veți putea limita la a crea doar un prototip de testare, așa că va trebui să faceți atât prototipuri obișnuite, cât și prototipuri de testare. Și dacă testați iterativ, va trebui să faceți și corecții la ambele prototipuri simultan.

Pentru a fi corect, trebuie spus că uneori mai trebuie să creați prototipuri de testare. De exemplu, dacă interacțiunea pe un anumit ecran este prea complexă și variabilă, clientul nu va putea să o înțeleagă (ți va fi dificil să faci asta singur). Singura cale de ieșire într-o astfel de situație ar fi să desenați acest ecran în toate stările posibile cu toate opțiunile de interacțiune posibile, de exemplu. creați același prototip de testare.

Astfel, utilizarea prototipurilor de testare nefuncționale este controlată, dar totuși un coșmar (de fapt, acesta este principalul argument în favoarea creării de prototipuri funcționale care sunt inițial prototipuri de testare). Ai nevoie de acest coșmar? Decideți singur.

Analiza rezultatelor

În sfârșit, este timpul să analizăm rezultatele testului. Trei lucruri sunt importante aici:

• când să începeți analiza
• cum să analizăm acțiunile respondentului
• ce se poate desprinde din datele cantitative.

O întrebare specială este când să începeți optimizarea interfeței.

Când să începeți analiza

Puteți analiza rezultatele atât în ​​timpul testului, cât și după acesta. Analiza în timpul testării are avantaje și dezavantaje. Avantajele includ faptul că:

• Vă permite să economisiți timp la etapa de analiză, deoarece o parte din analiză se face într-o etapă anterioară.
• Oferă cea mai directă impresie a testului (gestalt), care vă permite să vedeți probleme care nu pot fi observate în niciun alt mod.

Există și dezavantaje:

• Nu vă permite să înregistrați mai mult de un indicator ergonomic simultan și chiar și atunci, în practică, puteți măsura doar viteza muncii utilizatorului și numărul de erori umane (deși aceștia sunt cei mai populari indicatori).
• Posibil numai cu experiență semnificativă a unui specialist în utilizare.
• Este imposibil dacă testul este efectuat de un specialist, iar analiza este făcută de altul (pe de altă parte, această altă persoană va beneficia cu siguranță de observațiile celui care a efectuat testul).

Analiza post-test nu are aceste avantaje și dezavantaje. Vă permite să analizați cu atenție și atent materialul, indiferent de numărul și natura indicatorilor măsurați. În plus, se adaptează cu ușurință la oricât de mulți interpreți doriți.

Astfel, strategia optimă pare să fie începerea analizei în timpul testului. În unele cazuri, această analiză poate fi limitată. Dacă acest lucru se dovedește a fi imposibil, puteți oricând să analizați protocoalele de testare video.

Analiza acțiunilor respondenților

Aproape toate testele de utilizare au ca scop găsirea și identificarea problemelor. Dar cum putem vedea problema în acțiunile respondenților?

Erori

Nu orice greșeală a respondentului se explică prin probleme de interfață; de exemplu, respondentul ar fi putut manifesta neatenție de bază. Cu toate acestea, orice eroare necesită luare în considerare:

• Dacă eroarea este critică, de ex. respondentul a făcut o greșeală din cauza unei neînțelegeri a structurii interfeței și eroarea a dus la alte erori (de exemplu, un vizitator al site-ului a mers într-o secțiune inutilă și s-a pierdut acolo), fragmentul corespunzător trebuie refăcut: trebuie făcute pași pentru eliminați ambiguitatea, adăugați indicii etc.
• Dacă eroarea este necritică, de ex. respondentul l-a observat imediat și l-a corectat el însuși, trebuie să decideți dacă îl corectați sau îl lăsați nesupravegheat. Merită să remediați o problemă dacă simțiți că înțelegeți de ce a apărut eroarea (doar experiența vă va ajuta aici). Dacă nu simți, lasă interfața așa cum este. Desigur, dacă problema se întâmplă din nou, eroarea va trebui corectată — dar veți avea mai multe informații despre ea, astfel încât va fi mai ușor de remediat.
• Poate că eroarea se datorează imperfecțiunii sarcinii de testare. Asigurați-vă că nu este cazul —  cereți respondentului să-și spună din nou sarcina cu propriile sale cuvinte, iar dacă a greșit, atunci a înțeles greșit sarcina și sarcina trebuie refăcută urgent, dar greșeala poate fi ignorat.

Încetinirea locurilor de muncă

Dacă respondentul se oprește fără un motiv aparent, înseamnă că încearcă să înțeleagă ce trebuie să facă în continuare. Interfața probabil nu este suficient de explicită sau lipsită de ambiguitate. Problema trebuie rezolvată.

Puteți vedea încetinirea nu numai prin încetinirea în sine; nu este întotdeauna vizibilă în mod clar, ci și prin mișcările aleatorii însoțitoare ale cursorului mouse-ului (mulți oameni, după ce au pierdut firul acțiunii, mută automat cursorul).

) există o etapă de evaluare a designului, în această etapă pot fi efectuate teste de utilizare de înaltă calitate.

Am fost forțat să scriu acest articol din cauza problemelor apărute când făceam teste de utilizare. Sper că pot ajuta pe cineva să stabilească cu mai multă precizie când să folosească testarea de utilizare și cum să evite unele dintre probleme atunci când o efectuează.

Reproiectarea site-ului

Când merită să faceți teste de utilizare și ce o precede?

În cazul unui site web deja dezvoltat, problema efectuării testelor de utilizare apare atunci când simțiți sau descoperiți că ceva nu este în regulă cu site-ul. În orice caz, trebuie să instalați Google Analytics (carte: Google Analytics. Analiza profesională a traficului site-ului) sau un alt serviciu de analiză a vizitelor pe site. Nu voi vorbi despre de ce ar trebui instalat un astfel de serviciu, deoarece subiectul a fost epuizat de mult și doar leneșii nu ar recomanda instalarea unor astfel de servicii. După instalarea Google Analytics, aveți deja date specifice despre statisticile vizitelor, punctele de intrare și ieșire ale vizitatorilor site-ului și alte informații.

Următorul pas ar trebui să fie definirea KPI-urilor (Wikipedia: Key Performance Indicators - key performance indicators). Este necesar să se analizeze ceea ce este important pentru afacere și să se determine obiectivele pe care site-urile trebuie să le atingă.

Exemplu: pentru unii pot fi comenzi de marfa, pentru altii pot fi solicitari prin formularul de feedback cu orice intrebari etc.

Dacă până în acest moment recomandările erau obligatorii, adică în orice caz, acești pași vor ajuta la dezvoltarea și promovarea site-ului, atunci vin recomandări ulterioare dacă înțelegeți cu adevărat că site-ul nu este eficient.

Al treilea pas este identificarea directă a paginilor și funcțiilor cu probleme. Efectuarea simplă a testării de utilizare este ineficientă; trebuie să înțelegeți unde apar problemele, pe ce pagină, cu ce funcție și apoi să efectuați teste pentru a determina exact ce este greșit pe pagină și cum să o rezolvați. Google Analytics vă va ajuta din nou, aici puteți determina ce pagini părăsesc utilizatorii, ce pagini sunt ignorate și ce funcții nu sunt utilizate.

Pregătirea pentru testarea de utilizare

Deci, la acest moment s-a stabilit deja că site-ul necesită reproiectare; am găsit pagini și funcții cu care utilizatorii au probleme. Tot ce rămâne este să înțelegem de ce utilizatorii au probleme și cum să le rezolvi.

Al patrulea pas ar trebui să fie formarea de ipoteze despre ce este în neregulă cu pagina, iar pe baza acestuia este necesar să se determine metrici (Wikipedia: ISO 9126 - Software Product Evaluation) prin care vor fi testate funcțiile (există un expert). metoda de evaluare in care expertul propune ipoteze pentru imbunatatirea interfetei site-ului si, pe baza acestora, site-ul este reproiectat, cu toate acestea, se poate verifica daca aceasta ipoteza este cu adevarat adevarata doar dupa implementarea modificarilor, ceea ce presupune un cost ridicat de eroare).

Exemplu: utilizând Google Analytics, am stabilit că utilizatorii accesează pagina de înregistrare, dar nu o completează. Este posibil ca utilizatorii să nu poată afla ce informații să introducă în câmpuri sau să nu știe ce să facă în continuare după completarea câmpurilor. Aceasta înseamnă că trebuie să testăm această pagină pe baza măsurătorilor de înțelegere a mesajelor de sistem și a consistenței operaționale.

După stabilirea metricilor prin care vom testa zonele cu probleme de pe site, este necesar să se determine caracterul și scenariul de lucru (carte: Alan Cooper on the Interface. Fundamentals of Interaction Design) conform căruia se va efectua testarea de uzabilitate. Acest pas este necesar pentru a atrage respondenții potriviți și pentru a selecta o sarcină pentru testarea gradului de utilizare. Dacă ratați acest punct, atunci un respondent care nu este utilizatorul țintă poate naviga cu succes prin zona cu probleme, dar utilizatorul care utilizează de fapt pagina va avea probleme foarte mari. Rezultatul va fi o reproiectare a interfeței fără a lua în considerare datele, dar problema va rămâne. Definirea precisă a scenariului va ajuta să îi ofere respondentului sarcina potrivită. Adică, dacă sarcina este de a cumpăra un telefon mobil, iar respondentul nu se înregistrează deloc (și testăm înregistrarea în mod special), atunci testarea de utilizare este inutilă.

Notă: selectați scenariul astfel încât să fie testate cât mai multe zone cu probleme.

Urmează selecția respondenților în funcție de personajul selectat. Cu cât respondentul se potrivește mai mult cu portretul personajului, cu atât mai bine. Un număr suficient de respondenți este de 5-8 persoane. În alegerea cantității, mă bazez pe recomandarea lui Jakob Nielsen și pe propria mea experiență.

Imediat înainte de testarea de utilizare în sine, solicitați respondentului să completeze un chestionar pentru a verifica dacă personajul selectat și respondentul corespund caracteristicilor cerute. Efectuați un briefing introductiv, în timpul căruia descrieți contextul utilizării site-ului și sarcina (cărți: Web Design: cartea lui Steve Krug sau „Don’t Make Me Think!”).

Exemplu de sarcină: în căutarea unui nou telefon mobil, ați ajuns pe acest site printr-un motor de căutare. Găsiți telefonul de care aveți nevoie (de asemenea, cereți respondentului să descrie telefonul pe care l-ar căuta).

Efectuarea testării de utilizare în sine (program: Usability Studio) nu este o sarcină atât de dificilă pe cât pare. Ai nevoie de un laptop cu o cameră și mai multe programe pentru a capta mișcările utilizatorilor și a înregistra activitatea pe ecran. Cereți respondentului să comenteze toate acțiunile și emoțiile sale. După cum arată practica, el va face oricum acest lucru (și acest lucru nu este surprinzător, deoarece chiar și acasă, utilizatorilor le place adesea să mustre sau, dimpotrivă, să îngrijească diverse forme și alte elemente de pe site-uri).

După finalizarea testului, intervievați respondentul despre impresiile sale, ce dificultăți a întâmpinat și ce i s-a părut incomod. Nu recomand să folosiți datele sondajului ca lege pentru a schimba ceva ce nu-i place. Trebuie să asculți utilizatorii, dar să fii foarte neîncrezător în opiniile lor subiective. Este mai bine dacă, pe baza rezultatelor sondajului, apare o ipoteză cu privire la necesitatea schimbării interfețelor, a adăuga un alt element la lista zonelor cu probleme și a-l testa în următoarea iterație.

Prelucrarea datelor de testare a gradului de utilizare

În continuare, trebuie să vizualizați materialele video colectate, să analizați rezultatele testării de utilizare și să determinați cerințele pentru interfața pentru reproiectare (carte: Web design. Ușurința de utilizare a site-urilor Web). Modificările care vor fi făcute pe baza anumitor cerințe ar trebui verificate în timpul următoarelor teste de utilizare. Numărul de astfel de iterații ar trebui să depindă în mare măsură de obiectivele și bugetul alocat pentru reproiectarea site-ului.

Exemple: adăugați sfaturi în formularul de înregistrare, evidențiați butonul de achiziție, adăugați câmpul „platformă” la formular pentru selectarea unui telefon după parametri etc.

Proiectare de site-uri

Dacă proiectarea a fost realizată conform standardului ISO 9241-210, atunci efectuarea testelor de utilizare nu ar trebui să fie un proces costisitor și consumator de timp datorită bazei analitice pregătite. Principalele etape ale testării de utilizare atunci când proiectați un site web de la zero rămân aceleași cu cele descrise mai sus, cu excepția unor aspecte:

1. Formarea de ipoteze
2. Definirea valorilor pentru testare
3. Definirea personajelor și scenariilor
4. Selectarea respondenților
5. Completarea formularului
6. Instructaj de debut
7. Efectuarea testelor de utilizare
8. Sondajul respondenților
9. Analiza rezultatelor
10. Determinarea cerințelor pentru proiectarea site-ului

Principala problemă pe care am întâlnit-o cu testarea de utilizare în acest caz a fost testarea unui design static, mai degrabă decât a unui site web cu drepturi depline. În realitate, este mai bine să testați un site web proiectat și chiar programat, dar costul iterației designului va fi mare. Cu cât se găsește mai devreme o problemă în interfață, cu atât costul remedierii acesteia este mai mic. Cum se efectuează testarea completă de utilizare a unei imagini statice? Soluția la această problemă a fost programul Axure. Cea mai ieftină și de succes modalitate a fost plasarea artificială a link-urilor pe o imagine statică a designului site-ului și generarea acesteia în pagina HTML. Această metodă face posibilă testarea site-ului fără a cheltui resurse chiar și pentru aspect. Desigur, paginile generate nu au aproape nicio funcționalitate, se afișează doar într-o anumită formă, dar acest lucru este suficient pentru a identifica un număr mai mare de probleme.

Nu iau în considerare opțiunea testării cantitative de utilizare, deoarece ne permite să determinăm ergonomia generală a interfeței, dar nu ne permite să stabilim ce probleme apar, de ce și cum să le remediam.

P.S. Aștept cu nerăbdare critici constructive cu privire la soluția propusă pentru testarea de înaltă calitate a utilizării designului, deoarece nu am văzut niciodată o astfel de soluție nicăieri. Dacă aveți sugestii despre cum să efectuați teste de utilizare de înaltă calitate, ieftin și vesel, voi fi bucuros să o citesc.

Se efectuează pentru a găsi zone cu probleme pe un site web sau produs. Scopul său principal este de a face ulterior modificări site-ului și de a prezenta noi ipoteze pentru testarea A/B.

Ai nevoie să crești conversiile pe site-ul tău? Lansați un site web sau un produs nou și aveți nevoie de feedback de la clienții potențiali? Atunci acest articol este pentru tine. Astăzi vom vorbi despre ce etape constă procesul de testare și despre cum să-l desfășurăm corect.

6 pași de testare a gradului de utilizare

Pasul 1: Identificați obiectivele cheie ale cercetării

Calitatea și rezultatul final al testării de utilizare vor depinde de cât de corect și de exact vă formulați obiectivele cercetării. Nu ar trebui să examinați totul deodată într-un singur test. Vă recomandăm să alegeți un obiectiv pentru fiecare test; acest lucru vă va ajuta să creați corect sarcini pentru utilizatori și să obțineți mai multe date pentru analiză.

Exemplu prost:

• Scopul studiului este de a identifica toate problemele site-ului.

Bun exemplu:

• Scopul studiului este de a afla cât de ușor este pentru un utilizator să găsească produsul potrivit și să plaseze o comandă.

Pasul 2. Selectați publicul țintă

Trebuie să efectuați teste de utilizare pe oameni reali care sunt cât mai aproape de publicul țintă. Mai mult, trebuie să vă folosească site-ul pentru prima dată (sau să testeze o nouă actualizare pentru prima dată). Dacă o persoană a învățat deja cum să folosească site-ul, va întâmpina mult mai puține dificultăți decât un nou cumpărător și va găsi mai puține erori și probleme.

Unde să cauți testeri?

Dacă aveți o companie B2C și vindeți bunuri sau servicii unui public larg (încălțăminte, bunuri de uz casnic etc.), vă recomandăm să utilizați serviciul nostru de testare a gradului de utilizare online. Punct utilizator. ru, unde există o bază de date mare de testeri, printre care vă puteți selecta publicul țintă în funcție de vârstă, sex și orice alți parametri:

Desigur, dacă aveți o audiență foarte restrânsă (de exemplu, dacă aveți un magazin online pentru tăietorii de lemne Chukotka), atunci trebuie să organizați un focus grup în mod demodat, să organizați singur procesul de testare, într-o cameră convenabilă, sau utilizați serviciile agențiilor. Desigur, testarea tradițională este mult mai costisitoare și va dura de zeci de ori mai mult.

Câți utilizatori trebuie să implicați pentru testare?

Acesta este un subiect vechi de dezbatere în cercurile științifice. Conform cercetărilor efectuate de Jakob Nielsen și Thomas Landauer, 5 utilizatori găsesc 85% dintre problemele de utilizare, 15 utilizatori găsesc 100% dintre probleme. Figura prezintă un model matematic pentru găsirea problemelor de utilizare, prezentat de Nielsen.

Cercetări mai recente și mai solide arată necesitatea de a implica mai mulți participanți. Dr. Gitte Lindgaart de la Universitatea Carleton a demonstrat că procentul de probleme găsite depinde mai mult de calitatea sarcinilor scrise pentru testare decât de eșantion. Grupuri de 5-6 utilizatori în studiile ei găsesc 30-50% dintre problemele de utilizare cu abordări diferite pentru formularea problemelor. Puteți face cunoștință cu cronologia cercetărilor și a controverselor urmând linkul - Istoria numărului magic 5 în testarea de utilizare.

Vă recomandăm să efectuați teste de utilizare folosind ambele minim 10 persoane, și trebuie să rețineți că un indicator la fel de important pe lângă eșantion este calitatea sarcinilor și întrebărilor puse.

Dacă intenționați să rulați mai multe iterații în timpul procesului de dezvoltare a site-ului, va trebui să recrutați un grup nou pentru fiecare test. Acest lucru este important atunci când vă calculați bugetul.

Pasul 3: Creați un scenariu și sarcini

Un scenariu este calea pe care utilizatorul o parcurge de la început până la sfârșit pentru a atinge scopul cercetării. La fiecare pas al scenariului, trebuie să creați sarcini în timpul cărora oamenii vor gândi cu voce tare în timp ce interacționează cu site-ul sau produsul dvs.

După cum am spus deja, nu ar trebui să examinați totul deodată într-un singur test. Opțiunea ideală este să efectuați propria cercetare pentru fiecare obiectiv, creând un scenariu specific cu un set de sarcini pentru acesta. Rețineți că pentru testarea de înaltă calitate, 15-20 de minute este timpul optim pentru ca un utilizator să finalizeze un script. De asemenea, nu recomandăm să faceți mai mult de 4-5 sarcini într-un singur scenariu.

Utilizați diferite tipuri de sarcini în scenarii

Lat sarcinile sunt utile pentru studierea gradului de utilizare și a conținutului unui site, pentru observarea comportamentului natural al utilizatorului.

Exemple de sarcini generale:

• Găsiți o geantă care vă place.
• Găsiți hotelul potrivit pentru vacanța dumneavoastră în Soci luna viitoare. Impartaseste-ti gandurile.

Specific Sarcinile vă vor ajuta să identificați instrumentele cu care utilizatorii întâmpină probleme și dificultăți.

Exemple de sarcini specifice:

• Găsiți o pungă roșie pentru până la 10 mii de ruble.
• Când plasați o comandă pentru un cadou, indicați că doriți să-l ridicați de la punctul de colectare cel mai apropiat de dvs. Consultați pagina de rezultate. Sortați articolele după cele mai bune recenzii.

Nu faceți probleme complexe complexe

Exemplu prost:

• Adăugați articol în coș. Acum selectați un alt produs și adăugați-l și pe acesta. Apoi creșteți cantitatea primului articol din coș. Acum plasați comanda și selectați livrarea.

Mai bine faceți 4 sarcini diferite:

• Adăugați articol în coș.
• Găsiți alt produs și adăugați-l în coș.
• Măriți cantitatea primului articol din coș.
• Plasați o comandă pentru livrare.

Stabiliți obiective pentru comparare cu concurenții

Desigur, prețul și condițiile de livrare sunt cei mai importanți factori în alegerea unui magazin. Dar sunteți sigur că clientul a cumpărat produsul de la un concurent pentru că costă cu 1% mai puțin? Poate că site-ul dvs. este pur și simplu mai puțin de încredere? Sau poate lipsește chatul online? Sau este o chestiune de conditii de livrare? Dacă bănuiți că motivul sunt tocmai condițiile de livrare, puteți face sarcina „comparați termenii de livrare și plată cu concurentul X” sau chiar „cu concurenții din primele 3 rezultate ale căutării Yandex”. Pot exista multe motive pentru a alege o companie, iar testarea utilizabilității este o oportunitate excelentă de a afla de ce clienții aleg să cumpere produse de pe site-urile concurenților tăi.

Pune întrebările potrivite problemelor

Sarcinile de testare a gradului de utilizare sunt necesare pentru a vedea acțiunile întreprinse de testeri, iar întrebările la sarcini sunt necesare pentru a colecta feedback. În funcție de tipul de întrebare (întrebare simplă, întrebare cu răspunsuri multiple, scară de evaluare, feedback), puteți obține rezultate diferite. Pentru fiecare sarcină, trebuie să puneți întrebările potrivite pentru a colecta date cât mai complet posibil pentru analize calitative și ipoteze ulterioare.

Exemplu de sarcină:

• Alegeți un cadou pentru un prieten în intervalul de prețuri de la 5 la 10 mii de ruble pe site-urile web xxx.ru și yyy.ru.

Exemplu de întrebare:

• Ce site web este mai convenabil pentru a utiliza filtre de produse?

Foarte curând vom avea un nou articol despre cum să creați corect un scenariu, sarcini și întrebări pentru ei. Abonați-vă la actualizările blogului și nu ratați informații utile.

Pasul 4: Testează-ți testul

Desigur, este aproape imposibil să creezi un scenariu perfect prima dată, așa că rulează testarea pilot pentru 1-2 utilizatori. Acest lucru vă va permite să detectați și să eliminați majoritatea deficiențelor în pregătirea sarcinilor și întrebărilor.

Scopul principal este să vă asigurați că testerii vă înțeleg corect sarcinile și întrebările și că nu îi fac să ezite sau să pună întrebări suplimentare.

Puteți face următoarele:

• Cereți pe cineva cunoscut să testeze (care nu este foarte familiarizat cu proiectul dvs.).
• Vedeți cum se ocupă persoana cu fiecare sarcină și problemă și luați notă de orice dificultăți pe care le are.
• Faceți modificări sarcinilor și testați cu alt utilizator.

Testarea de utilizare vă permite să rulați rapid și ușor un test pe 1-2 utilizatori din publicul țintă. În 1-2 zile vei primi videoclipuri, vei putea edita sarcini și vei lansa un nou test pentru mai mulți utilizatori.

Testarea pilot îmbunătățește calitatea cercetării dvs. și vă economisește mult timp pe termen lung.

Pasul 5: Faceți testul

Dacă lucrați cu UserPoint, atunci întregul proces (furnizarea testerilor cu software-ul necesar, înregistrarea videoclipurilor care înregistrează toate raționamentele persoanei în procesul de finalizare a sarcinilor) se desfășoară automat fără participarea dvs. Prin urmare, nu ne vom opri în detaliu asupra acestui pas.

Dacă decideți să efectuați teste tradiționale, vă recomandăm să vă familiarizați cu materialele unuia dintre pionierii testării tradiționale, Nielsen Norman Group.

Pasul 6. Analizați rezultatele și formulați ipoteze pentruA/ B— testarea

După testare, este necesar să se noteze și să se structureze datele cantitative (numărul de sarcini finalizate cu succes, timpul de testare, numărul de erori și probleme găsite) și calitative (ce probleme și dificultăți specifice au întâmpinat testatorii, comentarii și recomandări de la utilizatori, răspunsuri la întrebările dvs. despre sarcini). Amintiți-vă că scopul final al testării de utilizare este acela de a identifica probleme evidente pentru a face modificări site-ului sau produsului și de a pregăti ipoteze pentru noi teste A/B.

Înregistrați toate problemele

Scrieți în mod precis și concis toate problemele și dificultățile pe care le-au întâmpinat testatorii în timpul îndeplinirii sarcinilor.

Exemple proaste:

• Confuz în privința navigației.
• S-a făcut clic pe linkul greșit.

Bun exemplu:

• În faza de achiziție, am făcut clic pe linkul „Autentificare” în loc de linkul „Plasează o comandă”.

Observați importanța problemelor.

• Critic– Dacă nu este corectat, utilizatorii nu vor putea finaliza sarcina.
• Serios– Majoritatea utilizatorilor vor fi dezamăgiți dacă nu remediam problema.
• Minor– oamenii sunt iritați, dar acest lucru nu îi împiedică să îndeplinească sarcina fără prea multe dificultăți.

Formulați concluzii, faceți corecții, formulați ipoteze pentru următoareleA/ B- testare

Fiecare concluzie ar trebui să se bazeze pe datele obținute și să conțină recomandări cu privire la ce trebuie făcut în continuare. Dacă problema este critică, trebuie să faceți imediat modificări site-ului sau produsului. Pe baza celor mai multe probleme, va trebui să formulați ipoteze pentru a rula teste A/B.

Nu uita că nu vei putea să urmezi toate recomandările testerilor și să faci site-ul sau produsul cât mai convenabil pentru toată lumea fără excepție. Concentrați-vă mai întâi pe cele mai mari probleme care influențează direct conversia pe site-ul dvs.

Uneori întâlnim aplicații de neînțeles, ilogice, multe dintre ale căror funcții și utilizări nu sunt adesea evidente. După o astfel de muncă, rareori există dorința de a utiliza din nou aplicația și căutăm analogi mai convenabil. Pentru ca o aplicație să fie populară, nu este suficient să fie funcțională - trebuie să fie și convenabilă. Dacă vă gândiți bine, aplicațiile intuitive economisesc utilizatorilor bătăi de cap și costurile de formare pentru angajatori. Ceea ce înseamnă că sunt mai competitivi! Prin urmare, testarea de utilizare, care va fi discutată mai jos, este o parte integrantă a testării oricăror produse de masă.

Testare de utilizare este o metodă de testare care vizează stabilirea gradului de utilizare, învățare, înțelegere și atractivitate pentru utilizatori a produsului care se dezvoltă în contextul unor condiții date. [ ISO 9126]

Testarea de utilizare evaluează nivelul de utilizare al unei aplicații pe baza următoarelor puncte:

• productivitate, eficiență (eficienţă) - cât timp și câți pași îi va dura utilizatorului pentru a finaliza sarcinile principale ale aplicației, de exemplu, postarea de știri, înregistrarea, achiziția etc.? ( mai putin este mai bine)
• dreapta (precizie) - câte greșeli a făcut utilizatorul în timp ce lucra cu aplicația? ( mai putin este mai bine)
• activare în memorie (reamintire) – cât de mult își amintește utilizatorul despre aplicație după suspendarea lucrului cu aceasta pentru o perioadă lungă de timp? ( reexecutarea operațiunilor după o pauză ar trebui să fie mai rapidă decât pentru un utilizator nou)
• reacție emoțională (răspuns emoțional) – cum se simte utilizatorul după finalizarea sarcinii - confuz, stresat? Ar recomanda utilizatorul sistemul prietenilor săi? ( reacția pozitivă este mai bună)

Niveluri de conduită

Testarea de uzabilitate poate fi efectuată atât în ​​raport cu produsul finit, prin testarea cutie neagră, cât și cu interfețele de aplicație (API-uri) utilizate în timpul dezvoltării - testarea cutiei albe. În acest caz, se verifică capacitatea de utilizare a obiectelor interne, claselor, metodelor și variabilelor și se ia în considerare și ușurința schimbării, extinderii sistemului și integrării lui cu alte module sau sisteme. Utilizarea interfețelor ușor de utilizat (API) poate îmbunătăți calitatea, poate crește viteza de scriere și menținerea codului dezvoltat și, ca urmare, poate îmbunătăți calitatea produsului în ansamblu.

De aici devine evident că testarea de utilizare poate fi efectuată la diferite niveluri de dezvoltare software: modular, integrare, sistem și acceptare. Mai mult, va depinde în întregime de cine va folosi aplicația la un anumit nivel - dezvoltatorul, utilizatorul de afaceri al sistemului etc.

Pentru a proiecta aplicații ușor de utilizat, este util să urmați principiile „bye-yoke” sau fail-safe. În țara noastră, acest lucru este mai bine cunoscut sub numele de „protecția proștilor”. Un exemplu simplu: dacă un câmp necesită o valoare numerică, este logic să se limiteze intervalul de introducere a utilizatorului doar la numere - vor exista mai puține erori aleatorii.

Pentru a îmbunătăți gradul de utilizare a aplicațiilor existente, puteți utiliza ciclul Plan-Do-Check-Act Demming, colectând feedback cu privire la funcționarea și proiectarea aplicației de la utilizatorii existenți și, în funcție de comentariile acestora, planificarea și implementarea îmbunătățirilor.

Concepții greșite despre testarea utilizabilității

1. Testarea interfeței cu utilizatorul = Testarea utilizării

Testarea utilizabilității nu are nimic de-a face cu testarea funcționalității interfeței cu utilizatorul, se efectuează doar pe interfața cu utilizatorul, precum și pe multe alte componente posibile ale produsului. În acest caz, tipul de testare și cazurile de testare vor fi complet diferite, deoarece vorbim despre ușurința de utilizare a componentelor non-vizuale (dacă există) sau despre procesul de administrare, de exemplu, al unui produs client-server distribuit, etc.

2. Testarea de utilizare se poate face fără participarea unui expert

Nu este întotdeauna posibil ca o persoană care nu înțelege subiectul să o desfășoare în mod independent. Imaginați-vă că un tester trebuie să testeze capacitatea de utilizare a unui bombardier strategic. Va trebui să verifice funcțiile de bază: ușurință în luptă, navigație, pilotaj, întreținere, transport la sol etc. Evident, fără implicarea unui expert, acest lucru va fi foarte problematic și s-ar putea spune chiar imposibil.

Testarea de utilizare este o metodă de evaluare a gradului de utilizare și a eficacității unei interfețe. Reprezentanții publicului țintă al produsului sunt implicați în evaluare și lucrează cu interfața, realizând sarcini special selectate. Pe baza comportamentului respondenților, specialistul în uzabilitate trage concluzii despre prezența problemelor de utilizare în interfață și natura acestora.

De ce este necesară testarea de utilizare?

La fel ca alte metode de auditare a gradului de utilizare, testarea este necesară pentru a înțelege ce împiedică produsul dvs. să fie eficient. Testarea de utilizare vă va ajuta să aflați motivele pentru care:

• magazinul dvs. online are o conversie scăzută;
• utilizatorii dvs. apelează la call center cu întrebări care sunt deja pe site;
• aplicația dvs. mobilă primește recenzii negative în App Store și Google Play;
• angajații care lucrează cu EDMS-ul dvs. îl urăsc și se plâng că lucrul cu acesta este prea dificil;
• și așa mai departe.

Veți avea nevoie și de testare dacă doriți:

• compara două interfețe, de exemplu, veche și nouă, a ta și a unui concurent, pentru a afla care dintre ele este mai bună;
• comparați capacitatea de utilizare a interfeței pentru două grupuri de utilizatori, de exemplu, pentru începători și experimentați;
• să identifice potențialele probleme de utilizare ale unui nou produs înainte de a fi lansat pe piață;
• să evalueze conformitatea produsului cu anumite KPI (de exemplu, „procesul de comandă nu durează mai mult de 5 minute”).

Prin ce este diferită testarea de utilizare de grupurile focus?

Focus grupurile implică întotdeauna mai mulți respondenți care discută simultan un subiect. Prin urmare, vă permit să colectați în mod eficient opiniile respondenților cu privire la un produs, serviciu, marcă sau orice altă problemă. În general, focus grupurile nu sunt folosite pentru a evalua gradul de utilizare, deoarece această metodă oferă puține informații despre dificultățile pe care le întâmpină utilizatorii atunci când lucrează cu interfața.

La testarea de utilizare, respondenții participă unul câte unul, foarte rar câte doi, dar niciodată într-un grup. Fiecare respondent îndeplinește anumite sarcini în interfața serviciului dumneavoastră. Expertul observă comportamentul respondentului și trage concluzii despre cum poate fi îmbunătățit produsul. Rezultatul unei astfel de cercetări este o descriere a problemelor de utilizare și recomandări pentru eliminarea acestora, bazate pe comportament, și nu pe opiniile respondenților.

Ce tipuri de teste de utilizare există?

Folosind diferite criterii de clasificare, pot fi denumite mai multe tipuri de testare. Le folosim pe toate în practica noastră.

În funcție de gradul de participare al moderatorului (analitica UX):

• moderat - moderatorul dă sarcini, monitorizează progresul implementării acestora, pune întrebări clarificatoare;
• nemoderat - un serviciu specializat oferă sarcini, colectează valori și feedback automat, fără participarea unui moderator.

Una dintre opțiunile pentru testarea la distanță nemoderată

În funcție de locația respondentului:

• față în față - respondentul și moderatorul se află în aceeași cameră, de obicei în laborator, și comunică direct;
• la distanță - respondentul participă la testare de acasă sau de la locul său de muncă. De regulă, aceasta este o testare nemoderată. Dacă este necesară participarea unui moderator, analistul comunică cu respondentul prin link video.

În funcție de obiective:

• exploratoriu - realizat în etapa de dezvoltare a conceptului de interfață pentru a verifica cât de general este înțeles conceptul de utilizatori și satisface nevoile și așteptările acestora;
• testare - efectuată pentru a găsi și remedia probleme de utilizare sau pentru a evalua indicatorii de performanță ai produsului finit sau aspectul acestuia (timp alocat sarcinilor, satisfacția utilizatorului etc.);
• comparativ - efectuat pentru a compara eficacitatea versiunilor noi și vechi sau a două produse concurente; necesită participarea unui număr mare de respondenți pentru a trage concluzii semnificative statistic.

Testarea personală de laborator este adecvată pentru a atinge obiectivele majorității proiectelor. Vă permite să identificați problemele cheie ale interfeței și să colectați feedback detaliat de la respondenți. Pentru a compara eficacitatea a două versiuni ale unei interfețe, testarea la distanță nemoderată este potrivită deoarece poate colecta o cantitate mare de date într-un timp scurt, dar nu oferă o înțelegere aprofundată a problemelor cu care se confruntă respondenții.

Managerii noștri, chiar și în faza de planificare a proiectului, află de la client ce informații ar dori să primească în urma proiectului și, în funcție de nevoile sale, selectează metoda cea mai potrivită.

Cum se efectuează testarea de utilizare?

De regulă, efectuăm teste de utilizare moderate față în față. Aceasta înseamnă că respondentul vine la laboratorul nostru și îndeplinește sarcinile sub supravegherea unui specialist în uzabilitate.

Înainte de a începe un proiect, comunicăm cu clientul pentru a afla mai multe despre produsul de testat, publicul acestuia, obiectivele de testare și ipotezele pe care am dori să le testăm.

După ce au colectat cerințele pentru proiect, analistul UX întocmește un script de testare. Acesta este un document care conține instrucțiuni pentru respondent, o listă de sarcini de testat și întrebări pe care moderatorul ar trebui să le pună după finalizarea fiecărei sarcini și după finalizarea testării. Scenariul este convenit cu clientul.

Fragment de scenariu. Sunt indicate formularea, criteriile pentru finalizarea cu succes, ipotezele de testat și întrebările pe care moderatorul le va adresa după ce respondentul a finalizat sarcina.

În paralel cu scrierea scenariului, este în desfășurare căutarea respondenților. De regulă, aceasta este de 8-12 persoane. Unele companii ne ajută să recrutăm respondenți dintre clienții lor. Dacă acest lucru nu este posibil sau nu corespunde obiectivelor studiului, atunci căutăm respondenți prin agenții specializate, de exemplu, RusOpros. Le transmitem cerințele pentru respondenți, iar ei furnizează liste cu potențiali participanți la test. În același timp, controlăm cu atenție calitatea recrutării: efectuăm apeluri suplimentare respondenților, le punem întrebări despre experiența lor de a participa la astfel de studii și, dacă respondentul ni se pare nepotrivit, îl eliminăm.

Odată ce scenariul a fost convenit și respondenții au fost găsiți, începe procesul de testare. Respondentul vine la laboratorul nostru. Îl întâlnim, îi spunem despre procedura de testare, apoi îi citim sarcinile prescrise în scenariu și observăm progresul implementării lor. În același timp, înregistrăm diverse metrici de utilizare: timpul și succesul îndeplinirii unei sarcini, satisfacția respondentului și unele metrici psihologice operaționale dezvoltate de compania noastră împreună cu Institutul de Psihologie al Academiei Ruse de Științe. Discutăm un set de metrici cu clientul înainte de a începe proiectul.

Laboratorul nostru de utilizare. Vedere din camera moderatorului. Imaginea de pe ecranul respondentului este duplicată pe ecran

În timpul testării, înregistrăm un videoclip în care puteți vedea tot ce se întâmplă pe ecranul respondentului, fața acestuia și îi puteți auzi comentariile. Dacă este necesar, putem folosi tehnologia de urmărire a ochilor - aceasta oferă informații suplimentare despre natura dificultăților cu care se confruntă respondenții.

După ce toate sesiunile de testare au fost finalizate, analistul UX întocmește un raport, pe care îl transmite clientului.

Cât durează testarea de utilizare?

O sesiune de testare, din momentul în care respondentul se întâlnește și până în momentul în care își ia rămas bun, durează aproximativ o oră și jumătate. Dintre acestea, procedura de testare în sine durează aproximativ o oră, restul timpului este alocat conversației introductive și finale. Nu are rost să prelungești sesiunile de testare. Respondenții obosesc și fie fac greșeli neglijente, fie încep să îndeplinească sarcinile în mod formal, ceea ce are un efect negativ asupra calității rezultatelor.

Un proiect obișnuit de testare a gradului de utilizare, inclusiv pregătirea și scrierea raportului, durează aproximativ trei săptămâni. Cu toate acestea, în funcție de natura produsului, de obiectivele și complexitatea testării și de procesele de afaceri din compania clientului, momentul poate varia. De exemplu, pentru companiile care lucrează conform metodologiei Agile, putem efectua teste foarte scurte, care durează 1-3 zile, pentru a se încadra în sprint. Un proiect mare care implică cercetare interculturală poate dura trei până la patru luni.

Urmărirea ochilor este inclusă în testele de utilizare?

Laboratorul nostru dispune de echipamente pentru înregistrarea mișcărilor oculare. Dar urmărirea ochilor nu este necesară în toate proiectele. De obicei, este folosit pentru a testa ipoteze despre modul în care utilizatorii vizualizează o pagină. De exemplu, dacă bănuiți că utilizatorii nu dau clic pe un buton pentru că nu îl observă, urmărirea ochilor vă poate ajuta să testați acea ipoteză.

Harta termică arată modul în care atenția utilizatorilor este distribuită pe pagina principală a site-ului nostru. Pentru sarcini diferite, o hartă termică obținută pentru același ecran va arăta diferit

În mod implicit, efectuăm teste fără a înregistra mișcările ochilor. Dar puteți discuta oricând cu managerul nostru posibilitatea de a adăuga această opțiune la proiectul dumneavoastră.

Ce este inclus într-un raport de utilizare?

De obicei, raportul include:

• informații despre caracteristicile produsului, scopurile și obiectivele proiectului, respondenți și metodologia de testare;
• metrici de utilizare pentru fiecare sarcină (dacă au fost măsurate);
• o descriere detaliată ilustrată a problemelor de utilizare găsite, indicând criticitatea și apariția acestora;
• recomandări pentru eliminarea problemelor găsite;
• hărți termice dacă am înregistrat mișcările ochilor în timpul testării.

Structura raportului poate varia în funcție de caracteristicile unui anumit proiect. De exemplu, dacă există o mulțime de probleme, atunci adăugăm o listă cu toate problemele sortate în funcție de gravitate la sfârșitul raportului. Acest lucru vă va face mai ușor să decideți ce să remediați mai întâi. Putem adăuga la raport și o descriere a soluțiilor de succes de la concurenți.

Cum se utilizează rezultatele testelor?

Suntem interesați ca rezultatele testării să vă fie utile și ca recomandările noastre să fie implementate. De aceea, clasificăm problemele și recomandările în funcție de gravitate în raport, astfel încât să puteți planifica îmbunătățiri și să provocați dezvoltatorii. În plus, avem un serviciu de supraveghere a designului: putem consilia dezvoltatorii și monitoriza procesul de implementare a recomandărilor noastre.

Doriți să efectuăm teste de utilizare pentru dvs.?

Dacă doriți să efectuăm teste de utilizare a interfeței dvs., vă rugăm să lăsați o solicitare pe site-ul nostru web. Managerul nostru vă va contacta pentru a discuta detaliile și pentru a alege cea mai bună metodă.