Алгоритм юзабилити-тестирования. Юзабилити-тестирование

Акция: до конца месяца бесплатно сделаем юзабилити-аудит вашего сайта и дадим рекомендации по внедрению с 15% скидкой. Заказать юзабилити аудит сайта у экспертов Market Mentor.
С английского языка usability переводится как «удобство и простота использования, степень удобства использования». Другими словами - это удобство использования, пригодность использования, эргономичность - способность продукта быть понимаемым, изучаемым, используемым и привлекательным для пользователя в определенных условиях.

Термин «юзабилити сайта» вошел в широкое употребление сравнительно недавно. Но за это короткое время из очень узкой техническо-дизайнерской дисциплины юзабилити развилось в целую подотрасль интернет-маркетинга, которой посвящаются многочисленные международные конференции. И сегодня улучшение юзабилити сайта – такой же значимый аспект продвижения сайта, как, к примеру, проработка его внутренней структуры.

Почему юзабилити так важно?

Показатель юзабилити напрямую влияет на конверсию сайта.

В интернет-сфере данный критерий является необходимым условием:

Если сайт сложно использовать – посетитель его закроет.

Если главная страница не демонстрирует сферу деятельности сайта или то, что юзер может получить - посетитель его закроет.

Если в течение первых 5 секунд посетитель не сориентируется, где он находится – он закроет сайт.

Если информацию на сайте сложно воспринять и прочесть, или она не отвечает на ключевые вопросы – посетитель его закроет.

Главное правило электронной коммерции: если пользователь не может найти товар – он не сможет его купить.

Как люди воспринимают информацию в Интернете?

Прежде чем повести разговор о правилах и основных приемах юзабилити, необходимо в общих чертах рассказать о том, как люди вообще воспринимают информацию в Интернете.

Первое, что должны уяснить владельцы и проектировщики сайтов: ни один пользователь не читает тексты в Сети так же, как журнал или книгу. Мы бегло просматриваем страницу, «выдергивая» из нее отдельные абзацы и предложения, которые кажутся нам наиболее интересными. При этом чем меньше в тексте подзаголовков, списков, выделений курсивом и других элементов структурирования, тем меньше его хочется читать. Результаты наблюдений за пользователями показывают, что большие сплошные тексты, без каких-либо признаков оформления, редко дочитывают даже до середины.

Кроме того, большинство пользователей постоянно перемещается по сайту, поверхностно изучая его содержимое. За одну минуту они могут просмотреть с десяток страниц, оценивая каждую по степени полезности. Современные пользователи очень динамичны, что также необходимо учитывать при проектировании интерфейсов сайтов.

Что такое юзабилити (usability)?

Юзабилити - это мера качества пользовательского опыта, приобретенного при взаимодействии с продуктом или системой, например, веб-сайтом, программным приложением и т.п.

Исследования User Interface Engineering, Inc показывают, что в 60% случаях люди не могут найти информацию в вебе, которая им нужна. Это приводит к потере времени, снижению производительности труда, а также к тому, что пользователи больше не вернутся на сайт.

Другие источники говорят:

· Forrester Research получил цифры, которые показывают, сколько теряют компании из-за плохого юзабилити сайтов. Интернет-магазины теряют порядка 50% покупателей, которые не могут найти нужный товар. Около 40% пользователей не возвращаются на сайт, с которым имели негативный опыт работы.

· Якоб Нильсен говорит: «Изучение поведения пользователей в вебе показывает, что они плохо воспринимают медленные сайты и сайты со сложным дизайном. Люди не хотят ждать. Также они не хотят изучать, как пользоваться домашней страницей. Не существует таких вещей, как обучение веб-сайту или инструкция по веб-сайту. Люди хотят ухватить функциональность сайта сразу же после беглого сканирования страницы, то есть за несколько секунд».

В чем отличие между разработкой юзабилити (Usability Engineering) и тестированием юзабилити (Usability Testing)?

Разработка юзабилити - это методологический подход к созданию сайта или любого другого пользовательского интерфейса. Это практический путь к получению продукта, который работает для пользователя. Разработка юзабилити включает в себя несколько методов, которые последовательно применяются в процессе: сбор требований, разработка и тестирование прототипов, оценка альтернативных вариантов дизайна, анализ проблем пользователей, предложение решений и тестирование сайта (или любого другого интерфейса).

Тестирование юзабилити - это часть процесса разработки юзабилити. В типичном тесте пользователь выполняет некоторое число задач с помощью прототипа (или другой системы), и в это время наблюдатель записывает, что делает пользователь и что он говорит. Обычно тест проводится с одним пользователем или с двумя, работающими вместе. Тестирование может включать сбор таких данных, как последовательность действий пользователя для достижения задачи, ошибки, которые делают пользователи, когда и где у пользователей возникали трудности, насколько быстро пользователи выполняют задачи и насколько им нравиться использовать продукт. Целью большинства тестов является обнаружение любых проблем, которые могут возникать у пользователя, чтобы впоследствии их решить.

Юзабилити-тестирование

Материал из Википедии - свободной энциклопедии

Проверка эргономичности (Юзабилити-тестирование, англ. Usability testing) - исследование, выполняемое с целью определения, удобен ли некоторый искусственный объект (такой как веб-страница, пользовательский интерфейс или устройство) для его предполагаемого применения. Таким образом, проверка эргономичности измеряет эргономичность объекта или системы. Проверка эргономичности сосредоточена на определённом объекте или небольшом наборе объектов, в то время как исследования взаимодействия человек-компьютер в целом - формулируют универсальные принципы.

Проверка эргономичности - метод оценки удобства продукта в использовании, основанный на привлечении пользователей в качестве тестировщиков, испытателей и суммировании полученных от них выводов.

Виды юзабилити тестирования

Пригодность к использованию и удобство веб-сайтов (web usability) изучается при помощи большого количества специальных методов:

Макетирование (Prototyping)

Обзоры (Surveys)

Опросники (Questionnaires)

Эвристическое исследование (Heuristic Evaluation)

Экспертиза компонентов (Feature Inspection)

Карточная сортировка (Card Sorting)

Карточная сортировка - это классификационный метод, при котором пользователи сортируют различные элементы разрабатываемого веб-сайта по нескольким категориям.

Для проведения карточной сортировки создается список параметров, которые предполагается подвергнуть классификации, после чего каждый из указанных параметров выписывается на отдельной карточке. Карточки предъявляются пользователям, которых инструктируют сгруппировать наиболее логичным, по их мнению, образом.

Контекстное исследование (Contextual Inquiry)

Контекстное исследование - это метод структурированного интервью, которое отличается от обычного, например, журналистского интервью, тем, что оно всегда построено на трех базовых принципах:

1. Учет контекста, в котором используется изучаемый сайт.

2. Совместная оценка сайта пользователем и разработчиком.

3. В фокусе оценки сайта находится именно его удобство для пользователя.

Контекстное исследование является одной из альтернатив метода эталонного тестирования, при котором удобство оценивается в лабораторных условиях, а не в привычной для пользователя рабочей обстановке. При контекстном исследовании работа, время, мотивация и социальные факторы, воздействующие на пользователя, остаются такими же, как в реальном мире, в отличие от лабораторных исследований, где эти факторы контролируются экспериментатором.

Контекстное исследование наиболее применимо для того, чтобы оценить ту обстановку, в которой будет использоваться продукт, поэтому оно проводится на ранних стадиях его разработки.

Наиболее предпочтительно использование контекстного исследования совместно с эталонным тестированием, так как каждый из этих методов по отдельности менее эффективен, чем их совокупность.

Подробности: H. Beyer and K. Holtzblatt. Apprenticing with the Customer: A Collaborative Approach to Requirements Definition

Контрольные листы (Checklists)

Контрольные листы помогают удостовериться в том, что веб-сайт выполнен с учетом принципов функциональности дизайна. Обычно их используют на заключительной стадии работы в дополнение к экспертным методам для того, чтобы структурировать экспертные оценки по каким-то определенным признакам.

Макетирование (Prototyping)

Макетирование - это создание модели конечного продукта (веб-сайта), позволяющее протестировать его составляющие на любых стадиях разработки.

В процессе макетирования строится модель, включающая все тестируемые компоненты (дизайн, элементы управления и т.д.). Можно использовать различные способы ее построения, от изображения элементов интерфейса на бумаге до создания рабочего макета веб-сайта. Различают «горизонтальное» и «вертикальное» макетирование.

«Горизонтальное» макетирование означает представление в макете широкого спектра параметров веб-сайта, но без их детальной проработки. Этот вид макетирования предпочтительно использовать для изучения пользовательских предпочтений в области интерфейса. В процессе исследования выясняют, где, по мнению пользователей, должны находиться те или иные функции, насколько они доступны и т.д.

При «вертикальном» макетировании исследуют функциональность отдельных компонентов веб-сайта. Например, при «вертикальном» макетировании сетевой базы данных могут изучаться ее поисковые возможности, но проверка ссылок, скорость загрузки, работа в разных браузерах и т.д. при этом не проводится. Так как этот вид макетирования предполагает детальное изучение небольшого сектора веб-сайта, его следует проводить лишь после завершения разработки тестируемого сектора.

Обзоры (Surveys)

Обзоры - это специальные интервью с пользователями, при котором им задаются специально подготовленные вопросы, а их ответы записываются для дальнейшей обработки. Традиционная методология проведения обзоров может также играть важную роль в исследовании веб-сайтов. Вопросы, входящие в обзор, могут варьироваться в зависимости от целей исследования, но как правило группируются по следующим категориям: демографическая информация о пользователе (место проживания, возраст, род занятий и т.д.); оценка информационного наполнения веб-сайта (какую информацию ожидали найти, соответствует ли наполнение веб-сайта их ожиданиям, что хотели бы добавить и т.д.); оценка дизайна сайта (легкость в использовании, скорость загрузки, оформление и т.д.).

Обзоры используют как на стадиях концептуализации и разработки для проведения маркетинговых исследований, идентификации потенциальных пользователей, установления их информационных нужд и компетентности в использовании компьютеров, так и после реализации веб-сайта для оценки реакций пользователей на информационное наполнение и удобство. Огромное количество образцов и результатов обзоров доступно через любую поисковую систему по ключевым словам «web usability»и «survey».

Опросники (Questionnaires)

Опросники для оценки веб-сайтов составляются по тем же принципам, что и психодиагностические тесты. Их основное отличие от обзоров состоит в форме представления пользователям. Если обзоры - это структурированные интервью, то опросники предъявляются в виде списка вопросов с вариантами ответа.

Существует достаточно много стандартизированных опросников, большинство из которых распространяется на коммерческой основе, однако западные опросники нуждаются не только в переводе, но и в кросс-культурной адаптации. В зависимости от того, какие вопросы входят в опросник, этот метод может применяться на всех стадиях разработки веб-сайта или в процессе его эксплуатации.

Подробности: J Kirakowski, PhD. The Use of Questionnaire Methods for Usability Assessment.

Плюралистическая проработка (Pluralistic Walkthroughs)

Плюралистическая проработка проводится большой по размеру группой, в которую помимо экспертов в области оценки веб-продукции входят пользователи, разработчики и специалисты по профессиональному здоровью и организации труда.

Группа шаг за шагом рассматривает сценарии поведения пользователя, обсуждая и прорабатывая каждый элемент его взаимодействия с веб-сайтом. Вовлечение в эксперимент специалистов различных специальностей обеспечивает оценку веб-сайта с самых разнообразных позиций, а их замечания способствуют идентификации имеющихся недостатков.

Метод применяется на ранних стадиях разработки в целях получения обратной связи как от специалистов, так и от конечных пользователей.

Протоколы самоотчета (Self-Reporting Logs)

Протоколы самоотчета это бланки типа «карандаш-бумага», в которых пользователи фиксируют все свои действия и соображения о взаимодействии с веб-сайтом. Этот метод является достаточно экономным, так как специалисты вовлекаются лишь в обработку результатов, не контролируя действия пользователя во время выполнения заданий.

Основными недостатками этого метода, как и других методов, предполагающих самостоятельную работу пользователей, является невозможность контроля и регистрации их эмоциональных реакций на взаимодействие с веб-сайтом и проблема адекватности их отчетов тому, что они реально делают. Поэтому в данном случае отбор пользователей, участвующих в эксперименте, приобретает принципиальный характер.

Для проведения исследования необходимо обеспечить испытуемых доступом к прототипу веб-сайта, описанием задач, которые они должны решать при его использовании, и стандартизированным бланком для регистрации пользователями своих действий.

Обычно эта техника используется на ранних стадиях планирования или разработки или для выявления пользовательских предпочтений.

Фиксация «мыслей вслух» (Thinking Aloud Protocol)

Фиксация мыслей пользователя, вовлеченного в эксперимент, является одной из самых популярных техник при оценке функциональности веб-сайта. Пользователя просят произносить вслух все мысли, чувства и представления, которые у него возникают в процессе решения задачи.

Пользователя обеспечивают доступом к тестируемому веб-сайту или его прототипу и дают ему задание, которое он должен реализовать в процессе его эксплуатации. Его задача - выполнять задачу, одновременно «озвучивая» все, что приходит в голову по поводу интерфейса. Данные записываются на аудиопленку или фиксируются письменно.

В отличие от большинства других методов, эта техника позволяет оценить непосредственные реакции пользователя на взаимодействие с отдельными компонентами веб-сайта, не отсроченные по времени. И если его ожидания в отношении необходимых для решения задачи операций расходятся с дизайнерским решением веб-сайта, возможно, следует изменить это решение.

Несмотря на то, что основной задачей техники является выяснение пользовательских представлений, с ее помощью можно реализовывать и другие цели. Например, терминология, которую употребляет пользователь для обозначения тех или иных элементов интерфейса, может быть использована и в дизайне веб-сайта.

Метод предполагает обобщение данных, полученных от нескольких пользователей. Существует также близкий к этой технике метод ответов на вопросы, использующий не вербализацию мыслей и эмоций, а директивные вопросы экспериментатора с фиксацией ответов пользователя.

Фокусные группы (Focus Groups)

Метод фокусных групп заключается в опросе специально отобранной группы пользователей. В исследование, которое обычно продолжается около 2 часов, вовлекается от 6 до 9 пользователей. Основное достоинство фокусных групп состоит в том, что они позволяют выявлять спонтанные реакции и идеи и оценивать отношение к этим идеям группы в целом.

Как правило, участники группы воспринимают происходящее как относительно свободный неструктурированный процесс, но ведущий группы должен иметь предварительный сценарий работы, вытекающий из целей исследования, и следить, чтобы групповая дискуссия не выходила из русла обсуждаемой проблемы. Кроме того, необходимо добиваться равного участия в дискуссии всех членов группы. Достаточно часто бывает, что в группе выделяется лидер, доминирующий над остальными участниками. Такие ситуации мешают свободному выражению мыслей и идей остальных членов группы и также нуждаются в коррекции.

Результаты работы фокусной группы заносятся в специальный протокол для дальнейшей обработки. Сбор детальной информации при этом методе затруднен из-за относительной стихийности группового процесса, поэтому рекомендуется проводить несколько фокусных групп, состоящих из репрезентативных пользователей.

Несмотря на ряд преимуществ фокусных групп, они имеют и свои недостатки. Главным из них является неточность оценки, основанной на утверждениях, мыслях и предпочтениях небольшого количества пользователей. Поэтому при оценке веб-сайта фокусные группы должны использоваться лишь наряду с другими методами.

Фокусные группы могут использоваться как на любой стадии разработки веб-сайта, так и для оценки готового продукта.

Когда начинать работать над юзабилити сайта?

Юзабилити – критерий, который стоит учитывать на всех стадиях разработки и развития сайта. И именно вследствие этого стоит проводить тестирования быстро и просто.

Вот несколько обязательных условий для достижения верных показателей оценки юзабилити разных этапов создания сайта:

Протестируйте старый сайт прежде чем тестировать новый вариант сайта, т.к. это поможет выявить сильные и слабые стороны предыдущей версии и не упустить их из виду при разработке новой версии.

Проведите оценку сайтов конкурентов – это довольно хороший (а главное – бесплатный!) способ получить конкурентоспособные данные, которые помогут сделать сайт лучше ЧЕМ у конкурентов.

Проведите полевое исследование, чтобы понять, как испытуемые ведут себя в их привычных условиях.

Создайте напечатанные версии интерфейсов сайта и протестируйте их. Чем меньше времени будет потрачено на корректировку этих интерфейсов, тем больше времени останется на внесение изменений после последующих тестирований.

Найдите корректировки, после внесения которых показатель юзабилити сайта становится лучше. По мере устранения ошибок и усовершенствования интерфейса, проводите тест уже не на бумаге, а на компьютере. И тестируйте сайт после каждой новой правки.

Проверьте окончательный вариант сайта на соответствие с общепринятыми нормами юзабилити сайта и со своими предыдущими результатами тестирования.

Проведите тестирование ЕЩЁ РАЗ напоследок, после того, как все-все-все правки были внесены, сайт уже начал свою «новую» жизнь. Потому что самые коварные проблемы могут появиться как раз после того, как появился «самый оптимальный» вариант интерфейса.

Не откладывайте юзабилити тестирование на самый последний момент, т.к. многие погрешности будет очень сложно скорректировать ввиду несостыковок между дизайном, маркетингом, особенностями кода и потребностями клиента.

Процесс

При испытании многих продуктов пользователю предлагают в «лабораторных» условиях решить основные задачи, для выполнения которых этот продукт разрабатывался, и просят высказывать во время выполнения этих тестов свои замечания.

Процесс тестирования фиксируется в протоколе (логе) и/или на аудио- и видеоустройства - с целью последующего более детального анализа.

Если проверка эргономичности выявляет какие-либо трудности (например, сложности в понимании инструкций, выполнении действий или интерпретации ответов системы), то разработчики должны доработать продукт и повторить тестирование.

Наблюдение за тем, как люди взаимодействуют с продуктом, нередко позволяет найти для него более оптимальные решения. Если при тестировании используется модератор, то его задача - держать респондента сфокусированным на задачах (но при этом не «помогать» ему решать эти задачи).

Основную трудность после проведения процедуры проверки эргономичности нередко представляют большие объёмы и беспорядочность полученных данных. Поэтому для последующего анализа важно зафиксировать:

1. Речь модератора и респондента;

2. Выражение лица респондента (снимается на видеокамеру);

3. Изображение экрана компьютера, с которым работает респондент;

4. Различные события, происходящие на компьютере, связанные с действиями пользователя:

Перемещение курсора и нажатия на клавиши мыши;

Использование клавиатуры;

Переходы между экранами (браузера или другой программы).

Все эти потоки данных должны быть синхронизированы по тайм-кодам, чтобы при анализе их можно было бы соотносить между собой.

Наряду с модератором в тестировании нередко участвуют наблюдатели. По мере обнаружения проблем они делают свои заметки о ходе тестирования так, чтобы после можно было синхронизировать их с основной записью. В итоге каждый значимый фрагмент записи теста оказывается прокомментирован в заметках наблюдателя. В идеале ведущий (то есть модератор) представляет разработчика, наблюдатели - заказчика (например издателя, дистрибьютора), а испытатели - конечного пользователя (например покупателя).

Кроме вышеизложенного существует ещё один подход к проверке эргономичности: для решения задачи, предложенной пользователю, разрабатывается «идеальный» сценарий решения этой задачи. Как правило, это сценарий, на который ориентировался разработчик. При выполнении задачи пользователями регистрируются их отклонения от задуманного сценария для последующего анализа. После нескольких итераций доработки программы и последующего тестирования можно получить интерфейс, удовлетворительный с точки зрения пользователя.

A/B-тестирование

От англ. A/B testing, Split testing) - метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B).

Метод часто используется в веб-дизайне, типичные применения - исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. В веб-дизайне часто тестируются две очень похожие веб-страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/n-тестированием). Страницы А и В показываются различным пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определенного времени или при достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. Преимуществом метода является использование при проектировании объективных данных.

Для A/B-тестирования веб-дизайна часто используются инструменты от сервисов веб-статистики; в этом случае также часто важно применение механизма для разбиения пользователей, которым будет показан тот или иной вид дизайна (одному и тому же пользователю нужно показывать тот же самый вариант дизайна), например, на основе IP-адреса и затем установкой HTTP cookie.

Оценки удобства использования

Существует два основных способа оценки удобства (пригодности) использования продукта:

· прямая оценка на основе анализа результативности, эффективности и удовлетворённости, достигнутых в результате эксплуатации продукта в реальных условиях: если в указанных условиях одна система более эргономична, чем другая, то оценка должна это выявлять;

· косвенная оценка на основе анализа отдельных подхарактеристик, отражающих определённые свойства системы в установленных условиях эксплуатации.

Прямая оценка рассматривается в стандарте ISO 9241-11, который исходит из того, что эргономичность системы зависит от всех показателей, влияющих на эксплуатацию системы в реальных условиях, включая как организационные показатели (например, трудовые навыки, местоположение или внешний вид продукции), так и индивидуальные различия между пользователями, например, в культурном уровне и предпочтениях. Такой широкий подход имеет свои преимущества, которые заключаются в ориентации на реальные цели при создании продукции, главная из которых состоит в том, чтобы удовлетворить потребности реальных пользователей, выполняющих реальные задачи в реальной технической, физической и организационной среде.

Косвенная оценка рассматривается в стандарте ISO/IEC 25010, который описывает следующие подхарактеристики удобства использования:

определимость пригодности (appropriateness recognizability): возможность пользователя понять, подходит ли продукт или система для его потребностей, на основе первоначальных впечатлений, документации и другой предоставленной информации;

изучаемость (learnability): степень эффективности, производительности и удовлетворенности пользователя обучением использованию системы;

управляемость (operability, controllability): обеспечение простоты управления и контроля;

защищенность от ошибок пользователя (user error protection): степень, в которой система защищает пользователя от совершения ошибок;

эстетика пользовательского интерфейса (user interface aesthetics): степень, в которой пользовательский интерфейс удовлетворяет пользователя и доставляет ему удовольствие от процесса взаимодействия;

доступность (accessibility): возможность использования продукта или системы широким кругом людей с самыми разными (в том числе, ограниченными) возможностями.

Важно ли юзабилити?

Очень важно для всех видов сайта. Неважно сколько трафика вы приведете на сайт, если он не будет удобен и понятен пользователю, то он уйдет и не захочет больше возвращаться.

Поэтому над сайтом нужно постоянно работать, тестировать его удобство, тестировать конверсии, и выявлять лучший вариант дизайна, структуры и логики сайта.

Важно обращать внимание на:

простоту использования сайта или интерфейса

эффективность использования

запоминаемость

ошибки, их количество и серьезность

удовлетворение пользователя (субъективное)

В создании сайта всегда важно изначально понимать аудиторию, что она делает, как она ищет, к чему она привыкла, что для нее само собой и проектировать дизайн или интерфейс под нее.

Многочисленные исследования психологов и интернет-маркетологов показывают, что современные пользователи с каждым годом становятся все более нетерпеливыми и поверхностными. Главная цель создателей сайта – суметь заинтересовать пользователя. Причем на достижение этой цели отводится буквально несколько секунд. Менее чем за полминуты случайному посетителю нужно объяснить, где он находится, чем этот ресурс отличается от других и какую выгоду можно здесь получить. Если человек не успеет получить эту информацию за те самые 27 секунд, он просто уйдет на другой сайт. Вопросами того, как привлечь и удержать на сайте посетителя, и занимается юзабилити.

Принципы обеспечения удобства использования

Известный дизайнер Якоб Нильсен предложил набор из 10 эвристик, или принципов проектирования взаимодействия.

Видимость статуса системы

Пользователь должен всегда знать, что происходит, получая подходящую обратную связь в приемлемое время.

Соответствие между системой и реальным миром

Система должна «говорить на языке пользователя», используя понятную ему терминологию и концепции, а не «системно-ориентированный» язык.

Управляемость и свобода для пользователя

Пользователь часто выбирает системные функции по ошибке и должен иметь ясно видимый «аварийный выход» из нежелаемого состояния системы, не требующий сложных диалогов. Следует поддерживать функции отмены (undo) и повтора (redo).

Согласованность и стандарты

Пользователи не должны гадать, значат ли одно и то же разные слова, ситуации или операции. Также нужно следовать соглашениям, принятым для данной платформы.

Предотвращение ошибок

Продуманный дизайн, который не позволяет какой-то проблеме даже возникнуть, лучше, чем самые хорошие сообщения об ошибках. Следует устранять сами условия возникновения ошибок, либо выявлять их и предупреждать пользователя о предстоящей проблеме.

Распознавать лучше, чем вспоминать

Минимизируйте нагрузку на память пользователя, явно показывая ему объекты, действия и варианты выбора. Пользователь не должен в одной части диалога запоминать информацию, которая потребуется ему в другой. Инструкции по использованию системы должны быть видимы или легко получаемы везде, где возможно.

Гибкость и эффективность использования

Акселераторы (средства быстрого выполнения команд), которые новичок даже не видит, для опытного пользователя часто могут ускорить взаимодействие. Поэтому система должна удовлетворять как неопытных, так и опытных пользователей. Следует давать возможность настраивать под себя часто используемые операции.

Эстетический и минималистический дизайн

В интерфейсе не должно быть информации, которая не нужна пользователю или которая может понадобиться ему в редких случаях. Каждый избыточный элемент диалога отнимает внимание от нужных элементов.

Помочь пользователю понять и исправить ошибку

Сообщения об ошибках следует писать простым языком, без кодов, чётко формулируя проблему и предлагая конструктивное решение.

Справка и документация

Хотя было бы лучше, если бы система была пригодна к использованию без документации, всё же необходимо предоставлять справку и документацию. Информация должна быть простой в поиске, соответствовать задаче пользователя, описывать конкретную последовательность действий, и не должна быть слишком большой.

Правила и приемы юзабилити

Навигация

Разработка удобной и интуитивной навигации – один из краеугольных камней в создании сайтов.

Желательно, чтобы навигация на всех страницах сайта была одинаковой. Это улучшает ее восприятие и упрощает поиск необходимой пользователю информации. Также в контексте улучшения навигации по сайту рекомендуется:

размещать на всех страницах логотип веб-ресурса либо его название со ссылкой на главную. Как правило, логотип находится в верхнем левом углу страницы;

размещать подробную контактную информацию не только в «подвале» (самом низу страницы), но и в шапке сайта;

делать меню первого уровня на всех страницах;

указывать на веб-страницах название раздела сайта;

предусмотреть "хлебные крошки".

Внутренний поиск

Аудит юзабилити обязательно подразумевает анализ эффективности внутреннего поиска. Им, вопреки мнению самих владельцев сайта, посетители пользуются очень часто. Нередко они вообще игнорируют систему навигации и сразу же «забивают» интересующий их товар в строку поиска.

Чтобы поиск на сайте был удобным, необходимо:

размещать его в верхнем правом углу на всех страницах;

ограничить длину поля для ввода запроса 27-30 символами (оптимальное значение);

сделать поиск исключительно внутренним, только по страницам ресурса. Не стоит предлагать посетителям еще и внешний поиск, по сторонним сайтам в Интернете – это будет отвлекать их от вашего;

использовать функцию проверки орфографии запросов. Если пользователь вводит запрос с ошибкой, должна появляться строка с сообщением «Возможно, Вы имели в виду [запрос с правильной орфографией]?». Поиск должен «уметь» распознавать ошибки в запросах, иначе клиент не сможет найти искомый товар.

Кроме того, специалисты по юзабилити советуют оформлять страницу с результатами поиска по образу и подобию выдачи известных поисковых систем. На ней должны присутствовать поле для ввода запроса, ссылки на найденные страницы с их дескрипшеном (описанием). Также рекомендуется указывать раздел сайта, к которому относятся найденные страницы.

Главная страница

Лишний раз говорить о значимости главной страницы не будем – это и так всем известно.

Юзабилити-аудит сайта обязательно подразумевает ее подробнейший анализ, с выявлением слабых и сильных сторон. Приведем наиболее важные рекомендации по улучшению главной страницы.

С первого взгляда на главную страницу посетителю должно быть понятно, на каком сайте он находится и для чего он был создан. Чтобы облегчить процесс «опознания» ресурса, на главной странице не помешает разметить слоган компании и текст небольшого приветствия.

Всю информацию о текущих акциях, скидках и выгодных предложениях нужно размещать именно на главной странице. Также на главной следует предусмотреть место для колонки новостей и панели авторизации пользователей. Важно, чтобы размещаемая на главной информация периодически обновлялась и была актуальной – это положительный сигнал и для роботов поисковых систем, и для пользователей.

Некоторые эксперты по юзабилити предлагают размещать на главной странице подсказку «Откуда мне начать?», которую можно сделать в форме ссылки. Этот совет выглядит вполне рациональным, так как такая подсказка побуждает пользователя сразу же перейти в каталог с товарами или другой важный раздел, а не метаться по сайту в поисках нужной ему информации.

Оформление текста

Проводя аудит юзабилити, специалисты всегда обращают внимание на особенности размещенных на сайте текстах. Значение имеет не только их оформление, но и используемые шрифты. Создавая для вашего ресурса текстовый контент, старайтесь придерживаться следующих правил:

Текст должен быть короткими и содержательными.

Наиболее важная и полезная информация всегда должна размещаться в самом верху, желательно – в первых же предложениях текста, чтобы не приходилось прокручивать страницу.

Для написания текста используйте простые и наиболее распространенные шрифты размера не меньше 12 px и без засечек – они лучше всего воспринимаются.

Про бегущие строки, мигающие абзацы и радужные предложения, в которых каждое слово окрашено в разный цвет, лучше забыть сразу и навсегда.

Обратите внимание на цвет фона, на котором размещены тексты. Он должен быть контрастным цвету шрифта и как минимум не вызывать у посетителя дискомфорта. Классический вариант – черный шрифт на белом фоне.

Не забывайте про заглавные буквы и пробелы между словами и целыми предложениями. Их отсутствие, опять-таки, заметно усложняет восприятие информации.

Старайтесь всеми силами избегать в тексте орфографических, пунктуационных и других ошибок. Они мгновенно подрывают репутацию любого сайта и вызывают к нему недоверие пользователей.

Используйте списки, подзаголовки, картинки и другие элементы оформления. Чем более текст структурирован, тем проще он читается и воспринимается.

Юзабилити дизайн:

Красивый дизайн:

Основная задача – создание привлекательного внешнего вида Интернет-проекта, ориентируясь на конкретные пользовательские визуальные предпочтения.

Минусы: достижения ИТ отходят на второй план и мало взаимодействуют с общей концепцией usability; степень удовлетворенности от визуальной оценки имеет тенденцию к резкому понижению за счет недоработок в плане совместимости и технической базы проекта.

Плюсы: запоминающееся оформление веб-сайта.

Удобный дизайн:

Основная задача – достижение максимального уровня accessibility веб-сайта за счет устранения барьера несовместимости между технической комплектацией разработчиков и потребителей.

Минусы: Вынужденное ограничение дизайнерских решений.

Плюсы: Максимальный охват пользовательской аудитории, доступность и простота использования.

Альтернативный дизайн:

Основная задача – разработка оригинального дизайна посредством дистанционного маневрирования между стандартом и альтернативой.

Минусы: Угроза попадания «в зависимость» от устоявшихся стандартов в дизайне или постоянного создания альтернативного дизайна.

Плюсы: Получение наглядного представления о ситуации за счет постоянного изучения сложившихся стандартов, адаптация к конкурентной среде.

Подведем итог

Вообще, юзабилити и полезность – это два самых главных векторных направляющих для определения практичности чего-либо.

1. Сайт должен быть действительно нужен посетителю;

2. Интерфейс сайта не должен мешать пользователю совершить целевое действие и получить то, что он хочет.

Вот краткая формула для выявления практичности вашего сайта:

Полезность сайта - обладает ли сайт ответами на ваши вопросы.

Юзабилити - насколько легко и удобно управлять сайтом.

Практичность сайта = юзабилити + полезность.

Проводится для нахождения проблемных мест на сайте или в продукте. Главной его целью является последующее внесение правок в сайт и выдвижение новых гипотез для A/B – тестирований.

Вам необходимо повысить конверсию на сайте? Запускаете новый сайт или продукт и вам нужен фидбэк от потенциальных клиентов? Тогда эта статья для вас. Сегодня мы поговорим о том, из каких этапов состоит процесс тестирования и как его правильно проводить.

6 шагов юзабилити-тестирования

Шаг 1. Определите ключевые цели исследования

От того, насколько правильно и точно вы сформулируете цели исследования, будет зависеть качество и конечный результат юзабилити-тестирования. Не стоит исследовать все сразу за одно тестирование. Мы рекомендуем для каждого тестирования выбирать одну цель, это поможет правильно составить задачи для пользователей и получить больше данных для анализа.

Плохой пример:

• Цель исследования – выявить все проблемы сайта.

Хороший пример:

• Цель исследования – узнать, насколько легко пользователю найти нужный товар и оформить заказ.

Шаг 2. Подберите целевую аудиторию

Проводить юзабилити-тестирование нужно на реальных людях, максимально приближенных к вашей целевой аудитории. Причем, они должны первый раз пользоваться вашим сайтом (или первый раз тестировать новое обновление). Если человек уже научился пользоваться сайтом, он будет испытывать гораздо меньше сложностей, чем новый покупатель, и найдет меньше ошибок и проблем.

Где искать тестировщиков?

Если у вас b2c-компания и вы продаете товары или услуги для широкой аудитории (обувь, товары для дома и т.д.), рекомендуем использовать наш интернет-сервис юзабилити-тестирования Userpoint . ru , где есть большая база тестировщиков, среди которых можно подобрать свою целевую аудиторию по возрасту, полу и любым другим параметрам:

Конечно, если у вас очень узкая аудитория (например, если у вас интернет-магазин для чукотских лесорубов), то нужно по старинке провести фокус-группу, организовать процесс тестирования самостоятельно, в удобном помещении, или же воспользоваться услугами агентств. Разумеется, традиционное тестирование гораздо дороже и займет в десятки раз больше времени.

Сколько пользователей нужно привлечь для тестирования?

В научных кругах – это старая тема для споров. По данным исследований Якоба Нильсена и Томаса Ландауэра 5 пользователей находят 85% проблем в юзабилити, 15 пользователей – находят 100% проблем. На рисунке математическая модель нахождения юзабилити-проблем, представленная Нильсеном.

Более поздние и основательные исследования показывают необходимость привлечения большего числа участников. Доктор Гитте Линдгаарт из Карлтонского университета доказала большую зависимость процента найденных проблем от качества составленных задач для тестирования, нежели от выборки. Группы из 5-6 пользователей в ее исследованиях находят 30-50% проблем в юзабилити при разных подходах к формулированию задач. Ознакомиться с хронологией исследований и споров можно по ссылке – История магического числа 5 в юзабилити-тестировании .

Мы рекомендуем проводить юзабилити-тестирование с привлечением как минимум 10 человек , причем нужно помнить, что не менее важным показателем помимо выборки является качество поставленных задач и вопросов.

Если вы планируете проводить несколько итераций в процессе разработки сайта, вам нужно будет набирать новую группу для каждого теста. Это важно при расчете бюджета.

Шаг 3. Создайте сценарий и задачи

Сценарий – путь, который проходит пользователь от начала и до конца для достижения цели исследования. На каждом шаге сценария нужно создать задачи, в процессе выполнения которых люди будут размышлять вслух, взаимодействуя с вашим сайтом или продуктом.

Как мы уже говорили, не стоит исследовать все сразу за одно тестирование. Идеальный вариант – проводить для каждой цели свое исследование, создавая для него определенный сценарий с набором задач. Помните, что для качественного тестирования 15-20 минут – оптимальное время выполнения одного сценария пользователем. Также мы не рекомендуем делать более 4-5 задач в одном сценарии.

Используйте разные типы задач в сценариях

Широкие задачи полезны при исследовании удобства и содержания сайта, для наблюдения за естественным поведением пользователя.

Примеры широких задач:

• Найдите сумку, которая вам понравится.
• Найдите отель, который подходит для вашего отпуска в Сочи в следующем месяце. Поделитесь своими рассуждениями.

Конкретные задачи помогут определить, с какими инструментами у пользователей возникают проблемы и трудности.

Примеры конкретных задач:

• Найдите красную сумку по цене до 10 тыс. рублей.
• При оформлении заказа подарка, укажите, что хотите забрать его в ближайшем к вам пункте выдачи. Посмотрите страницу результатов. Отсортируйте пункты по лучшим отзывам.

Не делайте сложные составные задачи

Плохой пример:

• Добавьте товар в корзину. Теперь выберите еще один товар и добавьте его тоже. Затем увеличьте количество первого товара в корзине. Теперь оформите заказ и выберите доставку.

Лучше сделайте 4 разные задачи:

• Добавить товар в корзину.
• Найти другой товар и добавить в корзину.
• Увеличить количество первого товара в корзине.
• Оформить заказ с доставкой.

Ставьте задачи для сравнения с конкурентами

Конечно, цена и условия доставки – важнейшие факторы выбора магазина. Но вы уверены, что клиент купил товар у конкурента, потому что у него он стоит на 1% дешевле? Может быть, ваш сайт просто внушает меньше доверия? А может быть не хватает онлайн-чата? Или дело в условиях доставки? Если есть подозрение, что причина именно в условиях доставки, можно сделать задачу «сравнить условия доставки и оплаты с конкурентом Х» или даже «с конкурентами из топ-3 выдачи Яндекса». Может быть очень много причин для выбора компании, и юзабилити-тестирование – отличная возможность узнать, почему клиенты предпочитают покупать товары на сайтах ваших конкурентов.

Ставьте правильные вопросы к задачам

Задачи в юзибилити-тестировании нужны, чтобы посмотреть предпринятые тестировщиками действия, а вопросы к задачам – чтобы собирать обратную связь. В зависимости от типа вопроса (простой вопрос, вопрос с выбором вариантов, шкала оценок, отзыв) можно получить разные результаты. К каждой задаче нужно ставить правильные вопросы, чтобы максимально полно собирать данные для последующего качественного анализа и выдвижения гипотез.

Пример задачи:

• Подберите подарок для друга в ценовом диапазоне от 5 до 10 тыс. рублей на сайтах xxx.ru и yyy.ru.

Пример вопроса:

• На каком сайте удобнее пользоваться фильтрами товаров?

Совсем скоро у нас выйдет новая статья о том, как правильно составлять сценарий, задачи и вопросы к ним. Подписывайтесь на обновления блога и не пропустите полезную информацию.

Шаг 4. Протестируйте свой тест

Конечно, с первого раза практически невозможно составить идеальный сценарий, поэтому запустите пилотное тестирование для 1-2 пользователей. Это позволит обнаружить и устранить большинство недостатков в составлении задач и вопросов.

Основная цель – убедиться, что тестировщики правильно понимают ваши задачи и вопросы, что они не вызывают у них раздумий и дополнительных вопросов.

Можно поступить следующим образом:

• Попросите кого-нибудь из знакомых пройти тестирование (кто не очень хорошо знаком с вашим проектом).
• Посмотрите, как человек работает с каждой задачей и вопросом, обратите внимание на любые трудности, которые у него возникают.
• Внесите правки в задачи и проведите тестирование на еще одном пользователе.

Юзабилити-тестирование с использованием позволяет легко и быстро запустить тест на 1-2 пользователях из вашей целевой аудитории. В течение 1-2 дней вы получите видеоролики, сможете отредактировать задачи и запустить новый тест на большее количество пользователей.

Пилотное тестирование делает исследование более качественным и значительно экономит ваше время в долгосрочной перспективе.

Шаг 5. Проведите тест

Если вы работаете с UserPoint, то весь процесс (обеспечение тестировщиков необходимым софтом, запись видеороликов с фиксацией всех рассуждений человека в процессе выполнения заданий) делается автоматически без вашего участия. Поэтому не будем останавливаться на этом шаге подробно.

Если же вы решили проводить традиционное тестирование, рекомендуем ознакомиться с материалами одних из первопроходцев традиционного тестирования Nielsen Norman Group.

Шаг 6. Анализируйте результаты и выдвигайте гипотезы для A / B — тестирований

После проведения тестирования, необходимо выписать и структурировать количественные (число успешно выполненных задач, время тестирования, число найденных ошибок и проблем) и качественные данные (какие именно проблемы и сложности возникли у тестировщиков, комментарии и рекомендации пользователей, ответы на ваши вопросы к задачам). Помните, что конечная цель юзабилити-тестирования – выявить очевидные проблемы для внесения правок на сайт или в продукт и подготовка гипотез для новых A/B-тестирований.

Зафиксируйте все проблемы

Точно и лаконично выписывайте все проблемы и трудности, которые возникали у тестировщиков в процессе выполнения задач.

Плохие примеры:

• Путался в навигации.
• Нажал на неправильную ссылку.

Хороший пример:

• На этапе покупки нажал на ссылку «Вход», вместо ссылки «Оформить заказ».

Отмечайте степень важности проблем.

• Критическая – если ее не исправить, пользователи не смогут завершить выполнение задачи.
• Серьезная – большинство пользователей будет разочаровано, если мы не исправим проблему.
• Незначительная – люди раздражены, но это не мешает им без особых затруднений выполнить задачу.

Формулируйте выводы, вносите правки, выдвигайте гипотезы для следующих A / B -тестирований

Каждый вывод должен основываться на полученных данных и содержать в себе рекомендации о том, что нужно делать дальше. Если проблема критическая, необходимо сразу вносить правки в сайт или продукт. На основе большинства проблем потребуется выдвигать гипотезы для запуска A/B – тестирований.

Не забывайте, что вы не сможете выполнить все рекомендации тестировщиков и сделать сайт или продукт максимально удобным для всех без исключения. Сфокусируйтесь в первую очередь на самых серьезных проблемах, которые непосредственно влияют на конверсию на вашем сайте.

Подготовка, интервью и сбор данных

В закладки

Руководитель направления UX-исследований Mail.Ru Group Наталия Спрогис в блоге компании на «Хабрахабре» рассказала о подготовке и проведении юзабилити-тестирований: что включить в сценарий теста, как выбрать метод сбора данных, составить задания и собрать впечатления респондентов.

План тестирования - это, с одной стороны набор заданий, вопросов и опросников, которые вы даете каждому респонденту, а с другой - методологическая база исследования: метрики и гипотезы, которые вы проверяете и фиксируете, выбранный инструментарий.

Точно ли нужно тестирование

Для начала вы должны быть уверены, что на данном этапе проекту нужно именно юзабилити-тестирование. Поэтому уточняйте, с какой целью к вам обращается проектная команда. Юзабилити-тестирования не всемогущи, и уже на старте нужно понимать, что оно может принести продукту. Сразу подготовьте проектную команду к тому, на какие вопросы вы сможете дать ответы, а на какие нет. Бывали случаи, когда мы либо предлагали заказчикам другой метод (например, сейчас лучше подойдут глубинные интервью или дневниковые исследования), либо рекомендовали вообще отказаться от исследования, а вместо этого сделать сплит-тест.

Например, мы никогда не беремся в качественных исследованиях проверять «привлекательность» какой-то функции или варианта дизайна. Мы можем собрать с пользователей отзывы, но слишком велик риск, что на их ответы повлияет социальная желательность. Люди всегда склонны сказать, что стали бы пользоваться даже тем, чем пользоваться не будут. Да и маленький размер выборки не позволяет доверять таким ответам. Например, у нас был неудачный опыт тестирования игровых лендингов: лендинг, который выбирали как наиболее привлекательный на тесте, при A/B-тестировании отработал гораздо хуже.

Ряд ограничений есть и у тестирования прототипов и концепций. При планировании вы должны понимать, что реально можно «выжать» из этого теста. Здорово, когда у проекта есть возможность протестировать прототипы или дизайн до внедрения. Однако, чем менее детальный и рабочий прототип, чем выше уровень абстракции для респондента, тем меньше данных можно получить из теста. Лучше всего на тестировании прототипов выявляются проблемы нейминга и метафор иконок, то есть все вопросы понятности. Возможность проверить что-то сверх этого сильно зависит от сути проекта и детальности проработки прототипа.

Основа для составления сценария юзабилити-теста

Планирование тестирования начинается не с составления текста заданий, а с детальной проработки целей и вопросов исследования совместно с проектной командой. Вот основа для составления плана:

Важные сценарии. Это те пользовательские сценарии (задачи, или юзкейсы), которые влияют на бизнес или связаны с целью тестирования. Даже если команда подозревает проблемы в конкретных местах, часто стоит проверить основные кейсы. При этом важными для теста могут считаться следующие сценарии:

• наиболее частотные (например, отправка сообщения в мессенджере);
• влияющие на бизнес-цели (например, работа с платежной формой);
• связанные с обновлением (те, которые затронул редизайн или внедрение новой функциональности).

Известные проблемы. Часто исследование должно дать ответ на причины бизнес-проблем сервиса. Например, продюсера беспокоит большой отток игроков после первого часа игры. А иногда проблемные места интерфейса уже известны команде, и вам необходимо собрать подробности и конкретику. Например, в службу поддержки часто обращаются с вопросами по форме оплаты.

Вопросы. У команды также могут быть вопросы для исследования: например, замечают ли пользователи баннер, рекламирующий дополнительные услуги; понятно ли назван определенный раздел.

Гипотезы. Это то, во что преобразуются известные проблемы и вопросы команды. Хорошо, если заказчик приходит к вам с готовыми гипотезами - например, «Наши клиенты платят только с телефона с комиссией. Возможно, пользователи не видят выбора более выгодного способа оплаты». Если же гипотез нет, а есть только желание проверить проект абстрактно «на юзабилити», ваша задача - эти гипотезы сформулировать.

Подумайте совместно с проектной командой о тех местах, где пользователи ведут себя не так, как ожидается (если такая информация есть). Выясните, нет ли элементов дизайна, над которыми много спорили и которые могут оказаться проблемными. Сделайте собственный аудит продукта, чтобы найти потенциальные сложности для пользователей, которые важно проверить на тесте. Все это поможет вам составить список тех элементов (заданий, вопросов, проверок), которые должны войти в итоговый сценарий.

Метод сбора данных

Важно продумать, как вы будете собирать данные о происходящем во время теста для последующего анализа. Традиционно используются следующие варианты:

Наблюдение. Во время выполнения заданий респондент остается наедине с продуктом и ведет себя так, как считает нужным. Комментарии респондента собираются посредством опросников и общения с модератором после теста. Это наиболее «чистый» метод, он обеспечивает более естественное поведение респондента и возможность корректно измерить ряд метрик (например, время выполнения задания).

Однако за кадром остается много полезных качественных данных. Увидев то или иное поведение респондента, вы не можете понять, почему он так действует. Конечно, можно спросить об этом в конце теста, но, скорее всего, респондент будет хорошо помнить только последнее задание. Кроме того, за время выполнения заданий его мнение о системе может меняться, и вы получите только итоговую картину, а не первые впечатления.

Think Aloud (мысли вслух). Долгое время этот метод использовался в юзабилити-тестированиях чаще всего. Якоб Нильсен в свое время называл его главным инструментом оценки юзабилити. Суть в том, что вы просите респондента озвучивать все мысли, возникающие у него при работе с интерфейсом, и комментировать все свои действия. Это выглядит примерно так: «Сейчас я собираюсь добавить этот товар в корзину. А где же кнопка? А, вот она. Ой, я забыл посмотреть, какой там был цвет».

Метод помогает понять, почему пользователь ведет себя тем или иным образом и какие эмоции вызывает у него текущее взаимодействие. Он дешев и прост, с ним справится даже неопытный исследователь.

Однако у него есть свои недостатки. Во-первых, для людей не слишком естественно все время «думать вслух». Они будут часто замолкать, и вам придется постоянно напоминать им, что надо продолжать говорить. Во-вторых, задания при таком методе выполняются несколько дольше, чем в реальной жизни. Кроме того, часть респондентов начинает пользоваться продуктом более вдумчиво. Проговаривая причины своих действий, они стараются действовать рациональнее, да и просто не хотят выглядеть идиотами, и вы можете не поймать какие-то интуитивные моменты их поведения.

Активное вмешательство модератора . Метод идеален для тестирования концепций и прототипов. Во время выполнения заданий модератор активно взаимодействует с пользователем: выясняет в нужные моменты причины его поведения и задает уточняющие вопросы. В некоторых случаях модератор даже может выдавать незапланированные задания, вытекающие из диалога.

Этот метод позволяет собрать максимальное количество качественных данных. Однако его можно применять, только если вы доверяете профессионализму своего модератора. Некорректно сформулированные или невовремя заданные вопросы могут сильно повлиять на поведение и впечатления респондента и даже сделать результаты теста невалидными. Также при использовании этого метода нельзя замерить практически никакие метрики.

Retrospective think aloud, RTA (ретроспектива). Это комбинация первых двух методов. Пользователь сначала выполняет все задания без вмешательства, а потом перед ним проигрывается видеозапись его работы, и он комментирует свое поведение и отвечает на вопросы модератора. Главный недостаток метода - сильно увеличивается время тестирования. Однако бывают случаи, когда он оптимален.

Например, один раз перед нами встала задача протестировать несколько видов мобов (игровых монстров) в одной RPG. Естественно, мы не могли ни отвлекать респондентов вопросами, ни заставлять их комментировать свои действия во время боя. Это бы сделало невозможным игру, где нужна концентрация для победы. С другой стороны, пользователь вряд ли смог бы после серии схваток вспомнить, заметил ли он загоревшуюся красным секиру у первой крысы. Поэтому в этом тесте мы воспользовались методом RTA. С каждым пользователем мы пересматривали его бои и обсуждали, какие эффекты монстров он заметил и как их понял.

Постарайтесь продумать, как получить достаточно данных, сохранив максимальную естественность поведения респондента. Несмотря на простоту и универсальность метода «мысли вслух», который долгое время был самым популярным в юзабилити-тестированиях, мы стараемся все чаще заменять его на наблюдение. Если модератор видит интересное поведение респондента - он подождет, пока тот выполнит задачу, и задаст вопрос после. Сразу после задания больше вероятность, что респондент помнит, почему он так сделал.

Очень помогает в этом вопросе айтрекер. Видя фокус текущего внимания респондента, вы можете лучше понять его поведение, не задавая лишних вопросов. Айтрекер вообще значительно улучшает качество модерирования, и эта его роль, на мой взгляд, не менее важна, чем возможность построения хитмапов.

Метрики

Метрики - это количественные показатели юзабилити. В результате тестирования вы всегда получаете набор найденных в интерфейсе проблем. Метрики же позволяют понять, насколько все хорошо или плохо, а также сравнить с другим проектом или предыдущими версиями дизайна.

Какие бывают метрики

По ISO 9241-11 основными характеристиками юзабилити являются эффективность, продуктивность и удовлетворенность. Для разных проектов могут быть актуальны разные метрики, но все они так или иначе завязаны на эти три характеристики. Я напишу о наиболее часто используемых показателях.

Успешность выполнения заданий. Можно использовать бинарный код: справился с заданием или не справился. Мы чаще придерживаемся подхода Нильсена и выделяем три вида оценок успешности:

• справился с заданием практически без проблем - 100%;
• столкнулся с проблемами, но выполнил задание самостоятельно - 50%;
• не справился с заданием - 0%.

Если из 12 респондентов 4 справились с заданием легко, 6 - с проблемами, а 2 потерпели фиаско, то средняя успешность по этому заданию будет 58%.

Иногда вы будете сталкиваться с ситуацией, когда в среднюю группу попадают очень разные по степени «проблемности» респонденты. Например, один респондент мучился над каждым полем формы, а второй лишь немного ошибся в самом конце. Вы можете давать оценку на собственное усмотрение, в зависимости от того, что произошло на тесте. Например, 25% - если респондент только начал выполнять задание, или 80% - если допустил незначительную ошибку.

Чтобы избежать слишком большой субъективности, продумайте шкалы оценок заранее, а не решайте для каждого респондента после теста. Также стоит подумать, что делать с ошибками. Например, вы дали задание купить билеты в кино на проекте «Кино Mail.Ru». Один из респондентов случайно купил билет не на завтра, а на сегодня, и не заметил этого. Он уверен, что справился с заданием и имеет билет на руках. Но его ошибка настолько критична, что он не попадет в кино, поэтому я бы поставила «0%», несмотря на то что билет куплен.

Процент успешности - очень простая и наглядная метрика, и я рекомендую ее использовать, если у ваших заданий есть четкие цели. Взгляд на график успешности по заданиям позволяет быстро определить самые проблемные места интерфейса.

Время выполнения заданий. Эта метрика показательна только в сравнении. Как вы поймете, плохо или хорошо то, что пользователь выполняет задачу за 30 секунд? А вот то, что время сократилось по сравнению с предыдущей версией дизайна, уже хорошо. Или то, что регистрация на нашем проекте занимает меньше времени, чем у конкурентов. Есть интерфейсы, где сокращение времени на выполнение задач критично - например, рабочий интерфейс сотрудника колл-центра.

Однако не для всех задач эта метрика применима. Возьмем задачу подбора товара в интернет-магазине. Пользователи должны быстро находить фильтры и другие элементы интерфейса, связанные с поиском товаров, но сам процесс выбора будет занимать у них разное время, и это совершенно нормально. Женщины при выборе туфель бывают готовы отсмотреть 20 страниц выдачи. И это необязательно значит, что на первых страницах не было подходящих товаров или что они не видят фильтры. Часто им просто хочется увидеть все варианты.

Частотность проблем. Любой отчет о юзабилити-тестировании содержит список проблем, с которыми столкнулись респонденты. Количество респондентов, которые столкнулись с проблемой, - показатель ее частотности в рамках теста. Эту метрику можно применять только в том случае, если ваши пользователи выполняли абсолютно одинаковые задания.

Если же в тесте были вариации или задания были не четко сформулированы, а составлены на основании интервью, то посчитать частотность будет сложно. Нужно будет не только считать столкнувшихся, но и оценивать, сколько респондентов могли бы столкнуться с проблемой (выполняли схожую задачу, заходили в тот же раздел). Тем не менее эта характеристика позволяет команде понять, какие проблемы стоит исправлять в первую очередь.

Субъективная удовлетворенность. Это субъективная оценка пользователем удобства или комфорта работы с системой. Выявляется она при помощи опросников, которые респонденты заполняют в процессе или после тестирования. Есть стандартные опросники. Например, System Usability Scale, Post-Study Usability Questionnaire или Game Experience Questionnaire для игр. Или вы можете составить собственный опросник.

Это далеко не единственные возможные метрики. Например, список из 10 UX-метрик, которые выделяет Джеф Сауро. Для вашего продукта метрики могут быть другими: например, с какого уровня респонденты разбираются в правилах игры, сколько ошибок допускают при заполнении длинных форм. Помните, что решение использовать многие метрики накладывает на тестирование ряд ограничений. Респонденты должны действовать максимально естественно и в одинаковых условиях. Поэтому хорошо бы обеспечить:

• Единые точки старта. Одни и те же задания для разных респондентов должны начинаться с одной и той же точки интерфейса. Вы можете после каждого задания просить респондентов вернуться на главную страницу.
• Отсутствие вмешательств. Любое общение с модератором может повлиять на метрики эффективности, если модератор невольно подскажет что-то респонденту, и увеличивает время выполнения задания.
• Порядок заданий. Чтобы компенсировать эффект обучения в сравнительном тестировании, обязательно меняйте порядок знакомства со сравниваемыми продуктами для разных респондентов. Пусть половина начинает с вашего проекта, а половина - с конкурентного.
• Критерии успешности. Заранее продумайте, какое именно поведение вы считаете успешным для задания: например, допустимо ли, чтобы при подборе товара в интернет магазине респондент не пользовался фильтрами.

Трактовка метрик

Помните, что классическое юзабилити-тестирование - это качественное исследование и полученные вами метрики в первую очередь иллюстративны. Они дают общий взгляд на разные сценарии в продукте, позволяя увидеть болевые точки. Например, настройки аккаунта вызывают больше сложностей, чем регистрация в системе. Они могут показать динамику изменений, если вы измеряете их регулярно. То есть метрики позволяют понять, что в новом дизайне выполнять задачу стали быстрее. Именно эти отношения гораздо более показательны и надежны, чем найденные абсолютные значения метрик.

Джеф Сауро, эксперт по статистике в UX-исследованиях, советует не представлять метрики средними значениями, а всегда считать доверительные интервалы. Это гораздо правильнее, особенно если в результатах респондентов присутствует разброс. Для этого можно воспользоваться его бесплатными онлайн-калькуляторами: для успешности и для времени выполнения заданий. Не обойтись без статистической обработки и при сравнении результатов.

Когда нужны метрики

Далеко не каждый отчет о юзабилити-тестировании содержит метрики. Их сбор и анализ требует времени и накладывает ограничения на методы проведения теста. Вот в каких случаях они действительно нужны:

• Доказать. Часто есть необходимость доказать, что в продукт нужно внести изменения, - особенно в крупных компаниях. Для лиц, принимающих решения, цифры наглядны, понятны и привычны. Когда вы показываете, что 10 из 12 респондентов не смогли оплатить товар или что регистрация в системе занимает в среднем в два раза больше времени, чем у конкурентов, - это придает результатам исследования больший вес.
• Сравнить. Если вы сравниваете свой продукт с другими на рынке, вам также не обойтись без метрик. Иначе вы увидите достоинства и недостатки разных проектов, но не сможете оценить, какое место ваш продукт занимает среди них.
• Увидеть изменения. Метрики хороши для регулярных тестов одного и того же продукта после внесения изменений. Они позволяют увидеть прогресс после редизайна, обратить внимание на те места, которые остались без улучшений. Использовать эти показатели вы можете опять же как доказательную базу, которая покажет руководству вес вложений в редизайн. Или просто для понимания того, что вы достигли результатов и движетесь в нужном направлении.
• Иллюстрировать, сделать акцент. Цифры хорошо помогают иллюстрировать важные проблемы. Иногда мы считаем их для наиболее ярких и важных моментов теста, даже если не используем метрики во всех заданиях.

Тем не менее мы используем метрики далеко не в каждом тесте. Можно обойтись без них, если исследователь плотно работает с командой проекта, есть внутреннее доверие и команда достаточно зрелая, чтобы грамотно расставить приоритеты решения проблем.

Способ фиксации данных

Казалось бы, чем плохи блокнотик и ручка или просто открытый документ Word? В современном Agile-мире разработки UX-исследователи должны стараться как можно быстрее выдавать команде результаты своих наблюдений.

Чтобы оптимизировать время на анализ, хорошо заранее заготовить шаблон для ввода заметок в процессе теста. Мы пробовали делать это в специализированном программном обеспечении (например, Noldus Observer или Morae Manager), но на практике наиболее гибкими и универсальными оказались таблицы. Заранее разметьте в таблице вопросы, которые точно планируете задавать, места под ввод проблем, обнаруженных в заданиях, а также гипотезы (на каждом респонденте вы будете помечать, подтвердились она или нет). Наши таблички выглядят подобным образом:

Чем еще вы можете воспользоваться:

• . Кастомизируемый шаблон Excel для ввода наблюдений по каждому респонденту. Встроен таймер, который измеряет время выполнения заданий, автоматически генерируются графики времени и успешности.
• Rainbow Spreadsheet от Томера Шерона из Google. Наглядная таблица для совместной работы исследователя и команды. Ссылка ведет на статью с описанием метода, там же есть ссылка на Google-таблицу с шаблоном.

С опытом большинство записей можно делать прямо во время теста. Если не успели вовремя, то лучше записать все, что помните, сразу после теста. Если возвращаться к анализу через несколько дней - скорее всего, придется пересмотреть видео и потратить гораздо больше времени.

Подготовка к тестированию

Помимо метода, метрик и непосредственно протокола тестирования, необходимо определиться со следующими вещами:

Формат общения с модератором. Модератор может находиться в одной комнате с участником тестирования. В этом случае ему будет легко вовремя задавать вопросы. Однако присутствие модератора может влиять на респондента: он начнет задавать вопросы модератору, провоцируя того явно или неявно ему подсказать.

Мы стараемся хотя бы на часть теста оставлять респондента наедине с продуктом. Так его поведение становится более раскованным и естественным. А чтобы не бегать туда-сюда, если что-то пойдет не так, можно оставить включенным любой мессенджер с аудиосвязью, чтобы модератор мог связаться с респондентом из наблюдательной комнаты.

Способ постановки заданий. Задания может озвучивать модератор. Но в этом случае, несмотря на единый протокол тестирования, текст задания может каждый раз произноситься немного по-разному. Особенно это актуально, если тест ведет несколько модераторов. Иногда даже небольшие различия в формулировках могут поставить респондентов в разные начальные условия.

Чтобы этого избежать, можно либо «надрессировать» модераторов всегда читать тексты задания, либо выдавать респондентам задания на листочках или на экране. Различие формулировок перестает быть проблемой, если использовать гибкий сценарий, когда задания формулируются в процессе теста, на основании интервью с модератором.

Можно использовать средства продукта для постановки заданий. Например, при тестировании ICQ задания респонденты получали через окно чата с модератором, а при тестировании «Почты Mail.Ru» они приходили в письмах. Такой способ постановки заданий был максимально естественным для этих проектов, а еще мы многократно обкатывали базовые сценарии переписки.

Создание естественного контекста. Даже если мы говорим о лабораторных исследованиях, подумайте, как приблизить использование продукта на тесте к реальным условиям. Например, если вы тестируете мобильные устройства, то как респонденты будут их держать? Для хорошего изображения на видеозаписи лучше, когда телефон или планшет фиксированы на стенде или лежат на столе. Однако это не дает понять, все ли зоны доступны и удобны для нажатия, ведь телефоны часто держат одной рукой, а с планшетами лежат на диване.

Стоит подумать об обстановке, в которой будет использоваться продукт: отвлекает ли что-то человека, шумно ли, хороший ли интернет. Все это можно имитировать в лаборатории.

План теста для заказчика. Это также важный этап подготовки, так как он вовлекает проектную команду. Вы можете не посвящать заказчика во все методологические особенности теста (как будете общаться с респондентом, фиксировать данные и прочее). Но обязательно покажите ему, какие будут задания и что вы на них собираетесь проверять. Возможно, вы не учли какие-то особенности проекта, а может быть, у команды проекта появятся дополнительные идеи и гипотезы. У нас обычно получается подобная табличка:

План отчета. Естественно, отчет пишется по результатам исследования. Но есть хорошая практика - составлять план отчета еще до проведения тестов, основываясь на целях и задачах исследования. С таким планом перед глазами вы сможете проверить свой сценарий на полноту, а также подготовить наиболее удобные формы, чтобы зафиксировать данные для последующего анализа. Возможно, вы решите, что отчёт не нужен и достаточно общего файла с наблюдениями для вас и команды. А если вы мотивируете команду заполнять его вместе с вами, будет совсем здорово.

Конечно, вы можете просто «дать попользоваться продуктом» своему другу и наблюдать за тем, какие сложности у него возникнут. Но грамотно составленный сценарий позволит не упустить важные проблемы и не натолкнуть случайно респондента на нужные вам ответы. Ведь юзабилити-тестирование - это упрощенный эксперимент, а в любом эксперименте важна предварительная подготовка.

Протокол любого юзабилити-тестирования состоит из следующих частей:

• Инструктаж или брифинг (приветствие, описание мероприятия, подписание документов).
• Вводное интервью (проверка скрининга, небольшое интервью об использовании продукта, контексте и сценариях).
• Работа с продуктом (задания тестирования).
• Сбор итоговых впечатлений от продукта на основании опыта тестирования.

Инструктаж или брифинг

Независимо от предмета тестирования любое исследование начинается одинаково. Что нужно сделать:

Создать атмосферу. Познакомьтесь с человеком, предложите ему чай, кофе или воду, покажите, где туалет. Постарайтесь немного расслабить респондента, ведь он может нервничать перед мероприятием. Узнайте, легко ли было вас найти, спросите, как настроение.

Описать процесс. Расскажите, что за мероприятие ждет респондента, сколько времени оно займет, из каких частей оно состоит, что вы будете делать. Обязательно обратите внимание респондента на то, что его вклад поможет улучшить продукт и что вы не тестируете способности человека. Если вы ведете видеозапись, предупредите об этом респондента и скажите ему, что данные не появятся в сети. Я говорю примерно следующее:

Мы находимся в офисе компании Mail.Ru Group. Сегодня мы поговорим о проекте ХХХ. Это займет около часа. Сначала мы немного побеседуем, потом я попрошу вас что-то попробовать сделать в самом проекте, а после мы обсудим ваши впечатления. Мы будем вести видеозапись того, что происходит в комнате и на экране компьютера. Запись нужна исключительно для анализа, в интернете вы себя не увидите.

Мы проводим исследование, чтобы сделать проект ХХХ лучше, понять, что в нем нужно исправить и в какую сторону ему развиваться. Поэтому очень прошу вас открыто высказывать любые комментарии: и положительные, и отрицательные. Не бойтесь нас обидеть. Если при изучении проекта у вас что-то не получится, относитесь к этому спокойно. Значит, мы с вами нашли проблему, которую команде проекта нужно исправить. Главное - помните, что мы не тестируем вас, это вы тестируете продукт. Если вы готовы, предлагаю начинать.

Подписать документы. Как правило, это согласие на обработку персональных данных, а иногда еще соглашение о неразглашении информации о тестировании. Для тестов с несовершеннолетними необходимо согласие родителей на участие их ребенка в исследовании. Обычно мы высылаем его родителям заранее и просим принести с собой. Обязательно объясните, зачем вы просите подписать документы, и дайте время изучить их. В России люди с опаской относятся к любым бумагам, которые требуется подписать.

Настроить оборудование. Если вы используете айтрекинг, биометрическое оборудование или просто ведете видеозапись - самое время все это включить. Предупредите респондента, когда начнете запись.

Вводное интервью

Оно решает следующие задачи:

Проверить рекрутинг. На всякий случай всегда начинайте с этого - даже если вы доверяете агентству или человеку, который нашел респондента. Не раз уже на тесте мы выясняли, что респондент неправильно понял вопросы и на самом деле пользуется продуктом не совсем так, как нам нужно. Старайтесь отойти от формальности и не задавать вопросы из скринингового опросника: человек может уже знать, что отвечать на них.

Сценарии и контекст использования продукта. Даже если у вас мало времени на тест, не пропускайте этот пункт. Хотя бы в целом узнайте у респондента, какие задачи он решает при помощи продукта, пользуется ли аналогичными проектами, в каких условиях взаимодействует с ними и с каких устройств. Ответы помогут вам лучше понимать причины поведения респондента, а если вы применяете гибкий сценарий - то и формулировать подходящие задания. Если хватает времени, попросите респондента показать, что и как он обычно делает. Это бывает источником дальнейших вопросов и инсайтов.

Ожидания и отношения. Начало тестирования - хороший момент, чтобы узнать, что респондент знает о продукте, как относится к нему и чего от него ожидает. После теста вы сможете сравнить ожидания с итоговым впечатлением.

Для большинства тестов подойдет такая структура вводного интервью. Если вы тестируете новый продукт, то, возможно, стоит пропустить вводные вопросы. Если вы начнете слишком подробно обсуждать какую-то тему, это может создать у пользователя определенные ожидания от продукта. Поэтому оставьте только пару общих вопросов, чтобы наладить контакт с респондентом, и сразу же переходите к заданиям, а обсуждать сценарии, отношения и контекст лучше после того, как пользователь первично изучит продукт.

Работа с продуктом, составление заданий

Какие бывают задания

Давайте представим, что вы хотите протестировать интернет-магазин. У вас есть важные сценарии (поиск и выбор товара, процесс оформления заказа), известные проблемы (частые ошибки в форме оплаты) и даже гипотеза, что дизайнер что-то намудрил с фильтром по цене. Как же сформулировать задания?

Сфокусированные задания. Кажется очевидным сделать примерно такое задание: «Выберите посудомоечную машину шириной 45 сантиметров с функцией "луч на полу" стоимостью не более 30 тысяч рублей». Это мотивирует респондента пользоваться фильтрами и сравнивать товары между собой. Вы сможете проверить фильтр по цене на всех респондентах и посмотреть на ключевой сценарий подбора товара. Подобные задания вполне имеют право на жизнь и хороши для проверки конкретных гипотез (как с фильтром по цене).

Однако, если весь тест будет состоять из них, то вы рискуете следующим:

• Точечная проверка интерфейса. Вы найдете только те проблемы, которые связаны с деталями задания (фильтр по цене и ширине). Вы не увидите прочих проблем - например, сортировки товаров или других фильтров, - если не укажете и на них. А сделать задания для всех элементов сайта вы вряд ли сможете.
• Отсутствие вовлечения. Подобные задания пользователи часто выполняют механически. Увидев первый товар, подходящий под критерии, они останавливаются. Возможно, в жизни респондент никогда не выбирал посудомойки и ему все равно, что такое «луч на полу». Чем больше задание походит на ситуацию из реальной жизни и чем больше в нём контекста, понятного пользователю, тем выше шансы вовлечь респондента, который представит, что на самом деле выбирает товар. А вовлеченный пользователь лучше «проживает» интерфейс, оставляет больше комментариев, повышаются его шансы найти проблемы и дать полезные знания о поведении и особенностях аудитории.
• Суженный спектр инсайтов. В реальной жизни пользователь, возможно, подбирал бы товар совсем не так. Например, вообще не пользовался бы фильтрами (а тут вы на них указали). Или искал бы товар по критериям, которых нет на сайте. Давая жесткие, сфокусированные задания, вы не узнаете о реальном контексте использования продукта, не найдете сценариев, которые команда проекта, возможно, не предусмотрела, не соберете данные о потребностях в контенте и функциональности.

Задания с контекстом. Один из способов лучше вовлечь пользователей - добавить в сухое задание реальную историю и контекст. Например, вместо «Найдите на сайте рецепт пирога со сливами» предложите следующее: «Через час к вам придут гости. Найдите, что можно испечь за это время. У вас в холодильнике есть все для бисквита, а также немножко слив. Но, к сожалению, нет сливочного масла».

Подобный подход можно использовать и с интернет-магазином. Например: «Представьте, что вы выбираете подарок сестре. У нее недавно сломался фен, и она была бы рада получить новый. Вам нужно уложиться в 7 тысяч рублей». Важно, чтобы респондент действительно выбрал реального человека, которому будет «покупать» подарок (если нет сестры, предложите другого родственника или подругу). Ключевой фактор для подобных заданий - реальность и понятность контекста. Легко представить, что ты выбираешь подарок родным, куда труднее - что ты «бухгалтер, составляющий годовой отчет».

Яркий пример такого подхода - «метод Болливуда», который придумала индийский UX-эксперт Апала Лахири Чаван. Она утверждает, что индусам, как и многим азиатам, сложно открыто высказывать мнение об интерфейсе. Зато, представляя себя героями вымышленных драматических ситуаций (как в любимых ими фильмах), они раскрываются и начинают живо участвовать в тестировании. Поэтому задания для индусов должны выглядеть примерно так:

Представьте, что ваша любимая юная племянница собирается замуж. И тут вы узнаете, что ее будущий муж - мошенник, да еще и женатый. Вам нужно срочно купить два билета на рейс до Бангалора для себя и для жены обманщика, чтобы расстроить свадьбу и спасти семью от позора. Торопитесь!

Задания с опорой на опыт респондентов. Напомним: для успешного тестирования респонденты должны соответствовать аудитории проекта. Поэтому для проверки интернет-магазина бытовой техники мы рекрутируем тех, кто недавно выбирал технику или выбирает ее сейчас. Именно этим мы будем пользоваться, составляя задания с опорой на опыт респондентов. Есть два варианта использования такого подхода:

• Параметры респондентов. В этом случае вы адаптируете фиксированные задания под респондентов. Например, в случае с магазином бытовой техники и задачей на работу с фильтрами уточняете у человека, что именно он недавно приобрел. Узнаете критерии (цена, функции) и предлагаете повторить «покупку» на вашем сайте.
• Сценарии респондентов. Задания полностью формируются с опорой на опыт участников. Чтобы понять, какие сценарии проверить, модератор выясняет, как именно человек решал задачу в жизни, и предлагает сделать это на сайте. Например, покупатель перед выбором долго сравнивал между собой несколько моделей. Даже если на сайте нет подходящей функции, предложите респонденту сравнить товары, чтобы понять, на какие параметры он станет опираться. Возможно, вы получите идеи, как должна выглядеть функция сравнения, а также адаптируете под этот сценарий страницу товара.

Подобные задания дают много реальных примеров выполнения базовых операций в продукте. Это часто порождает гораздо больший спектр проблем и находок. Кроме того, позволяет проверить продукт на новых сценариях, которые вы не считали основными или даже не продумывали.

Когда мы тестировали проект «Недвижимость Mail.Ru», много открытий помогли сделать именно задания с опорой на опыт респондентов. Мы увидели, что люди при поиске квартиры в Подмосковье указывают в геофильтре конечные станции метро, имея в виду, что это станции, до которых можно доехать из области. Мы же рассчитывали, что фильтр по метро ищет квартиру недалеко от станции. Также мы узнали, чем отличаются сценарии поиска новостроек от вторички, что помогло вынести поиск новостроек в другой раздел на сайте - со своими фильтрами и своей концепцией описания квартир. Советую также прочитать отличную Джареда Спула о пользе подобных заданий.

Задания без заданий. Иногда лучше вообще не предлагать пользователям задания на работу с проектом, а посмотреть, с чего они сами начнут знакомство с продуктом. Дайте респонденту вводную: «Представьте, что вы решили попробовать этот продукт. Я оставлю вас на несколько минут. Делайте то, что вы стали бы делать в реальной жизни. Я не даю вам никаких заданий».

Важно, чтобы модератор при этом выходил из комнаты. В противном случае у пользователя появляется соблазн сразу же что-то спросить, уточнить: «А надо ли регистрироваться? А как вот это сделать?» и так далее.

Данный тип заданий полезен для полностью новых продуктов. Мы часто применяем его для мобильных приложений и игр. Так мы узнаем, читают ли пользователи обучающие материалы, какие детали сразу привлекают внимание, что люди понимают в концепции продукта, как потом описывают его возможности. Уже после свободного задания идут запланированные конкретные сценарии.

Еще одна область применения свободных заданий - контентные проекты. Если вы хотите понять, как читают ваши статьи (где надолго задерживаются, что пропускают, на какие элементы на странице обращают внимание), то просто оставьте респондента на несколько минут наедине с проектом. Только без модератора, смотрящего через плечо, пользователь расслабится и будет читать текст так же, как обычно. Так мы тестируем проекты «Новости Mail.Ru», «Леди Mail.Ru»и другие. Этот подход позволил выделить разные модели поведения на сайте, разные паттерны чтения статей и понять, какие типы материалов стоит оформлять по-другому.

Составляем хорошие задания

Первое задание - простое. Начинайте тестирование с ознакомительных и несложных заданий. Респондент должен освоиться с форматом тестирования, особенно если вы используете метод «мысли вслух»: ему нужно привыкнуть к необходимости озвучивать свои мысли и чувства. Не стоит сразу вываливать на него всю боль и страдания интерфейса.

Не подсказывайте. Сформулируйте задания так, чтобы не подсказывать респонденту правильных действий. Если вы хотите протестировать возможность добавлять товары в избранное в интернет-магазине - обойдитесь без задания «Давайте добавим вот этот телевизор в избранное», особенно если кнопка так и называется. Респондент, прочитав задание, будет просто находить на экране кнопку с нужной подписью - возможно, даже не понимая, что именно он делает.

Лучше объяснить смысл задания, не прибегая к терминам в интерфейсе. Например: «На сайте есть возможность сохранить понравившиеся товары и потом выбрать, что из них заказать. Давайте попробуем сделать это с таким-то телевизором».

Следите за терминологией. Не используйте непонятные слова и обозначения. Это кажется очевидным, но мы, привыкнув к каким-то терминам, часто забываем, что их мало кто знает за пределами ИТ-тусовки. Например, при тестировании новой функциональности тредов (цепочек писем) в «Почте Mail.Ru» нам пришлось сложно. Ведь у пользователей, незнакомых с этой функцией, просто нет в голове термина, который бы обозначал треды.

В итоге мы никак их не называли. Мы просто показывали респондентам ящик с подключенными цепочками и обсуждали эту новую возможность, причем давали пользователям самим подобрать слово для обозначения тредов. Это помогло нам позже использовать наиболее понятные тексты в обучающих промоматериалах.

Следите не только за заданиями, но и за вопросами модератора, особенно за теми, которые приходят от команды во время тестирования. Например, при обсуждении функций не стоит использовать слово «тулбар»: оно знакомо не всем. Ещё несколько лет назад далеко не все пользователи знали даже слово «браузер». То, как именно лучше сформулировать задания, зависит от аудитории тестирования. Не стоит кидаться и в другую крайность, объясняя все термины подряд. Например, опытным игрокам не надо растолковывать, что такое «баф», «фраг», «респаун» и так далее.

Меньше тестового. Часто велик соблазн сделать респонденту тестовый аккаунт в системе и проводить тестирование на нем. Ведь можно заранее все обкатать в этом аккаунте, избежать накладок и не тратить время на регистрацию или авторизацию респондента. Часто еще и технически гораздо легче включить новый дизайн на тестовых, а не на реальных данных.

Однако при таком подходе вы рискуете получить гораздо меньше полезных результатов, ведь у тестовых действий нет реальных последствий. Ситуация становится совсем искусственной, пользователям сложно проецировать ее на реальный опыт.

Например, при работе в собственном аккаунте в соцсети респонденты, как и в реальной жизни, будут аккуратно делать все, что могут увидеть их друзья (публиковать ссылки, отправлять сообщения). При настройках собственного ящика в почте они постараются не удалить важные письма. При тестировании интернет-магазинов иногда применяют подход, когда вознаграждение нужно потратить прямо на тесте. В таком случае респондент не ткнет в первый подходящий по заданию товар, а подберет то, что ему на самом деле нужно.

Имея одни лишь тестовые данные, вы найдете проблемы, связанные только с ними, а не проверите функциональность на разных вариациях. Например, когда мы тестировали социальную панель браузера «Амиго», один из респондентов, подключивший в панель свой аккаунт «ВКонтакте», сразу отметил, что так читать ему неудобно. Почти вся лента состояла из подписок на группы с эротическими фотографиями. А в узкой панели на картинках было просто ничего не разглядеть.

Еще одна проблема тестовых данных - сложно разобраться в системе, так как все вокруг непривычное. Например, пользователь соцсети привык узнавать свою страницу по собственной фотографии. Даже тестируя прототипы, мы стараемся максимально их персонализировать. Например, при тестировании кликабельных прототипов в «Одноклассниках» мы всегда адаптируем их для каждого пользователя, вставляя на страницу его имя и фотографию, а иногда и последние новости.

Не ограничивайтесь интерфейсом. Не забывайте о том, что взаимодействие с продуктом часто не ограничивается одним лишь интерфейсом. Если есть возможность, тестируйте сопутствующие продукты или сервисы и связи между ними. При тестировании игр мы стараемся проверить не только игру, но и ее сайт и связанные с ним загрузку, регистрацию в игре, поиск информации на форуме. А при тестировании одного интернет-магазина я также проверяла звонок оператора после оформления заказа, что дало рекомендации для колл-центра.

Думайте о тайминге. Для хорошего сценария важно расставлять приоритеты задач. Скорее всего, если система большая и целей у теста много, вам захочется сделать очень много заданий. Однако уставший респондент уже не будет полезен. Хороший тест длится не больше полутора часов, два - это максимум. Исключение - разве что игры. И помните, что ваши цели - не только задания, но и интервью, опросники, настройка оборудования и подписание документов. Все это обычно занимает не менее получаса.

Если заданий слишком много, а отказываться от каких-то не хочется, можете наименее приоритетные пустить в ротацию, то есть показывать только части респондентов. Или сделать часть теста обязательной для всех, а остальное смотреть только с теми, с кем хватит времени. Но это, скорее всего, будут наиболее успешные респонденты.

Оценивайте полезность задания. Подумайте, действительно ли оно соответствует вашим гипотезам. Например, вы хотите проверить функцию подписки на новости на сайте. Задание «Подпишитесь на новостную рассылку» позволит проверить только то, смогут ли найти рассылку те, кто будет ее искать. Однако люди редко приходят на сайт, чтобы подписаться на новости. Задание не относится к реальной жизни. Вам же нужно понять, замечают ли возможность подписки те, кто выполняет совсем другие задачи.

Проверять это можно разными способами - в зависимости от реализации функции. Если человек занимался заданиями, в которых ему на глаза могла попасть возможность подписки, спросите его, есть ли она на сайте. Только обязательно уточните, где он видел эту возможность или как она реализована, чтобы удостовериться, что респондент не просто с вами соглашается.

Если предложение подписки встроено в процесс регистрации или оформления заказа -посмотрите, воспользуется ли им респондент, а после задания обсудите это. Очень мало шансов, что в лабораторных условиях люди реально подпишутся на рассылки, но можно проверить, обратил ли человек внимание на такую возможность, чего он ожидает от рассылки и так далее.

Сбор итоговых впечатлений

Цель заключительной фазы тестирования - собрать впечатления от работы с продуктом, понять, что понравилось пользователю, а что его расстроило, оценить субъективную удовлетворенность. Как правило, в этой части теста используется сочетание интервью с модератором и заполнения формальных опросников.

Интервью с модератором

В итоговом интервью мы всегда задаем респондентам примерно одни и те же вопросы: «Какие впечатления остались?», «Что понравилось, а что нет?», «Было ли то, что показалось сложным или неудобным?», «Чего не хватало?», «Что хотелось бы изменить в продукте?». Самое время уточнить непонятные моменты поведения респондента, если вы не сделали этого в процессе теста. Если вы до теста узнавали у пользователей отношение к бренду или продукту и ожидания от него - выясните, изменилось ли что-нибудь. При интервью обращайте внимание на следующее:

Социальная желательность. Обращайтесь с результатами интервью очень аккуратно. Если во время теста вы часто слышите импульсивные комментарии под влиянием проблем, то в финальном интервью вовсю расцветает социальная желательность.

Одним кажется, что, говоря о проблемах в продукте, они признаются в собственной некомпетентности. Другие просто не хотят расстраивать приятного в общении модератора. Очень часто респонденты (особенно женщины), которые промучились весь тест, говорят, что все, в принципе, нормально. Отрицательные отзывы также могут быть продиктованы социальной желательностью: если респондент уверен, что цель теста - найти недостатки, он старательно пытается их отыскать.

Цитаты и приоритеты. Хотя все слова участников теста в финальном интервью часто нужно делить на два, а то и на десять, это не значит, что они бесполезны. По тому, как респонденты подытоживают впечатления, вы можете сделать вывод о приоритетах. Продукт - «полный отстой»? Что именно повлияло на это? Какую из многих проблем респондент запомнил больше всего и считает самой раздражающей?

Однако делайте скидку на то, что лучше всего запоминается последнее задание. Также очень полезно отслеживать, какими прилагательными респонденты описывают продукт, с чем сравнивают свой опыт.

Не забываем о хорошем. Очень часто отчет о юзабилити-тестировании - это длинный перечень найденных во время теста проблем. В общем-то, поиск проблем - одна из основных задач исследования. Но не забывайте и о положительных сторонах продукта.

Во-первых, отчет без положительных результатов просто демотивирует команду. А во-вторых, полезно знать, что пользователям в продукте нравится: вдруг при следующем редизайне решат убрать функцию, которая так всем приглянулась. Поэтому обязательно спрашивайте у респондентов о положительных сторонах продукта, даже если они ругали интерфейс в течение всего тестирования.

Отношение к «хотелкам». Скорее всего, респонденты, помимо своих впечатлений, будут высказывать пожелания и идеи. Ваша задача - понять, какая проблема стоит за предложениями. Потому что решения, которые предложат пользователи, с высокой вероятностью вам не подойдут. Ведь участники тестирования не дизайнеры, они не в курсе особенностей и ограничений разработки. Тем не менее за любым подобным запросом стоит потребность, которую вы должны зафиксировать. Если респондент говорит, что ему вот здесь непременно нужна большая зеленая кнопка, обязательно спросите: а зачем?

Мера удовлетворенности

Часто по словам респондента в финальном интервью сложно понять, понравился ему продукт или нет, а уж тем более трудно сравнить отношение нескольких респондентов, которые и плюсы отмечали, и недостатки находили. Тут на помощь исследователю приходят опросники. Во-первых, при заполнении опросника (особенно до разговора с модератором) чуть меньше влияние пресловутой социальной желательности, хотя полностью вы от него не избавитесь. Во-вторых, опросник дает вам четкие параметры для сравнения сценариев, продуктов или стадий проекта.

Составление хорошего опросника - отдельная и очень большая тема. Тут важны и формулировки, и шкалы, и многое другое. Хорошим подспорьем могут стать готовые и проверенные опросники: они уже отточены и многократно протестированы. Проблема только в том, что почти у всех этих анкет нет официальных переводов на русский. Естественно, вы можете перевести их самостоятельно, но с методологической точки зрения переводы нужно протестировать, чтобы проверить корректность формулировок. Тем не менее анкеты могут стать ориентиром при составлении собственных опросников.

Есть опросники, которые даются после каждого задания, чтобы оценить удовлетворенность от конкретных сценариев. Например:

• After Scenario Questionnaire (ASQ) . Три вопроса о сложности, продуктивности и подсказках в системе.
• Single Ease Question (SEQ) . Один вопрос о сложности сценария.

А есть анкеты, которые применяются уже в заключительной фазе тестирования. Вот несколько примеров, которые мы используем при необходимости:

• System Usability Scale и Post-Study System Usability Questionnaire . Два классических и популярных опросника, созданных более 20 лет назад. Оба состоят из утверждений. Респонденты должны указать степень согласия с ними. Все эти утверждения с разных сторон характеризуют юзабилити продукта. Например: «Я легко мог найти нужную информацию», «Разные возможности системы легко доступны» и так далее.
• . Опросник, который часто помогает нам на тестах. Пользователю предоставляется набор прилагательных, из которых он выбирает те, что могут характеризовать продукт. В итоге вы получаете облако слов - характеристик вашего проекта. Часто эта методика приносит очень интересные результаты.
• Game Experience Questionnaire . К играм нельзя применять классические юзабилити-опросники: вовлеченность в игровой процесс гораздо важнее, чем понятность интерфейсов. Поэтому для игр нужно всегда составлять особые опросники или пользоваться Game Experience Questionnaire. Опросник содержит несколько модулей: базовый модуль, внутриигровой блок, постопросник и опросник социальных возможностей игры.
Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

От автора: не будем кривить душой: любой сайт создается для получения прибыли. Владельцы интернет-магазина «спят и видят», как бы продать побольше товаров. Разум блоггеров постоянно занят поисками . Даже сайты благотворительных организаций - и те создаются с целью извлечения выгоды, в частности, для привлечения внимания спонсоров и общества к проблеме. Однако, максимальную отдачу можно получить только если сайтом удобно пользоваться. Как лучше проверить юзабилити сайта? Об этом и поговорим сегодня.

Согласитесь, на сайт с удобной навигацией, красивым дизайном, качественной информацией и хорошей функциональностью хочется возвращаться снова и снова. Чего не скажешь о неудобных веб-ресурсах, которых совсем не заботит комфорт пользователей. А те, в свою очередь, чувствуя неуважение к себе и своим потребностям, быстренько ретируются с такого сайта, так ничего и не купив. Чтобы этого не произошло, нужно обязательно проверять юзабилити сайта.

Юзабилити сайта (от англ. Usability) - это удобство в его использовании. Чем выше юзабилити, тем выше качество сайта, тем проще и быстрее посетитель может достичь свой цели - например, сделать заказ или найти какую-то информацию.

Основными проблемами, которые можно выявить при проверке юзабилити сайта, являются:

Наличие даже одной из вышеупомянутых проблем может довольно плачевно повлиять на место сайта в поисковой выдаче, его посещаемость потенциальными клиентами и в целом, на их лояльность к ресурсу.

Что такое юзабилити-тестирование?

Это исследование, направленное на определение степени удобства и соответствия веб-страницы или пользовательского интерфейса их предполагаемому применению. Этот процесс, называемый также проверкой эргономичности, предполагает привлечение пользователей в качестве тестировщиков, чтобы на выходе получились объективные данные.

Как проходит процесс тестирования в «лабораторных условиях»?

Пример тестирования юзабилити: пользователю предлагают решить некоторые задачи, для выполнения которых создавался данный веб-ресурс, и в процессе выполнения теста фиксировать свои замечания. Фиксация замечаний осуществляется обычно с помощью видео- или аудиозаписи, чтобы затем их можно было детально проанализировать.

В процессе могут участвовать наблюдатели, которые следят за ситуацией и делают свои заметки о ходе тестирования. Возможен такой вариант проверки юзабилити и функциональности сайта: разрабатывается «идеальный» сценарий поведения пользователя и его «путешествия» по сайту, а затем фиксируются отклонения от этого маршрута и выполняются соответствующие правки.

После нескольких кругов ада итераций «тест/доработка» можно получить интерфейс, приемлемый для решения той или иной задачи, удобный клиенту и приносящий прибыль владельцу сайта.

Использование фокус-группы

Одна из разновидностей описанного выше способа - тестирование продукта с помощью фокус-группы. Его суть состоит в том, что реальные пользователи заходят на сайт и осуществляют различные действия вплоть до совершения конверсии.

В результате вы получите обратную связь «со стороны», список вопросов и возникших трудностей и, возможно даже, предложений по доработке. В таком исследовании должны участвовать представители целевой аудитории, которые отличаются между собой уровнем владения компьютером, профессией, социально-демографическими и другими характеристиками.

Данный вид проверки юзабилити сайта онлайн позволит проанализировать продукт с позиции конечного пользователя и получить ответы на следующие вопросы:

отвечает ли структура и дизайн интерфейса целям бизнеса;

на какие элементы пользователь обращает больше всего внимания;

удобная ли навигация;

быстро ли пользователь может адаптироваться к интерфейсу и его функционалу;

нормально ли работает механизм обратной связи;

Современные тенденции и подходы в веб-разработке

Узнайте алгоритм быстрого роста с нуля в сайтостроении

производит ли продукт правильное впечатление;

имеются ли различия в реальных и конверсионных пользовательских маршрутах.

Где взять эти самые фокус-группы? Для этого существует множество сервисов для тестирования юзабилити с помощью фокус-групп (askusers.ru, usabilla.com, sitepolice.ru и др.); можно также воспользоваться помощью специализированных компаний.

Минусом данного метода является его платность. Для получения нормальной выборки (не из 2-х человек) вам потребуется немалый бюджет. Кроме этого, привлекая к исследованию фокус-группы, вы, скорее всего, получите только перечень проблем, решение которых вам придется искать либо самостоятельно, либо с помощью специалистов.

Инструменты для оценки юзабилити

Как еще можно проверить юзабилити сайта онлайн? В интернете существует огромное количество различных инструментов, как платных, так и бесплатных. Приведу самые полезные, на мой взгляд:

Google Analytics Content Experiments. Это бесплатный и доступный всем инструмент, с помощью которого вы можете тестировать практически любые изменения на веб-сайте, чтобы понять, способствуют ли они снижению показателя отказов или увеличению конверсии.

Для подключения инструмента перейдите в Google Analytics и найдите вкладку «Поведение» - «Эксперименты». Чтобы настроить эксперимент, нужно произвести несколько действий:

задать название и цель эксперимента. Целью может быть посещение веб-страницы, покупка товара, присутствие пользователя определенное время. Цель можно создать свою или выбрать из предложенных Google Analytics;

выбрать процент распределения трафика. Это количество посетителей, которые будут видеть тот или иной целевой вариант;

задать минимальное время эксперимента. Обычно это недели две;

настроить порог достоверности. Чем он выше, тем точнее будет определен выигрышный вариант, однако, это увеличит время эксперимента.

К недостаткам использования данного инструмента можно отнести невозможность проверки сразу нескольких задач, отсутствие поливариантности тестирования и сегментации трафика.

Visual Website Optimizer. Он позволяет эффективно повысить конверсию, обладает простым онлайн-редактором для настройки множества вариантов своей посадочной страницы, создает уникальные связки таргетинга. К примеру, вы можете указать ему: если посетитель пришел к нам с Вконтакте и пользуется OS Windows, то, будь добр, покажи ему эту веб-страницу, а если он заходит с MacBook, то вот эту…Также Visual Website Optimizer может похвастаться удобной системой отчетности и еще кучей разных фишек.

Qualaroo. Бесплатный опросник пользователей, позволяющий узнать непредвзятое мнение о веб-ресурсе. С его помощью вы сможете определить проблемы и увеличить вашу прибыль. Этот инструмент обратной связи существенно облегчает работу юзабилити-аналитикам.

Яндекс.Метрика. Позволяет проанализировать этапы заполнения формы и выяснить, какие из них вызвали наибольшие затруднения у посетителей, какие пользователи не стали заполнять тот или иной пункт и т. д.

Тепловые карты. К ним можно отнести «Карту кликов» Яндекс.Метрики, статистику веб-страниц Google Analytics, usabilitytools.com, feng-gui.com и т. д. Эти инструменты позволяет оценить суммарное поведение пользователей на сайте. С помощью тепловых карт вы сможете увидеть, куда кликает большинство людей, а куда - нет. В зависимости от результата вносятся соответствующие корректировки.

Чек-лист для проверки

Быстро ли загружаются веб-страницы? Перегруженность анимациями, тяжеловесными картинками и флеш-заставками могут повлиять на рейтинг вашего сайта в поисковой выдаче и, конечно же, на лояльность пользователей.

Есть ли логотип на каждой странице? На нем должна присутствовать ссылка на главный ресурс.

Как оформлен контент? В тексте должна быть хорошая структура: заголовок, подзаголовки, списки и т. д. И не должно быть ошибок. Недооформленный текст с ошибками плохо читается и воспринимается как людьми, так и роботами поисковых систем. Заголовки и подзаголовки должны быть емкие и краткие, соответствовать той рекламе, что размещается в сети.

Надеюсь, данная статья была вам полезна в оценке юзабилити сайта. Подписывайтесь на обновления нашего блога и узнайте еще много чего полезного о юзабилити, веб-дизайне, и других областях . До скорых встреч!

Современные тенденции и подходы в веб-разработке

Узнайте алгоритм быстрого роста с нуля в сайтостроении