Как проводить количественные исследования и зачем они нужны

Разделы

1. Проблема вкусовщины: когда решения не так прозрачны, как Nuka-Cola 

2. Инструментарий Vault-Tec: чем вооружена наша дизайн-команда

3. Разбор убежища по кирпичику: анатомия количественных исследований

4. Ядерное руководство по количественным исследованиям

5. Истории из пустоши данных: примеры успешных миссий 

6. Не всё так гладко: просыпаемся от сладкого криосна

В статье будут примеры того, как провалидировать гипотезы, собрать обратную связь, получить мнения пользователей до релиза. Рассказываем только реальный опыт нашей команды, только хардкор.

Проблема вкусовщины: когда решения не так прозрачны, как Nuka-Cola

Зачем вообще нужно проводить исследования? В продуктовых командах часто возникают разногласия в восприятии дизайна между менеджерами, дизайнерами и разработчиками. Это может затянуть процесс принятия решений и снизить уверенность в качестве продукта. В этой статье мы расскажем, как количественные исследования помогают преодолеть эти разногласия и улучшить качество ваших дизайн-решений. 

Создание нового инструмента/интерфейса, редизайн приложения или изменение текста на кнопке – всё это замечательно. Но понятны ли эти изменения пользователю? Сколько времени он тратит на поиск нужной кнопки? Являются ли основные функции очевидными для конечного пользователя? На эти вопросы ответит количественное исследование.



Основная цель количественного исследования — понять, как пользователи воспринимают продукт и взаимодействуют с ним. Кроме того, такие тесты позволяют оценить интуитивность конкретных дизайн-решений, выявляя запутанную навигацию, непонятные подсказки и прочие проблемы. Полученные на основе анонимных данных среднестатистических пользователей результаты помогут принять обоснованное решение.

Также количественные тесты «спасают» команду от создания новых экранов или функционала, которые будут не такими понятными и эффективными, как вы их себе представляли.

Если кратко, то исследования:

1. Выявляют трудности в использовании интерфейса

2. Указывают на точки развития и приносят инсайты

3. Улучшают понимание поведения пользователей 

4. Не тратят время разработки

Для оценки дизайн-решения подходят как качественные, так и количественные исследования. Но не стоит их путать. Основное отличие качественных исследований от количественных состоит в том, что первые позволяют выявить потребности пользователей, а вторые — собрать данные, подтверждающие ценность выдвинутых вами идей. Часто компании не проводят качественные исследования из-за отсутствия времени, средств и понимания методологии. Количественные же исследования проводить проще, они недороги и позволяют собрать статистические данные за короткий период времени. Для таких исследований нужно минимум 40 респондентов на один тест и пару часов на сбор ответов. Запуск количественных исследований так прост, что его может внедрить в свою работу любая продуктовая команда.

Инструментарий Vault-Tec: чем вооружена наша дизайн-команда

Теперь, когда мы поняли, зачем нужны количественные исследования, давайте поговорим о том, как мы их проводим и какие инструменты используем.

1. Большинство ключевых исследовательских инструментов, которые мы используем в своей работе, находятся в сервисе Lyssna (ранее Usability Hub). Этот сервис позволяет тестировать интерфейсы на большом количестве пользователей и подстраивать аудиторию под поставленную задачу. С помощью этого сервиса мы проводим различные типы опросов — от дизайн-вопросов, А/В, теста навигации до тестирования полноценных прототипов, собранных в Figma. В результате сервис предоставляет количественные данные о выполнении задачи, а также комментарии участников, где это необходимо.

2. Модерируемое юзабилити-тестирование — ещё один инструмент, который мы используем для сбора количественных данных. Бонусом такого рода тестирований, в отличие от инструментов, предлагаемых в Lyssna, можно считать обнаружение инсайтов пользовательского опыта, о которых мы не подозревали. В зависимости от типа исследования результаты модерируемого тестирования иногда могут быть более релевантными, несмотря на меньшую выборку. Для модерируемых тестирований могут применяться прототипы или специально подготовленные сборки. Проводить их можно как офлайн, так и онлайн (с помощью приложений с демонстрацией экрана или сервиса вроде Maze).

3. Горилла-тесты aka коридорки — быстрый инструмент для проверки решений, которые мы применяем в условиях ограниченного времени, возможностей и выбора метода. Сюда же можно отнести те исследования, которые мы оформляем в сервисе Lyssna, но тестируем на коллегах, отправляя им ссылку для доступа.

В каждом инструменте есть свои сильные и слабые стороны, особенности, которые имеют значение для того или иного исследования. 

И, конечно, не стоит забывать, что на результаты исследований часто влияет релевантный опыт участников. Поэтому наличие данных — это только половина успеха, также важно уметь их анализировать. После проведения исследования мы всегда анализируем результаты, составляем отчеты, выявляем слабые места и стараемся улучшить пользовательский опыт.

Разбор убежища по кирпичику: анатомия количественных исследований

Любое исследование начинается с выдвижения гипотезы. Что такое гипотеза? Это предположение о том, как конкретное изменение или набор изменений в продукте влияет на поведение пользователей и бизнес-показатели.

Обычно продуктовые гипотезы состоят из трех основных компонентов: 

• Целевая аудитория

• Проблема/потребность 

• Решение

Если мы добавим N в наше приложение для X (целевая аудитория), это решит проблему Q (проблема), что приведет к A1 (бизнес-показатели).
Скелет продуктовой гипотезы

Продуктовая гипотеза является ключевым элементом процесса разработки продуктов, так как она помогает команде сосредоточиться на реальных потребностях пользователей и избежать необоснованных предположений. После формулирования гипотезы её необходимо проверить, используя различные методы валидации, такие как A/B-тестирование, опросы пользователей, анализ данных и т.д. В нашем случае, это количественные исследования.

Перед началом исследования необходимо подготовить тестовые материалы — макеты. Они должны быть максимально приближены к реальному пользовательскому опыту. Макет может быть один или несколько, в зависимости от целей исследования и количества проверяемых гипотез. Если это кликабельный прототип, он должен включать все элементы, которые необходимо протестировать. При создании прототипа важно учитывать не только линейные пути, но и возможность вернуться на предыдущий этап.

Основные этапы количественного исследования:

1. Формулировка гипотезы или проблемы

2. Выбор инструмента исследования

3. Подготовка макета или прототипа

4. Составление сценария и вопросов

5. Запуск исследования 

6. Анализ результатов

Основные виды тестов в нашей команде: