Юзабилити-тесты с помощью ИИ: ищем ошибки в UI/UX за 2 минуты без респондентов

 Публичный пост
20 марта 2025  803

Привет! Меня зовут Александр, я работаю в дизайн-студии, провожу юзабилити-тесты. Благодаря общению с людьми я нахожу для команды инсайты не только на уровне интерфейса, но и на уровне восприятия продукта. И, как следствие, мы вносим важные изменения до разработки. Но, на мой взгляд, это сложно, долго и дорого для небольших команд.

Что с этим делать? Создать инструмент, который избавит от сложностей с поиском респондентов, организацией онлайн-звонков и обработкой всех результатов. Поэтому я расскажу про очередной новый ИИ-сервис — Tolpa. Он имитирует поведение пользователей, анализирует изображения интерфейса и находит ошибки.

В чём проблема?

Казалось бы, это отличная идея: живые люди оценят удобство продукта и помогут его улучшить. Но на практике — это настоящий квест. Главная проблема — где взять подходящих респондентов? Можно воспользоваться биржами, но насколько качественной будет обратная связь от людей, которым просто заплатили?

Большая удача, когда заказчик готов предоставить контакты клиентов или сотрудников, которые знакомы с компанией, имеют опыт взаимодействия, и у них есть мотивация оценить новый сервис, который может появиться в будущем.

Сложности с юзабилити-тестированием

Нельзя просто так взять и провести юзабилити-тестирование. Если респондента не подготовить, то первые 30 минут будем разбираться куда нажать, чтобы начать. Если мы тестируем прототип мобильного приложения — это означает, что заранее нужно:

  • Помочь установить Figma, чтобы открыть прототип
  • Подготовить тестовую учётку для Figma
  • Убедиться, что у респондента есть приложение для звонка
  • Помочь настроить демонстрацию экрана

Низкая цифровая грамотность респондента может усложнить эти действия до абсурда. Кстати, ещё надо подготовиться самому, составить сценарии, вопросы и записать звонок.

После звонка модератор тратит время на расшифровку, фиксацию комментариев и составление отчёта. Чтобы выборка была репрезентативной, нужно провести минимум 5 таких тестов (советует нам Якоб Нильсен). Оно, конечно, того стоит. Но затраты времени и ресурсов на такой процесс большие. Мы крепко задумались, как сделать юзабилити-тесты доступнее. В идеале — сделать UX-исследования обязательным этапом и применять во всех проектах, а не там, где у заказчика есть на это ресурсы.

Что умеет Толпа

Когда вы загружаете картинки своих интерфейсов, ИИ моделирует поведение пользователей с заданными параметрами, оценивает ваши интерфейсы, отвечает на вопросы, проверяет гипотезы, которые вы укажете. Затем обрабатывает все результаты и даёт рекомендации по UI/UX.

Сделали редактор юзабилити-тестов
Сделали редактор юзабилити-тестов

Перед запуском мы провели кастдев на 20 пользователей. Что мы узнали:

  • Просто загружать экран интерфейса недостаточно — важно тестировать путь пользователя, чтобы оценивать не только дизайн, но и последовательность шагов. Поэтому в Толпе можно создавать сценарии из 5 шагов.
  • Нужно добавлять вопросы и гипотезы не к исследованию в целом, а к каждому шагу сценария. Так инсайты получаются точнее.
  • Пользователям важно видеть не только рекомендации, но и рассуждения. Поэтому в отчётах мы оставили краткие расшифровки анализа.

Некоторые пользователи хотели бы тестировать интерфейсы по ссылке. Технически это возможно, но это на порядок сложнее. Для MVP мы выбрали тот инструмент, который уже приносит пользу и которым пользуемся сами. Например, тестируя сценарий «записаться к врачу» на Госуслугах (отчёт), Толпа обнаружила, что слоты для записи нужно раскрыть в самом низу страницы, и это действительно неочевидно и неудобно.

Нужно нажать на ФИО врача внизу, чтобы увидеть доступные слоты
Нужно нажать на ФИО врача внизу, чтобы увидеть доступные слоты

Сейчас мы стремимся рассказать о сервисе тем людям, для которых старались: UX-исследователи, UI/UX дизайнеры, менеджеры продуктов, владельцы сайтов или приложений. У нас есть телеграм канал, где мы будем выкладывать промокоды и рассказывать о новых функциях. Например, несколько дней назад мы добавили возможность вставки изображений из буфера: удобно вставлять изображения сразу из фигмы. Совсем скоро прикрутим промокоды и начнём раздавать.
Если вам близка тема юзабилити и UX-тестирования, можете попробовать сервис бесплатно. Мы будем рады, если он окажется вам полезен.

11 комментариев 👇

Привет, в тексте постоянно используются некорректные названия методов. Из-за этого доверять самому сервису с такой презентацией тяжело.

Казалось бы, это отличная идея: живые люди дадут реальные отзывы, помогут улучшить продукт.

В ходе юзабилити-тестирования люди не дают отзывы, они выполняют сценарий, а исследователь наблюдает за ходом выполнения, фиксирует проблемы и задаёт вопросы, если не понял, почему возникали сложности.

Можно воспользоваться биржами, но насколько качественной будет обратная связь от людей, которым просто заплатили?

Не обязательно брать людей с панелей (под ними как я понимаю подразумеваются биржи), можно брать реальных пользователей тестируемого сайта, пользователь конкурентов.

Большая удача, когда заказчик готов предоставить контакты клиентов или сотрудников, которые знакомы с компанией, имеют опыт взаимодействия, и у них есть мотивация оценить новый сервис, который может появиться в будущем

Вы можете рекрутировать респондентов из числа клиентов заказчика не используя базу заказчика. Неудача при доступе к контактам как правило связана с тем, что передачу персональных данных клиенты запретили.

Далее вы описываете процесс юзабилити-тестирования, но используете для него неверное название интервью. Интервью -- это другой метод исследования.

Низкая цифровая грамотность респондента может усложнить эти действия до абсурда.

Если у вашей репрезентативной группы низкая цифровая грамотность, то она останется таковой и при использовании тестируемого продукта (есть несколько случаев исключений, но если говорить про общие задачи, то человек не знающий, что на кнопки можно нажимать в ходе теста если и прозреет, то на скорости и успешности выполнения это всё равно скажется).

ИИ моделирует поведение реальных пользователей, оценивает ваши интерфейсы, отвечает на вопросы, проверяет гипотезы, которые вы укажете.

Как ИИ собирает описание поведения реальных пользователей? На основе каких данных?

  Развернуть 1 комментарий

@wid0ki, мне кажется, что целевая аудитория поста — не ux-ресерчеры, а владельцы бизнеса, и продающая презентация может подчёркивать боль, не фокусируясь на ее причинах, и использовать некорректную, но понятную терминологию 🤔

  Развернуть 1 комментарий

@mixbez, имхо, лучше вообще не использовать терминологию (юзабилити-тестирование = тестирование сайта клиентами, тест-драйв), чем использовать некорректную. У меня сразу в голове: если они не знают корректные названия даже, то с методологией тоже накосячат.

  Развернуть 1 комментарий

@mixbez, хотелось бы, чтобы было полезно всем, кто создаёт интерфейсы. Для специалиста это может быть доп. информация о поведении пользователей, в дополнение к результатам "реальных тестов".

  Развернуть 1 комментарий

@wid0ki, Привет! Спасибо за комментарий, поправил текст.

Согласен, что можно договариваться с пользователями сайта и пользователями конкурентов, когда есть выделенный человек, чтобы этим заниматься. Сложностей в организации хватает, мы ищем пути как упростить эти орг. вопросы.

Проблема низкой цифровой грамотности мешает на этапе организации юзабилити-теста. Люди могут не понимать как пользоваться прототипом, как входить в Figma, демонстрировать экран с телефона и т.д., при этом могут без проблем взаимодействовать с готовым приложением.

  Развернуть 1 комментарий
Настя Кудрявцева Фронтенд разрабочица 21 марта в 22:25

Классный пост, а главное полезный!
Надо будет чекнуть тулзу

  Развернуть 1 комментарий

@leider-doch, привет! Пиши, если будут вопросы и предложения. Для клубчан сделали промокод на скидку 80%: UXSTART

  Развернуть 1 комментарий
Mikhail Rosin Веб разработка. Фронтенд. Ранее тимлид, теперь разработчик на все руки. 23 марта в 23:55

Звучит полезно.
А инструмент прямо по сайту ходит или ему макеты фигмы нужны?

  Развернуть 1 комментарий

@vindi, Нужны макеты. Смотрит на изображения, которые загружает пользователь. Это могут быть прототипы, макеты или скриншоты с прода.

  Развернуть 1 комментарий
Влад Клюев Дизайнер, js-разработчик. 25 марта в 23:58

Эм. А почему я должен доверять результатам в этом случае?

  Развернуть 1 комментарий

@crafted, Толпа неплохо анализирует изображения, учитывает параметры аудитории, ваше задание, ожидаемые действия, которые вы указываете.

Мы сравнивали результаты с юзабилити-тестами на людях, пришли к выводу, что контекста достаточно, чтобы получать полезные рекомендации по дизайну.

Для объективности лучше комбинировать разные методы исследования и использовать Толпу как доп. источник информации.

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб