Добавлен: 03.05.2024
Просмотров: 8
Скачиваний: 0
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Отчет по теме 6 (Куликов Денис)
Проведение A/B-тестирования
1. Постановка цели.
Основная цель данного тестирования – увеличение объема продаж товаров с приложения TastyLife, на который льется трафик с контекстной рекламы.
В данном случае проводится тестирование двух вариантов. Первый вариант – прототип №1 (мелкий текст и прямоугольная кнопка), будет предложен пяти респондентам группы А. Второй вариант – прототип №2 (более крупный текст и круглая кнопка), будет предложен пяти респондентам группы B.
Респонденты должны сообщить, за какой промежуток времени им удалось добавить товар в корзину.
2. Выбор метрики.
Ключевая метрика – количество времени, которые мы затратим на оформление заказа.
3. Определение гипотезы.
Если сделать текст кнопки более крупным, а края более привычными для кнопки, то пользователи будут успешнее справляться с задачей.
Нулевая гипотеза: изменения ни к чему не приведут, конверсия остается прежней.
Альтернативная гипотеза: изменения приведут к повышению конверсии минимум на 20%.
4. Проведение тестирования.
В результате тестирования были получены следующие результаты:
| Группа A (работа с мелким текстом и прямоугольной кнопкой) | |
| Пользователь 1 | 24 секунды |
| Пользователь 2 | 17 секунд |
| Пользователь 3 | 40 секунд |
| Пользователь 4 | 8 секунд |
| Пользователь 5 | 10 секунд |
Среднее время обработки – 19,8 секунд
| Группа В (работа с крупным текстом и круглой кнопкой) | |
| Пользователь 1 | 15 секунд |
| Пользователь 2 | 11 секунд |
| Пользователь 3 | 21 секунда |
| Пользователь 4 | 12 секунд |
| Пользователь 5 | 17 секунд |
Среднее время обработки – 15,2 секунд
5. Проверка данных на нормальность.
Группа А
Группа B
В группе B разброс значений получился меньше, среднее время обработки сократилось на 4,6 секунды.
6. Анализ выборок при помощи теста Манна-Уитни.
| Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
| 1 | 8 | 1 |
| 2 | 10 | 2 |
| 3 | 11 | 3 |
| 4 | 12 | 4 |
| 5 | 15 | 5 |
| 6 | 17 | 6.5 |
| 7 | 17 | 6.5 |
| 8 | 21 | 8 |
| 9 | 24 | 9 |
| 10 | 40 | 10 |
Ранжирование данных
| X | Ранг X | Y | Ранг Y |
| 8 | 1 | 11 | 3 |
| 10 | 2 | 12 | 4 |
| 17 | 6.5 | 15 | 5 |
| 24 | 9 | 17 | 6.5 |
| 40 | 10 | 21 | 8 |
| Сумма | 28.5 | Сумма | 26.5 |
Таблица рангов