10 полезных советов для A/B тестирований

Будучи перманентно «по уши» в работе, мы очень мало времени уделяем проведению различного рода экспериментов и тестирований, хотя прекрасно знаем, что правильно проведенный эксперимент может значительно увеличить конверсию и прибыль. Недавно я наткнулся на хорошую статью и решил поделиться её вольным переводом с авторскими дополнениями.

A/B или сплит тестирование – простой и качественный способ сравнить два варианта реализации одного элемента между собой с целью выявления более удачного.

Для начала несколько важных вопросов:

№1 Какая у вас конверсия?

№2 Когда вы последний раз проводили тестирование каких-то элементов вашего сайта?

№3 Когда вы последний раз проводили тестирование каких-то элементов вашего бизнеса?

№4 Проводили ли вы вообще какое-либо тестирование элементов сайта или бизнеса?

№5 Зачем вам сайт? А бизнес?
Если в ответ на 1-й вопрос, вы пишете «100%» – не читайте дальше – вы Бог!

Правильный ответ на 2 и 3-ий вопросы: «Сейчас провожу». Если проводите, то мой вам поклон – статья только укрепит ваши знания. Если нет, то при условии, что при ответе на последний вопрос вы не затрудняетесь с ответом – эта статья именно для вас!

В этой статье мы рассмотрим 10 простых вещей, которые следует учитывать при проведении A/B тестирования вашего сайта, бизнеса, жизни, да и вообще чего угодно. Но мы, конечно, поговорим в первую очередь о сайтах.

1. Тестируйте всё, что можно. Есть столько всего, что можно измерить: цвета, шаблоны, тексты, формы кнопок, дизайн, время постинга и частота твитов, баннеры, источники трафика – перечень элементов практически безграничен. Чем больше переменных вы можете сравнить, тем лучший результат вы можете достигнуть.

2. Не тестируйте всё сразу. В каждый момент времени тестируйте только один элемент на одной странице или группе страниц, иначе вы не сможете определить, что именно дало результат. Например, если вы тестируете варианты кнопки купить и при этом измените продающий текст, то как определить, что в какой пропорции сработало? Если же вы будете тестировать только один элемент – вопросов не возникнет.

3. Начинайте с малого. При проведении A/B тестирования не нужно сразу браться за глобальные изменения, попробуйте изменить что-то небольшое и оценить результат. Таким изменением может быть изменение кнопки «добавить в корзину» на «купить» – возможно, это даст хорошую конверсию. К тому же, начиная с малого, вы сможете хорошо отточить свое мастерство и в последствии сможете перейти к более глобальным экспериментам.

4. Не бойтесь проводить более сложное тестирование. Когда вы освоитесь с простыми вариантами тестирования, можно перейти к A/B/C тестированию или попробовать сравнить два абсолютно разных дизайна страницы. Последнее на первый взгляд противоречит второму пункту (не тестировать всё сразу), но в данном случае можно сказать, что переменная у нас «дизайн».

5. Тестируйте всегда. Всегда нужно что-то тестировать, ведь нет предела совершенству. Закончили тест какого-то элемента, запускайте тестирование другого. Ваша цель – достигнуть 100% конверсии. Когда достигнете – можно остановиться, но не раньше! Тестировать можно параллельно разные вещи на разных страницах, например кнопку «купить» на одной группе товаров, шаблон – на другой, добавление отзывов – на третьей. Важно, чтобы эти изменения не пересекались (пункт 2 не нарушаем).

6. Не ограничивайте тестирования только сайтом. Не нужно концентрироваться только на сайте – пробуйте менять стиль вашего корпоративного блога, примеряйте разные роли в социальных сетях, экспериментируйте со стилистикой твитов, статусов и заметок. Исследуйте маркетинговые каналы и свои возможности – главное при этом анализировать правильные метрики.

7. Не считайте, что каждый результат является статистически достоверным. Не все результаты статистически значимы. Например, если вы сравниваете эффективность заголовков двух рассылок, то не факт, что к результату привел именно заголовок, возможно, содержание письма было разного качества.

8. Анализируйте статистическую достоверность результатов. Вместо того, чтобы предполагать, любой полученный результат нужно проанализировать на статистическую значимость. Для простого определения статистической значимости результатов можно воспользоваться on-line калькулятором.

9. Не останавливайтесь, если ваши результаты не достоверны. Время от времени ваши результаты могут оказываться недостоверными. В этом случае есть два варианта – возможно, стоит подождать и получить большую выборку результатов, а, возможно, проверяемый показатель действительно не является важным для клиента либо альтернативные варианты равносильны.

10. Внедряйте полученные результаты. Если полученные результаты достоверны, внедряйте их. Если же вы пришли к выводу, что показатель не влияет на результаты – положитесь на свой вкус и переходите к следующему фактору.

Также добавлю от себя:

Для различных источников трафика значимыми могут быть различные показатели.

Оценивать нужно все варианты конверсии. Возможно, один вариант страницы будет генерировать больше заказов on-line, другой – больше звонков по телефону.

Когда вы не развиваетесь – вы деградируете.