Обзор сервисов для A/B тестирования

Пробуем сервисы, которые помогают менять сайт к лучшему

A/B тестирование — маленький эксперимент, который проводится над пользователями сайта. Его суть — проверять гипотезы.

Если вы думаете, что пользователи сайта будут чаще кликать на фото модели в бикини, а не на бизнесмена в очках, это легко подтвердить или опровергнуть. Создайте две странички, на одну поместите бизнесмена, на другую — модель. И ждите. А время покажет, правы вы или нет. Аудитория сайта действием проголосует за тот вариант, который им симпатичнее. И так, проводя A/B тестирования и наблюдая за поведением пользователей, можно постепенно подгонять сайт под их вкусы и хотелки.

Подробнее об A/B тестировании мы писали в . Но чего-то в ней не хватало. Мы её покрутили, повертели, посмотрели на свет. И поняли — нужен обзор инструментов для тестирования! Итак, приступим.

Google Analytics Experiments

Google Anatytics умеет многое, просто скромно об этом умалчивает. Если в нем поковыряться, можно настроить A/B тестирование (или запрограммировать телефоны на Android на самоуничтожение — как повезет). Это удобно, если вы и так пользуетесь Analytics, немного можете в код или у вас есть знакомые разработчики, которые сделают страничку для тестирования.

Плюсы: Удобно для пользователей, привыкших к Google Anatytics. Есть русский язык. И, главное, сервис бесплатный.

Минусы: Нет визуального редактора. Если элементы, которые вы хотите протестировать, не изменить через админку сайта, а перепрограммировать самостоятельно скила не хватает — придется обращаться к разработчикам.

Цена: Бесплатно.

Сервис прост и понятен. На каждом этапе — подсказки, что делать и зачем. В визуальном редакторе можно изменить текст, картинки и структуру сайта. Все элементарно: изменили сайт в редакторе, добавили код на страницу-оригинал и наблюдаете за результатами. Для сбора статистики сервис интегрируется с Яндекс.Метрикой.

Плюсы: Есть простой визуальный редактор. Поддерживается русский язык. .

Минусы: Визуальный редактор слишком прост. По-хорошему он работает только с текстом и изображениями. А вот со структурой не поиграться: RealROI предлагает элемент либо скрыть, либо удалить. Заменить, подвинуть, поменять форму — ничего этого сделать нельзя.

И у нас есть подозрение, что функция «Отправить код разработчику» не работает. Мы трижды пробовали, а письма все нет. Поэтому отправлять код рекомендуем самостоятельно, старым-добрым Ctrl+C — Ctrl+V.

Цена: Бесплатно.

В этом инструменте уже больше фишек. Визуальный редактор позволяет творить любое безумие: элементы можно менять, двигать, добавлять, удалять. Сервис позволяет запустить тест в заданную дату или приостановить поток трафика на страницу (может пригодиться в эксперименте, где участвует более 2 вариантов). Можно настроить таргетинг и персонализацию.

Плюсы: Удобный визуальный редактор — программисты не нужны, чтобы создавать страницы для тестирования. Сервис интегрируется с Google Analytics, WordPress и другими системами аналитики и CRM.

Минусы: Русский язык вроде бы есть, но чем сильнее углубляешься в сайт, чем сложнее становятся термины — тем его меньше.

Нет триальной версии. Можно потестировать визуальный редактор, но про остальные функции узнаёшь только из описаний.

Цена: 39 $ в месяц, если вам хватит 5 000 протестированных пользователей. Тариф пожирнее — 140 $ в месяц, позволяет протестировать сайт на 40 000 уникальных посетителях. 200 000 протестированных пользователей в месяц стоят 390 $. При оплате сразу за год — скидка на все тарифы.

Сервис, который может устроить A/B для компьютеров и мобильных устройств. В визуальном редакторе VWO можно сразу пометить цель для кликов. Остальные — добавить в следующем шаге.

Сервис предлагает посмотреть карту кликов, добавить всплывающие окна и рассылать пользователям, которые что-либо купили на сайте, призыв оставить отзыв.

А еще у VWO есть галерея идей. Вроде бы мелочь, а приятно. И полезно: владельцу сайта не нужно придумывать самому, что бы такого потестировать. Он может выбрать из вариантов, которые подготовили профессионалы. Идеи можно фильтровать по отрасли, сложности и затраченному времени. Очень круто.

Плюсы: Много функций, и везде — подсказки и инструкции. Понятный визуальный редактор заставляет программистов нервно курить в сторонке. Есть триальная версия на 30 дней. VWO интегрируется с Google Analytics, WordPress и еще 12 сервисами.

Минусы: Нет русского языка. И поэтому подсказки могут не помогать, а бесить.

Цена: Если на сайте ежемесячно менее 10 000 посетителей, стоимость сервиса — 59 $ в месяц. До 30 000 посетителей — 155 $, до 100 000 людей на сайте — 299 $, и так по нарастающей. Традиционно, при оплате за год — скидка.

Предлагает A/B, мультивариантное и сплит-тестирование, персонализацию. Цель для кликов можно пометить в визуальном редакторе.

Функций меньше, чем у некоторых конкурентов из обзора, зато у Convert (осторожно, сейчас будет очень субъективное мнение) самый удобный визуальный редактор в плане выделения и перетаскивания объектов. У других сервисов рамки объекта дрожат, как будто пользователь на них с топором набрасывается, а не аккуратно трогает мышкой.

Поймать рамку, изменить размер объекта и передвинуть его в редакторе A/B Tasty — испытание не для слабонервных. А в Convert все проходит гладко, приятно. Единственное — чтобы отредактировать текст, придется запустить руки в CSS-код.

Плюсы: Удобный визуальный редактор, интеграция с 35 сервисами аналитики и CRM, бесплатный триальный период — 15 дней. Можно настраивать тесты под мобильные устройства.

Минусы: Нет русского языка. Визуальный редактор приятный, но в нем придется копаться и разбираться.

Цена: Тариф Lite (легкий, ага) — 499 $ в месяц за 400 000 посетителей, без техподдержки. Хотите, чтобы сотрудники сервиса вам помогали? Доплачивайте ещё 200 $. Чем больше посетителей, тем выше цена. Если оплатить сервис на год вперед — будет скидка.

Когда нужно увеличить конверсию сайта, маркетологи используют A/B тестирование. A/B тест - это очень точный и простой способ исследования ваших landing page (целевых страниц). Полученные после теста статистические данные можно использовать для повышения коэффициента конверсии ваших страниц.

К сожалению в рунете тестирование сайтов не так популярно как «за бугром». Возможно низкая популярность данного инструмента связанна с заблуждениями что всё это очень сложно реализовать, или просто с незнанием.

Что такое A/B тестирование

Допустим у вас есть две версии страницы с одним разным элементом, пусть это будет цвет кнопки отправки формы. Чтобы понять какая кнопка будет эффективней мы равномерно распределяем всех посетителей приходящих на сайт. Когда количество посетителей достигнет определённой отметки, например 1000, мы сравниваем конверсию страниц и оставляем более эффективную страницу.

Как вы можете видеть всё очень просто и в тоже время очень эффективно. Подобные тесты можно проводить постоянно, с каждым разом всё больше увеличивая показатель конверсии.

Что проверить в первую очередь?

В первую очередь стоит протестировать следующие элементы вашего лэндинга:

• Дескриптор
• Кнопки отправки формы
• Уникальное торговое предложение (УТП)
• Призывы к действию
• Стоимость товаров или услуг
• Копирайтинг или контент
• Макет страницы
• Шрифты и стиль текста
• Изображения

Важно: тестируемые страницы должны различаться только одним элементом, например текстом кнопки отправки формы.

Факты об A/B тестировании

1) Не ждите мгновенных результатов

Делая свой первый a/b тест вы скорее всего будете думать, что все сделанные изменения будут приносить увеличение конверсии. К сожалению такое случается не всегда, возможно вам придётся провести более десяти тестов для получения хотя бы небольших положительных результатов. Очень важно правильно донести ваше предложение потенциальным клиентом, для этого при создании своей страницы, старайтесь смотреть на неё не как вебмастер, а как посетитель. Самостоятельно это сделать достаточно сложно, поэтому можно попросить у знакомых чтобы они взглянули на страницу.

2) Не бойтесь больших перемен

Часто большие перемены в дизайне, структуре страниц или тексте приводят к максимальным результатам. Более того именно с больших изменений в структуре сайта нужно начинать, если вас сильно не устраивает конверсия нашего лендинга.

Скрипт для проведения A/B теста сайта

1) Распределяем входящий трафик

У Вас уже должны быть созданы как минимум две версии сайта, одна из них должна остаться без изменений, это нужно для отслеживание результата.

Первый способ:

Распределяем трафик строго 50/50 с помощью простого php скрипта. Чтобы разобраться как пользоваться скриптом Вам нужно хоть немного знать язык программирования PHP. Если вы с ним не знакомы лучше обратитесь к профессионалу или пользуйтесь вторым способом.

=$count) $splitpage=0; $f=fopen($counterfilename,"w+"); fputs($f,strval($splitpage)); fclose($f); setcookie($cookiename, $splitpage, time()+2592000); } else $splitpage=$_COOKIE[$cookiename]; if ($_SERVER["QUERY_STRING"] != "") $my_url[$splitpage].= "?".$_SERVER["QUERY_STRING"]; Header("Location:".$my_url[$splitpage]); exit; ?>

$id_test = "1" ; //id теста (при запуске нового теста смените цифру на любую другую) $count = 0 ; $my_url [ $count ++ ] = "http://сайт/marketing/ab-test/" ; $my_url [ $count ++ ] = "http://сайт/tag/ab-test/" ; // код ниже лучше не трогать $counterfilename = "counter" . md5 ($SCRIPT_NAME ) . ".txt" ; $cookiename = "splitpage" . $id_test . md5 ($SCRIPT_NAME ) ; if (! isset ($_COOKIE [ $cookiename ] ) ) @ $splitpage = file_get_contents ($counterfilename ) ; $splitpage = intval ($splitpage ) + 1 ; if ($splitpage >= $count ) $splitpage = 0 ; $f = fopen ($counterfilename , "w+" ) ; fputs ($f , strval ($splitpage ) ) ; fclose ($f ) ; setcookie ($cookiename , $splitpage , time () + 2592000 ) ; else $my_url [ $splitpage ] ) ; exit ;

Измените адрес страниц в строчках $my_url[$count++]="http://сайт/marketing/ab-test/"; и $my_url[$count++]="http://сайт/tag/ab-test/"; , закачайте файл на хостинг и можете пускать на него посетителей. Скрипт равномерно распределит весь входящий трафик.

При тестировании этого скрипта имейте в виду что когда вас переадресовывает на одну из страниц, скрипт запишет на какую страницу вы были отправлены в куки вашего браузера. Это нужно для того чтобы не возникла ситуации когда пользователь повторно переходит по вашей ссылке и видит совсем другую версию сайта. Это кстати ещё одна полезная фишка этого скрипта.

Второй способ:

Воспользуйтесь моей разработки для генерации кода.

2) Завершение а/б теста

Пропустив через тестируемые страницы достаточное количество трафика, приходит время для изучения статистики. Стоит обратить внимание на конверсию не только в заявку, но также в продажу.

Оставляем страницу которая по итогам тестов лучше конвертирует посетителей в покупателей.

 Если вы не смогли разобраться как пользоваться этим скриптом а/б теста - оставляйте свои вопросы в комментариях и я обязательно на них отвечу.

Резкий скачок конверсии не отражается на продажах? А может, его просто не существует? Если основывать решения на ложных итогах теста, в лучшем случае вы упускаете шанс оптимизации, в худшем - снижаете конверсию.

К счастью, есть способ это предотвратить. Что такое A/A тестирование, как его провести - читайте в статье.

Ложноположительный результат

Допустим, вы оцениваете комбинации кнопки и заголовка. Когда достоверность достигает 99%, делаете выводы и применяете на практике.

Через несколько бизнес-циклов наблюдаете: обновленный дизайн не приносит ожидаемой прибыли. А ведь вы проводили тестирование, вкладывали в него время и ресурсы!

Это ложноположительный результат, известный также, как «статистическая ошибка первого типа» и «ошибочное отклонение верной нулевой гипотезы». Он встречается чаще, чем вы думаете - примерно в 80% случаев.

Почему это происходит?

Эффект инструмента

В начале эксперимента важно убедиться, что конфигурация инструмента правильная и он работает как надо. Иначе - риск получить:

• Неверные показатели . Всего одна ошибка может исказить данные A/B тестирования. Как минимум, интегрируйте с Google Analytics для перепроверки.
• Неверное отображение посадочной страницы . Убедитесь, что лендинги выглядят корректно на всех устройствах и браузерах, и посетители не сталкиваются с фликкер-эффектом. вызывает эту же проблему.
• Преждевременное завершение теста . Иногда софт объявляет «победителя» слишком рано - при недостаточных размере или репрезентативности выборки. Помните: если вы достигли статистической значимости, это не значит, что пора прекращать тест. Чем он дольше, тем точнее результаты.

Смотрите в оба: любые из этих признаков ведут к ложному выводу. Отслеживайте каждую цель и метрику. Если какой-либо показатель не фиксируется (например, добавления товара в корзину), остановите тест, устраните проблему, и начните снова.

A/A vs A/B

A/B тест пригоняет трафик на контрольную версию и вариацию и показывает, какая работает лучше.

A/A - то же самое, только для двух одинаковых страниц. Цель - не увидеть различий в их показателях.

Только 20% экспериментов дают достоверные результаты. Статистической значимости и большой репрезентативной выборки недостаточно. Поэтому профессионалы используют эту технику до A/B теста.

Как видите, эти типы дополняют друг друга.

Если в конце эксперимента показатели конверсии обеих страниц совпадают, можно запускать A/B тест. На практике не всегда все проходит гладко.

Пример 1. Как страница может переиграть своего клона

Это лендинг, который тестировала команда Copyhackers в ноябре 2012 года:

Через 6 дней система тестирования отметила «победивший» вариант при уровне достоверности 95%. Ради точности эксперимент продлили на день - и достигли 99,6% точности:

Страница на 24% эффективнее, чем точно такая же? Результат ложноположительный. Еще через 3 дня различия исчезли:

Вывод: тест слишком рано вычислил победителя.

Пример 2. Как ничего не делать и повысить конверсию на 300%

Что мы видим:

• 9% - рост показателя открытия писем;
• На 300% выросло количество переходов по ссылкам;
• На 51% упал показатель отписок от рассылки.

И все бы ничего, но это A/A тест! Контент, который конкурирует друг с другом, абсолютно идентичный.

Стоит ли проводить A/A тесты

Известный эксперт Нил Патель наблюдал большие скачки конверсии без увеличения выручки. Он советует первым делом тестировать софт, чтобы потом не расхлебывать последствия неверных решений.

По мнению Пипа Лайя, основателя агентства ConversionXL, тесты сами по себе трата времени.

Кому верить? С одной стороны, точность превыше всего, и метод A/A - способ ее обеспечить. С другой - трата ресурсов на тестирование, а также подготовку к нему.

Крейг Салливан, эксперт по пользовательскому опыту, считает, что 40 тестов в месяц - высокая нагрузка для сотрудников. Лучше убить полдня на QA, чем 2-4 недели на то, чтобы просто проверить работу инструмента.

Проблема №1 . A/A тесты занимают время и трафик, которые вы можете потратить на изучение поведения посетителей сайта.

Проблема №2 . И A/B, и A/A нужно тщательно организовывать и мониторить, чтобы не получить ложный результат. Как в примере от Copyhackers.

Потратить время или рискнуть надежностью ПО при принятии решения - решать вам.

Есть потенциально менее затратный вариант - A/A/B.

A/A/B vs A/A

Традиционное A/A тестирование ничего не говорит о посетителях. Но если добавить в процесс еще вариант - другое дело.

A/A = конкурируют 2 одинаковые страницы.

A/A/B = A/A тест + одна дополнительная вариация.

Вы поймете, стоит ли доверять инструменту. Если да, выбираете лучшую версию в соответствии с его показаниями. Если нет, их не стоит применять.

Да, нужно больше времени, чтобы достичь статистической значимости. Зато вы оцениваете и софт, а если он подтвердит свою надежность, - и поведение посетителей.

Заключение

Перевешивают ли выгоды A/A тестирования его недостатки? Нет однозначного ответа. Проводить тестирование ежемесячно - лишнее. Достаточно - при использовании нового софта (сервиса для проведения тестов). Для тех, кому совсем жалко времени, есть компромиссный вариант - A/A/B тест.

Если вы исключите ошибки сегодня, получите более точные итоги в будущем.

Высоких вам конверсий!

О том, как с помощью A/B-тестирования выясняем, какая реклама работает лучше всего. В процессе выбора лучшей площадки для проведения экспериментов, мы протестировали и составили подборку сервисов для проведения тестирования. С полезными комментариями. И делимся с вами!

Какой функционал был для нас важен?

• Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большими потоками посетителей.
• Возможность подгрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест.
• Удобный и неглючный онлайн-редактор страниц.
• Правильное подцепление целей тестирования. Несложные цели можно настраивать прямо в сервисах. Собственно, по ним и по промежуточным целям можно сравнивать конверсии вариантов и выбирать выигрышный.

Как разобраться в подборке?

• Сервис — адрес сервиса, тут все просто.
• A/ B или MVT — какой из вариантов тестирования поддерживает сервис.

1. A/ B-тестирование — это когда варианты тестируемой страницы отличаются одной переменной(разная кнопка, разный заголовок и т.д.). . Например, в одном варианте кнопка «Заказать» красная, в другом — зеленая. А в целом страницы идентичны.
2. MVT — это многовариантное тестирование. Когда варианты тестируемой страницы отличаются в множестве разных вещей. Первый вариант синего цвета, с красной кнопкой «Заказать» и рисунком из бабочек в шапке страницы. Второй вариант — фиолетовый, с зеленой кнопкой «Заказать» и рисунком из единорогов. Третий вариант — вообще черно-белый, с мигающей кнопкой «Заказать» и фотографией заказчика на заднем фоне.

Некоторые сервисы лэндингов поддерживают функцию только A/ B-тестирования, некоторые и A/ B, и MVT.

• Тарифные планы — сколько денег хочет сервис за свои услуги. По каким параметрам определяется крутость тарифного плана?

1. Количество посетителей, которое может перейти на страницу (если посетителей больше, чем разрешает тарифный план, эксперимент отключается).
2. Количество доменов, на которых размещаются лэндинги.
3. Количество самих экспериментов, которые можно запустить в сервисе.
4. Количество аккаунтов, которое можно создать на сервисе.

В разные тарифы входят разные параметры, тут уж какой сервис на что горазд.

• Шаблоны\онлайн-редактор - Где-то есть готовые шаблоны, где-то есть редактор, с помощью которого можно изменять переменные.
• Демоверсия — сколько дней можно пользоваться этим сервисом бесплатно.
• Комментарии — наши личные замечания о работе каждого сервиса.

Подборка сервисов для A/B-тестирования

Русскоязычные сервисы

Сервис #1

• Сервис: http://abtest.ru/
• Поддержка тестирования: А/B
• Тарифные планы: тестирование бесплатно, сервис умирает и находится в бета-версии.
• Шаблоны\ редактор: онлайн-редактор.
• Комментарии: Разрешает подгружать свои лэндинги. Ужасно глючный редактор.

Сервис #2

• Сервис: http://lpgenerator.ru/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $37 , 3500 посетителей, 2 домена, 25 страниц.
2. $58 , 9000 посетителей, 5 доменов, 50 страниц.
3. $119 , трафик, кол-во доменов и кол-во страниц не ограничено, подключение собственных доменов.
4. $440 , трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

• Шаблоны\редактор: шаблоны и онлайн-редактор.
• Демоверсия: 14 дней.
• Комментарии: Есть свой набор шаблонов и платных и бесплатных. Не нашлось инструмента загрузки собственных сайтов для изменения в редакторе. Редактор простой, но требует время для изучения.

Англоязычные сервисы

Сервис #3

• Сервис: http://unbounce.com/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $49 — 5 000 посетителей.
2. $99 — 25 000 посетителей.
3. $199 — 200 000 посетителей

На всех планах: неограниченное количество тестов и страниц во всех планах, статистика, онлайн-конструктор страниц.

• Шаблоны\редактор: шаблоны и онлайн-конструктор(!).
• Демоверсия: 30 дней.
• Комментарии: Редактор довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простой сайт с нуля.

Сервис #4

• Сервис: https://vwo.com/
• Поддержка тестирован ия: A/B, MVT и тестирование мобильных приложений.
• Тарифные планы:

1. $49 , 10 000 посетителей.
2. $129 , 30 000 посетителей.
3. Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

• Шаблоны\ редактор: онлайн-редактор.
• Демоверсия: 14 дней.
• Комментарии: у сервиса красивый интерфейс, но при подгрузке своей страницы возникают проблемы.

Сервис #5

• Сервис: http://www.convert.com/ .
• Поддержка тестирования: A/B & MVT
• Тарифные планы:

1. $9 , 2000 посетителей.
2. $29 , 10 000 посетителей, MVT.
3. $59 , 30 000 посетителей, MVT.
4. $99 , 50 000 посетителей, MVT + тестирование мобильных сайтов.
5. $139-$1499 , тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

• Шаблоны\ редактор: онлайн-редактор.
• Демоверсия: 15 дней.
• Комментарии: Удобный редактор своих страниц. Шаблонов нет. Все красиво, сочно и удобно, но периодически перестает считать цели, выявлялись ошибки/косяки сервиса, исправлялись техподдержкой, но на следующий день подцепление целей опять слетало по неизвестной причине.

Сервис #6

• Сервис: http://www.clickthroo.com/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $195 , 50 000 посетителей, 5 проектов.
2. $395 , 100 000 посетителей, 10 проектов.
3. $695 , 100 000 посетителей, безлимитное количество проектов.
4. $1195 , 250 000 посетителей, безлимитное количество проектов.

• Шаблоны\ редактор: шаблоны и онлайн-редактор.
• Демо-версия: 14 дней демодоступа.
• Комментарии: Делаешь запрос на демодоступ, заполняя огромную форму и не получаешь его. Ок, получаешь, но через пару рабочих дней.

Сервис #7

$1295 — до 10 000 посетителей в месяц. Неограниченное количество проектов, страниц, тестов, доменов, техподдержка.

Шаблоны\ редактор: шаблоны и онлайн-редактор.

Демоверсия: бесплатный демодоступ.