Blog

Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости. Для проведения A/B-теста важно правильно рассчитать размер выборки. Поможет в этом калькулятор, однако потребуется сделать дополнительные расчеты, которые предстоит провести вручную. Статистически значимая выборка — группа посетителей, на которых мы тестируем изменения. Каждый человек, который посетит страницу сайта — это целевая аудитория, а вот выборка — это небольшая часть этой аудитории. Допустим, у нас есть лендинг А с определенным дизайном кнопок.

Чтобы начать проверку, сначала запускается А/B-тестирование с двумя идентичными страницами. Показатель однородности – одинаковый уровень конверсии. То есть определенное число посетителей, которое необходимо для тестирования. Оно должно быть таким, чтобы итоги A/B-теста считались достоверными, а не случайными. Если гипотезы пока нет, допустимо провести опрос среди покупателей, например, узнать, за что они выбирают вашу компанию, изучить статистику о поведении посетителей.

Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения. Главная цель A/B-тестирования — понять, какой вариант продукта или объекта позволит бизнесу зарабатывать больше. В разных отраслях метод используют для улучшения разных объектов. Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы.

Так как мы льем трафик с контекстной рекламы, будем рассматривать новых пользователей (10% от общего объема) и не станем разбивать их на группы. В среднем за сутки лендинг посещает one hundred человек, проводить тестирование будем 1 месяц и тогда новую версию сайта посмотрят 300 потенциальных клиентов (10%). Такого объема выборки хватит для принятия объективного решения. Также стоит учитывать, что статистическая значимость не всегда равна практической значимости. Например, проверка новой версии приложения на ограниченной аудитории показала статистическую значимость, но реальных и ощутимых изменений метрики нет. В таком случае принимаем решение доработать новую версию и запустить новое тестирование.

Решить Проблемы Клиентов

Особенно это пригодится владельцам интернет-магазинов, которые хотят знать, куда тратится каждая копейка и сколько в итоге приносят вложения в сайт. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты. Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

• Корпорация Google осуществила свой первый A/B-тест для определения оптимального количества результатов для отображения на поиске.
• Например, попробуйте простой сервис АБ-тестирования от ABTestGuide.
• Например, если на вашей странице размещена фотография человека, указывающего на заголовок или СТА, это естественным образом привлечет внимание пользователей к этому элементу.
• Она даст вам точное понимание того, что делает посетитель на конкретной странице сайта, что привлекает его внимание, а что не нравится или вводит его в заблуждение.

Пример классического A/B-тестирования — тестирование страницы на сайте с разными кнопками призыва к действию. Разновидностью A/B-тестирования является многовариантное тестирование. Если вы уже полгода экспериментируете с двумя кнопками, а на сайт зашли 5 с половиной человек, то говорить о какой-то репрезентативности бессмысленно. А если из результатов тестирования не удается сделать выводы, то оно автоматически становится бесполезным. На эффективность конверсионных элементов влияет все – от их расположения до цветового оформления.

Как Проводить А/в-тестирование В 2019 Году

Под конверсионными элементами (CTA) имеются в виду все части сайта, действия над которыми приводят к какого-либо рода выгоде. Это может быть форма регистрации, в которой посетитель указывает адрес электронной почты или номер телефона, или же кнопка оформления заявки на оказание услуги. Есть и другие аспекты текста, способные повлиять на количество посещений страницы.

Ведь при создания страницы Б нужно решить, какого именно результата мы хотим достичь. Это не абстрактные хотелки, а реальные задачи, требующие анализа. Некоторые пользователи, посещая сайт, ориентируются на мнение других людей.

Шаг Three Определиться С Гипотезами

Для этого удобно использовать вебвизор – инструмент, который записывает действия посетителей на вашем ресурсе. Они позволяют организовать проверку гипотез, на практике проанализировать поведение потенциальных клиентов. Так, предприниматель может принять решение, нужно ли вносить правки в работу веб-страницы или они не принесут ожидаемого результата.

В развитии продукта опираться лишь на субъективное мнение и собственные взгляды нельзя. Так что при проведении А/Б-теста важно выбирать правильное время и не прекращать исследование раньше срока. Например, мы хотим изменить цвет кнопки призыва к действию с красного на зеленый или переместить ссылку на правила возврата товаров из футера в боковое меню.

Чтобы потенциальный клиент дошел до страницы покупки, сайт должен быстро загружаться. Если сайт работает медленно — пользователь закроет страницу и перейдет на сайт конкурента. Если вариантов страниц больше, процесс называют A/B/N-тестированием. Чтобы сайт привлекал новых клиентов и наращивал продажи, его нужно постоянно улучшать. Но как узнать, на что ваша аудитория лучше всего откликается? Самое очевидное — просто внести нужные изменения и посмотреть, что произойдет.

Скажем, кнопка «Покупка» должна сразу бросаться в глаза потенциальным покупателям. А/B-тестирование помогает понять, что улучшить, а также как не сделать товар или услугу хуже. Установить точную дату появления метода довольно сложно, однако известно, что уже в 1835 году существовал прототип современных А/B-тестов. Тогда исследователи выполняли рандомизированное двойное испытание, чтобы оценить эффективность гомеопатических препаратов. В начале сплит-тестирования маркетолог оценивает метрику уже функционирующей, контрольной единицы «А», планирует действия по ее улучшению.

Частые Ошибки В А/б Тестах

Разберем примеры случаев, когда лучше воздержаться от экспериментов. Бывает, что вы проверяете все гипотезы, но это не приводит к улучшению результата. В таком случае стоит прибегнуть к следующим рекомендациям.

АБ тест — работа команды, она занимает время и ресурсы. И если неправильно установить ориентир, потратите средства впустую. Объективные данные позволяют быстрее продвигаться на рынке. Ведь кто, как не пользователи, лучше знают, что им нужно здесь и сейчас.

Проверяйте, чтобы ничего не сломалось и обе группы «чувствовали себя хорошо». Когда-то он больше технический, когда-то нет, все зависит от текущей команды и возможностей для проведения тестирования. Не занимайтесь проверкой гипотез, которые изначально не согласуются с глобальной целью компании.

Для упрощения работы маркетологов, аналитиков и других исследователей предназначены специальные программы. Их можно использовать, не только чтобы работать с тестами, но, и чтобы разделять пользователей на фокус-группы, отслеживать эффективность различных тестируемых вариантов. Итак, сплит-тестирование завершено в установленный срок, необходимая статистика набрана.

Поэтому использование АБ-тестирования в нынешних реалиях необходимо проектам (сайтам, приложениям и т.п.) как воздух. Генерирование новых идей — неотъемлемая часть развития любого продукта. Разумеется, не каждая идея повысит конверсию, увеличит аудиторию или положительно повлияет на другую метрику.

Цель тестирования должна совпадать с глобальной целью компании. Продолжим рассматривать пример из начала статьи про компанию, занимающуюся производством и продажей пластиковых окон. Основная цель — увеличение объема продаж с лендинга, на который «льется» трафик с контекстной рекламы.

Описание Продукта/статьи

Чистота эксперимента зависит от того, насколько однородными и похожими будут посетители, относящиеся как к одной, так и к другой части трафика. Нельзя начинать сплит-тест методы эффективного тестирования сразу на нескольких компонентах, в противном случае, будет сложно понять, что именно повлияло на метрику. Важно понимать, зачем нужно сравнение двух вариантов.

Это наиболее популярное приложение для проведения подобных тестов, поэтому разберем процесс именно на его примере. Взглянем на интерфейс утилиты, настроим A/B-тестирование и подключим к Google Optimize какой-нибудь сайт. Оно хорошо тем, что изначально заточено именно под сравнение эффективности отдельных элементов страницы. То есть надо решить, какое изменение будет тестироваться и по какой причине. А для этого сначала надо собрать статистику о текущем состоянии страницы, от чего отталкиваться и к чему стремиться.

Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов. Например, кнопки на лендинге имеют остроугольную форму, но есть предположение, https://deveducation.com/ что закругленная форма будет больше привлекать посетителей. В таком случае создается еще одни идентичный лендинг. Единственное отличие двух вариантов друг от друга – форма кнопок.

Если Varioqub обнаружит лучший вариант, он выделит его зелёным цветом. Чтобы сравнить два варианта объекта, нужно сформулировать гипотезу, определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. Чтобы проверить это предположение, маркетолог использует специальный сервис — например, AB Tasty. Сервис распределяет трафик так, что половина посетителей страницы видят старую её версию, а половина — новую, с синей кнопкой «Купить». Конверсия старой версии страницы — 5%, а новой — 7,5%. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста.

Персональные Инструменты

Потому что A/B тестирование – это беспрерывный процесс. Даже высокие показатели эффективности можно улучшить путем экспериментов. Например, если на вашей странице размещена фотография человека, указывающего на заголовок или СТА, это естественным образом привлечет внимание пользователей к этому элементу.

В любом случае, это должна быть страница, которая имеет высокое влияние на ключевой показатель. Ничто не мешает вам протестировать затем и остальные. Фокусируясь на одном аспекте в рамках одного теста, вы получите более точные данные.