Бок о бок: сравнение двух маркетинговых инструментов / агентств

Обозреватель Андреас Райффен делится своим методом тестирования двух различных инструментов / агентств AdWords - процесса, который также может применяться для тестирования различных стратегий кампании.Как маркетологи производительности, мы обязаны испытывать все. От воздействия заголовков каналов до инкрементальности каждого канала мы хотим быть уверены, что делаем правильный выбор, прежде чем мы передадим все наши ресурсы на что-то. Это касается решения о том, какие инструменты / агентства следует использовать. Перемещение ваших маркетинговых мероприятий с одного инструмента / агентства на другое (или выбор одного для начала) - это большая приверженность, а не то, что вы должны делать легкомысленно. Большинство (возможно, все) инструментов / агентств заявляют, что выполняют одну и ту же основную задачу: улучшайте эффективность своей кампании. То, как они это делают или методы, которые они используют, будет отличаться, но с таким большим выбором там, как вы узнаете, какой из них действительно будет доставлять? Чтобы помочь им принять правильное решение, многие компании попросят провести параллельный сравнительный тест между двумя инструментами / агентствами. Недавно нас попросили принять участие в расколотом сравнительном тесте с другой рекламной технологией продукта для многонационального спортивного ритейлера. Используя этот последний тест в качестве примера, я хочу предоставить вам несколько советов и рекомендаций для проведения точного бок о бок теста и получения наилучших результатов.

Имейте четкую цель тестирования

Независимо от того, какой тест вы проводите, вам нужно убедиться, что у вас есть четкая цель, т. Е. Вопрос, на который можно ответить окончательным и измеримым способом. В этом случае розничный торговец хотел знать, повлияет ли их замена на существующие инструменты с помощью нашего решения Google Shopping. Чтобы измерить результат, они установили фиксированную цель ROAS для каждого инструмента для удовлетворения и оценки полученных в результате данных о доходах.

Разделить тестовые группы равномерно

Как всегда, хорошая тестовая настройка имеет решающее значение, если вы хотите, чтобы результаты были точными. Я уже писал о различных методах тестирования, но самый простой способ приблизиться к такому типу тестов - подумать об этом, как и любой другой тест A / B. Ключ состоит в том, чтобы разделить ваши кампании как можно более равномерно, чтобы не было смягчающих обстоятельств, которые могли бы объяснить успех или неудачу одного инструмента / агентства. Здесь нет серебряной пули. Лучший способ разделить ваши кампании, вероятно, будет отличаться в зависимости от ваших продуктов, сезона, демографии покупателей и так далее. Главное - попытаться сохранить как можно больше переменных. Вы особенно хотите, чтобы текущие и недавние исторические цифры совпадали - например, примерно такие же показатели трафика, конверсии и ROAS. Два наиболее распространенных способа разделения кампаний - это время или местоположение. Для разделения временных интервалов вы дублируете кампании, которые хотите использовать в тесте, назначьте их каждому инструменту / агентству и затем активируйте их по фиксированному порядку вращения (обычно почасовым). Преимущество этого метода заключается в том, что он устраняет любые сезонные или географические проблемы, гарантируя, что каждый инструмент / агентство работает с точно таким же диапазоном продуктов в течение того же диапазона дат. Для разделения геоданных вы берете один из ваших регионов, дублируете там кампании и делитесь на два раздела с примерно одинаковыми объемами показа и конверсий. Затем вы назначаете каждый инструмент на одну половину территории и переключаете их каждые две недели. Преимущество такого рода раскола состоит в том, что его технически довольно легко настроить и позволяет настраивать планирование во время теста, а также запускать рекламные акции. Он также позволяет каждому инструменту / агентству работать одновременно, что сокращает время, необходимое для запуска теста. Технически вы можете разделить свои кампании так, как вам нравится. Как я уже говорил, нет никакого способа разделить ваши кампании. Все зависит от того, как распределяются ваши кампании / территории / клиенты / продукты. Вы просто хотите убедиться, что две кампании будут как можно ближе.

Запустите тест достаточно долго

Тестирование - независимо от того, какой вид - стоит денег. Со временем вы рискуете тратить деньги на стратегию, которая не работает или не работает так же хорошо, как и другая стратегия. С другой стороны, вам нужно провести свой тест достаточно долго, чтобы получить четкий ответ о том, какая тестовая группа выполнила лучшее. Сеанс тестирования 50/50 означает разделение вашего общего трафика наполовину. Вы хотите убедиться, что варианты получают статистически достаточный трафик в течение времени, отведенного для теста. Как долго это займет время, будет зависеть от того, сколько трафика вы получите и насколько очевидно разница. Имейте в виду, что для любого инструмента (или агентства), использующего алгоритмы и машинное обучение для управления ставками, потребуется определенное количество времени для сбора данных до того, как автоматизация будет действительно соответствовать его потенциалу. В этом случае розничный торговец проверил тест на 10 недель. Вы можете видеть, что различия между нами и их существующим инструментом были очень незначительными в первой половине теста, в то время как алгоритмы собирали данные. Но во второй половине теста мы собрали достаточно данных для автоматических торгов, и новая структура кампании вступит в силу, создавая гораздо более выраженное различие между нашими двумя подходами. Еще одна важная вещь, которую следует помнить, - подождать еще две недели после завершения тестирования, прежде чем собирать и оценивать результаты, чтобы вы могли захватить любые скрытые продажи.

Оценка результатов

Перед испытанием убедитесь, что вы устанавливаете четкие и достижимые цели. Цели, которые вы хотите, чтобы ваши кандидаты достигли, должны быть достижимы для параметров (например, бюджета, времени, сезона, искажения продукта), которые вы устанавливаете рядом с ними. Вы еще не можете ожидать луны. Сейчас также не время интересоваться вашими метриками. Задайте тот же тип целей, который вы использовали, чтобы вы могли легко сравнивать новые результаты с вашими базовыми данными. После окончания тестового периода вы можете сравнить результаты каждого теста / агентства с вашими ключевыми KPI. В этом случае наиболее важным показателем для розничного продавца был тот, кто мог бы привлечь наибольший доход в рамках целевой рентабельности инвестиций. Однако они также рассмотрели другие показатели, такие как «Стоимость и рентабельность инвестиций». Вы не обязательно ищете жесткие цифры; что важнее разница между производительностью двух инструментов / агентств и тем, как это сопоставляется с вашей базой. В этом случае наш конкурент уже был установленным инструментом, поэтому нет необходимости составлять базовую линию. Если вы оцениваете агентства, или если инструмент, на который вы смотрите, имеет руку поддержки клиентов, попросите их дать вам понять, как прошел тест. Мало того, что это предоставит вам некоторые цветовые комментарии для сырых данных, но это также даст вам представление о том, как будут работать рабочие отношения с этой компанией. Например:

Есть ли у них много оправданий?

Есть ли у них хорошие методы отчетности?

Каков их план для будущего ваших аккаунтов?

Какие настройки они порекомендуют вам сделать в своих аккаунтах?

Вы хотите работать с компанией, которая будет продвигать инновационные идеи и новые стратегии, а не те, которые будут сидеть сложа руки и выполнять одни и те же повторяющиеся задачи снова и снова.

Рекомендации

Есть много вещей, которые вы можете сделать во время тестирования, которые могут исказить результат. В дополнение к настройке хорошего теста, вот несколько рекомендаций, чтобы не смещать результаты. Прежде всего, обычно не рекомендуется менять что-либо в течение периода тестирования, но вы будете удивлены, как часто это происходит. Бюджеты и то, как каждое агентство или инструмент их распределяет, являются ключевой частью того, что вы хотите оценить в течение периода тестирования. Подобно бюджетному сценарию, изменение модели атрибуции или целевого KPI будет чрезвычайно влиять на результаты теста на данный момент. Проверьте ход выполнения. Вы не хотите менять вещи без необходимости, но вы все равно должны проверять результаты, поскольку они доступны, чтобы убедиться, что ваша тестовая структура работает. Если в первые пару недель что-то резко изменится, это, вероятно, так. В этом случае вам может потребоваться переосмыслить структуру тестирования и внести некоторые изменения. Любые сделанные вами изменения, скорее всего, продлят дату окончания теста. Надеемся, что этот пример послужит руководством для ваших оценок инструментов / агентств. 2018 год будет большим для розничной торговли, и важно, чтобы вы обрабатывали правильные инструменты для работы. Если вы ищете все преимущества, которые приведут к росту вашего розничного бизнеса, вы не сможете пропустить наш богатый розничный контент на SMX West. Присоединяйтесь к нам 13-15 марта 2018 года в Сан-Хосе, Калифорния, в течение трех полных дней сессий SEM и PPC, специально разработанных для профессионалов электронной коммерции, таких как вы. Крупные игроки, в том числе Google и Bing, смогут поделиться своими советами, которые помогут вам эффективно достичь ваших клиентов и увеличить общий объем продаж. Вместе мы погружаемся глубоко в области интернет-розничной торговли, которые важны для вас и вашей прибыли. Зарегистрируйтесь сейчас по лучшим ценам - цены на ранние птицы истекают 3 февраля! Мнения, выраженные в этой статье, принадлежат авторам гостевых изданий, а не обязательно поисковым системам. Здесь перечислены авторы работ.