Блог olenka.ai
A/B тестування

Навіщо потрібне А/В тестування скрипта?

Коли ми розпочинаємо будь-який проєкт, то сподіваємося на успіх. Але іноді навіть класний та актуальний продукт не виправдовує очікувань. Як зрозуміти, де ми помилилися? Допоможе А/В тестування.


А/В тестування: що це та як його провести


А/В тестування — це експеримент із метою підтвердити або спростувати ідею чи гіпотезу. Він показує, що «заходить» вашій аудиторії, а що — ні. Фактично це — перевірка ефективності кількох версій одного й того ж продукту. Консалтингова компанія Invesp повідомила, що це — другий за популярністю інструмент маркетингових досліджень. А 77 % бізнесів проводять А/В тест своїх гіпотез двічі на місяць.

Це роблять, щоб:
  • дізнатися більше про цільову аудиторію — хто люди в базі, наскільки вони цільові, як вони реагують на вашу пропозицію та приймають рішення;
  • зменшити кількість відмов;
  • визначити ті фактори, які «працюють» для ваших клієнтів краще, та не витрачати час і гроші на те, що виявиться неефективним.


Методологія тестування


Визначте мету тестування — цільову дію, яку повинні виконати люди, що беруть участь в експерименті. Наприклад, покупка товару чи послуги, реєстрація на вебінарі чи курсі, участь в опитуванні, тощо. Оберіть так звану «контрольну» групу та поділіть її на стільки рівних за кількістю підгруп, скільки варіантів скрипта ви тестуєте. Коли тест завершиться, проаналізуйте зібрані дані. На їх основі ви побачите, що, де і в яку сторону потрібно змінити.

Якщо ви практикуєте голосовий автообдзвін, А/В тест допоможе виявити непрацюючі скрипти та оптимізувати хороші. Завдяки цьому кількість нерезультативних дзвінків зменшиться, а рівень лояльності клієнтів зросте. Зазвичай ми в Olenka.ai тестуємо скрипти на 10 % бази клієнтів — цього достатньо, щоби зрозуміти, яку конверсію дасть кампанія по скрипту.


А/В тестування скрипта для голосового бота


Коли ви працюєте з такими програмами, як голосовий робот, недостатньо створити 1–2 вдалі скрипти й зупинитися на цьому. З часом та під впливом зовнішніх факторів у ваших клієнтів змінюються потреби та пріоритети. Тому ми постійно розробляємо та тестуємо нові гіпотези.

Як ми робимо автоматичний обдзвін ефективнішим? Тестуємо декілька скриптів та порівнюємо їх за такими характеристиками:
  • відсоток відмов — перерваних дзвінків;
  • коефіцієнт конверсії — процент тих, хто успішно пройшов по сценарію до кінця;
  • вартість дзвінка — тривалість та середню ціну контакту;
  • чи ставив потенційний клієнт запитання та чи були в бота на них відповіді;
  • як часто та у яких випадках розмова йшла не за сценарієм і розумний робот не міг знайти потрібну гілку скрипту.

Типовий телефонний робот зазвичай не відхиляється від сценарію. Інша ситуація з програмою обдзвону Olenka.ai — вона самостійно «вчиться» прямо під час роботи. Штучний інтелект бота фіксує й аналізує репліки респондентів. Це вдале рішення, щоби проаналізувати дві останні характеристики з переліку в попередньому абзаці.

У тестуванні гіпотез роботами є ще один плюс — вони автоматично формують звіти. Навіть проста програма обдзвону розділить респондентів на групи за рівнем зацікавленості, задоволеності тощо, запише розмови та оновить дані в CRM.

Що можна протестувати в скрипті:
  • довжину запитань та речень;
  • різні варіанти привітання та представлення робота (продавець, керівник відділу тощо);
  • типи заклику до дії чи анонсу спецпропозицій;
  • відповідність продукту потребі та рівень задоволення його характеристиками;
  • час обдзвону та тривалість дзвінка;
  • варіанти позиціювання або короткого опису товару;
  • варіанти оферів.

Поширені помилки в тестуванні скриптів.
  1. Одночасне опитування клієнтів за всіма пунктами, які можна було б змінити. Починайте з малого — за раз тестуйте одну характеристику скрипта.
  2. Мала вибірка аудиторії. Впевніться в тому, що в експерименті бере не менше 500 людей.
  3. Нерівномірний розподіл аудиторії між сегментами для тестування. Якщо у вас 2 варіанти, то кожний «перевіряє» рівно по 50 % респондентів.
  4. Неправильно обрані час та тривалість експерименту. Не запускайте тестування напередодні свят. Якщо автоматичний обдзвін має на меті продажі, враховуйте сезонність.
  5. Невірні гіпотези. Аналізуйте ситуацію безпосередньо перед тестуванням і реально оцінюйте свої проблеми. І, тим більше, не будуйте нові гіпотези на досвіді інших компаній — вони не обов’язково спрацюють для вас.
  6. При інтерпретації результатів уваги беруться окремі показники, а не комплексна картина. Треба порівнювати результати кампанії з показниками в ніші, зважати на оцінку якості бази.


Покроковий план тестування скрипта


1. Збираємо ключові показники по продажах
Фіксуємо найважливіші метрики: кількість клієнтів у базі, кількість контактів із кожним клієнтом, порівняйте їх за різні періоди з урахуванням усіх факторів, що впливають на продажі.
2. Визначаємо, які змінні будемо тестувати
Аналізуємо, що може вплинути на ефективність скриптів, — довжина речень та цілої розмови, кількість та тип запитань, привітання та звернення, заклик до дії тощо. Обираємо найкритичніший, з якого починаємо А/В тестування.
3. Тестування
  1. Опрацьовуємо відмови та заперечення, розробляємо нові гіпотези й на їхній основі напишіть кілька варіантів скриптів.
  2. Визначаємо дати проведення тестування, час обдзвону.
  3. Порівнюємо результати після завершення тестування.
  4. Аналізуємо результати тесту, за необхідності продумуємо нові гіпотези та починаємо все спочатку.

Голосовий робот — універсальний інструмент для відділів продажів і маркетингу, обслуговування, консультацій та ін. Але він, тобто його скрипт, повинен змінюватися так, щоби росла конверсія та поліпшувався клієнтський досвід. Якщо ви вважаєте, що ваша програма обдзвону «не допрацьовує», — звертайтеся до нас за аналізом та тестуванням скриптів.