Bot key metrics

Новые подходы и инструменты требуют новых подходов и в измерении их эффективности. Существующие метрики для веб практически не применимы в сегменте чат-ботов. Ведь они не рассчитывают и не учитывают неправильно понятые запросы или задержки в генерации сообщений.

Определение метрик играют важную роль, поскольку основные показатели напрямую влияют на основные возможности чат-бота. Важно также, чтобы ожидания по повышению эффективности каналов обслуживания были оцифрованы. Для вновь созданного чат-бота показатели как правило сильно отличаются от проработавшего несколько месяцев. Соответственно, цели более правильно устанавливать после 2-5 месяцев работы.

Хорошая практика, при наличии других каналов обслуживания, ориентироваться на них. Показатели в схожих метриках для чат-бота должны быть в разы лучше, ведь это более прогрессивная технология. Ведь по наблюдениям IBM, в настоящее время, из 6 минут, которые в среднем пользователь проводит на звонке в службу поддержки, 75% этого времени тратится агентом, проводящим в поиске информации вручную. На непосредственное ценное взаимодействие с клиентом остается меньше чем 25%. Искусственный интеллект уделяет все 100% своего времени. Таким образом, производительность бота можно контролировать и повышать его эффективность.

Для эффективного мониторинга показателей их желательно разбить на группы:

  • Пользователи
  • Сообщения
  • Взаимодействие

Пользовательские метрики

Всего пользователей. Это самый основной показатель. Он отображает количество людей, использующих ваш чат-бот и тенденции в изменении базы пользователей. Ведь темп прирост или отток как раз и говорят о том насколько инструмент общения удобный и полезный. Также, данный параметр показывает критически важную информацию, касающуюся размера рынка, его потенциала и влияния вашего чат-бота.

Активные пользователи. Группа пользователей, которые читают сообщения в чате в определенный период времени. Такие клиенты имеют ключевое значение. Сравнивая с телевидением, это зрители, которые в данный момент смотрят Ваш канал. C ними легко установить контакт, им просто донести важную информацию, их активное участие не гарантируется, но контент видят они видят. На базе этого количества возможно рассчитать эффект от проведения рекламной кампании.

Вовлеченные пользователи. Это активные пользователи, которые общаются с чат-ботом. Они лояльны к данному каналу обслуживания, постоянно его используют, смотрят и отправляют сообщения. Эта группа как раз та, на которую сфокусированы все усилия при разработке чат-бота. Они формируют логику и поведение диалога в будущем, генерируя не знакомые для бота намерения, тем самым обучая его. На основе поведения привлеченных пользователей и формируется решение относительно эффективности чат-бота.

Новые пользователи. Этот показатель отражает общий успех вашей кампании по привлечению в чат. Задача по наполнению новыми клиентами имеет крайне важное значение, так как новые пользователи поддерживают базу активных и вовлеченных. Предпочтения клиентов со временем меняются, и количество взаимодействий с чат-ботом показывает экспоненциальный спад. Поэтому, взаимосвязь между развитием канала и новыми посетителями прямая.

Показатели сообщений

Первые четыре показателя отражают общие тенденции в поведении пользовательской базы. Но для глубокого понимания, как человек взаимодействует с вашим чат-ботом, вам потребуется более подробная информация.

Сообщения, отправленные ботом. Общее количество сообщений, отправленных чат-ботом при каждом взаимодействии. Отображает продолжительность беседы между клиентом и чат-ботом. Желательно, чтобы данный показатель был высоким, но, при одном важном условии. Алгоритм должен генерировать правильные ответы. В случае недопонимания, неспособности понять вводимые пользователем сообщения, такой показатель только ухудшает взаимодействие с клиентом, так как будут повторяться одни и те же выражения по несколько раз.

Сообщения, отправленные пользователем. Дает понимание, участвует ли пользователь в общении или нет. Если эта метрика значительно ниже предыдущей, смысл в применении бота теряется. Использование социальных сетей, информационных сайтов, блогов может иметь больше смысла, чем чат-бота.

Потерянные сообщения. Фразы, которые не могут быть обработаны чат-ботом. Такие случаи возникают при вводе на языке, который не поддерживается платформой по обработке естественного языка или для языков, которые не определены при разработке.

Всего диалогов. Количество разговоров, начатых и успешно завершенных в определенный день.

Новые диалоги. Количество начатых новых разговоров. Этот показатель включает как абсолютно новых пользователей, так и вернувшихся пользователей после длительного перерыва.

Взаимодействие с пользователем

Коэффициент удержания. Процент пользователей, которые возвращаются к использованию чата в определенный период. Стоимость привлечения нового пользователя намного выше, как и время, за которое он обучится использованию новой технологии. Поэтому важно сохранять данный коэффициент на максимально возможном уровне. Более высокий уровень удержания может быть достигнут с помощью рекламных и маркетинговых кампаний, таких как скидка, лотерея, акция. Также важно поддерживать этот показатель с помощью органического процесса. Может быть достигнуто путем предоставления высококачественного клиентского опыта и предоставлении реально полезных инструментов и информации.

Коэффициент достигнутых целей. Отражает процент успешно завершенных диалогов и достигнутых пользователем целей. Например, для ботов в электронной коммерции такой целью может быть информирование пользователя о характеристиках товара или его приобретение. Коэффициент показывает, сколько раз наш бот успешно обрабатывал запросы и предоставлял необходимую информацию.

Целевые показатели. Показатели, отображающие проведенное время в разговоре, время от начала до завершения, количество нажатий на экране для сравнения с целевыми значениями. Чат-бот должен упрощать путь клиента. Минимизация усилий для достижения цели может улучшить клиентский опыт.

Удовлетворенность пользователя. Данный показатель возможно измерять как в автоматическом режиме, так и в непосредственном общении с клиентом. Это может быть реализовано как с помощью простых оценочных форм, так и с более сложными, с разбиением вопросов по категориям. Показатель отражает общую эффективность бота с точки зрения пользовательского опыта.