Реальный холодный диалог с Билайн показал разрыв между пониманием текста и выполнением работы: требования клиента распознаны, но сценарий не перестраивается под нужный результат.

ИИ-менеджер по продажам понял мои слова, но не понял задачу: разбор диалога с Билайн

Сегодня мне написал менеджер Билайн Бизнес с холодным предложением подключить Облачную АТС.
В обычной ситуации я, скорее всего, отправил бы такое сообщение в спам.
Но сейчас я как раз исследую исходящий аутрич и цифровых сотрудников для продаж, поэтому решил продолжить разговор.

Получился довольно показательный эксперимент.
Уже со второго сообщения у меня возникло ощущение, что со мной общается не человек или, как минимум, значительная часть диалога автоматизирована.
Ответы приходили очень быстро для того объема текста, который отправляется.
Тексты были очень ровными.
Длинные сообщения, длинные тире, кавычки-ёлочки, аккуратно собранные формулировки.

Но это только косвенные признаки. По ним нельзя доказать, что на другой стороне был ИИ.
И довольно быстро меня вообще перестало интересовать, человек это или нейросеть.
Потому что обнаружилась проблема намного важнее.

Система могла пересказать мои требования, но не могла перестроить разговор под результат, который мне был нужен.

Я согласился узнать предложение. Мне предложили созвон

Первое сообщение было простым: Билайн Бизнес предлагает Облачную АТС со скидкой и спрашивает, рассказать ли, как это работает.
Я ответил: да.

Вместо рассказа получил предложение созвониться на 10-15 минут.
Я отдельно написал, что говорить мне неудобно, и попросил прислать информацию текстом.

После этого мне действительно ответили текстом. Но почти сразу началась квалификация: сколько сотрудников принимают звонки, нужна ли запись, какая версия Битрикс24.
Само по себе это нормально. Менеджеру действительно могут потребоваться уточнения.
Поэтому я стал отвечать.

• Один человек.
• Интеграция с Битрикс24.
• Коробочная версия.
• Нужна только запись звонков.
• Обычный мобильный номер.

Мне предложили использовать приложение Облачной АТС на смартфоне.
Я уточнил, что мне нужен новый мобильный номер.
Мне снова предложили Облачную АТС и приложение.
Тогда я написал:

мне надо esim

В ответ получил предложение оформить eSIM параллельно, но звонить всё равно через приложение Облачной АТС.

Я уточнил ещё раз:

меня только esim интересует + запись + б24

После этого агент ответил:

Понял задачу: eSIM + запись + интеграция с Битрикс24 (коробка).

То есть на уровне текста моя задача была распознана правильно.
Но дальше мне опять предложили совершать звонки через приложение.

«Понял задачу» ещё не означает, что задача понята

Система извлекла из диалога основные условия.
Она знала, что мне нужна eSIM.
Знала, что нужна запись.
Знала, что нужен Битрикс24.
Знала, что версия коробочная.

Могла собрать всё это в одном предложении и вернуть мне почти идеальное резюме запроса.
Но задача менеджера не состоит в том, чтобы правильно пересказать слова клиента.
Задача менеджера - понять, какой результат нужен человеку, и дальше действовать исходя из него.
Я продолжил уточнять и написал, что звонить буду через GSM.

Только после этого получил действительно существенную информацию: если звонить напрямую через GSM с eSIM, запись и автоматическая передача в Битрикс24 не гарантируются. Для гарантированной записи Билайн предлагал проводить вызовы через Облачную АТС.

По сути, именно к этому ответу весь разговор и должен был прийти.
Мне нужно было понять одну вещь:
можно ли получить eSIM, звонить обычным способом через GSM, записывать эти разговоры и автоматически передавать записи в коробочный Битрикс24?

Если нельзя, это тоже нормальный результат.

Нет, в такой конфигурации продукт задачу не решает.

После этого уже можно предложить альтернативу.
Но сначала нужно ответить на вопрос клиента.
Вместо этого разговор снова вернулся к приложению и вопросу, что для меня важнее: GSM или гарантированная запись.
Хотя к этому моменту я уже объяснил, что мне нужно и то и другое.

И что самое главное - я точно знаю, что нужная мне конструкция может работать… но ИИ этого почему-то не знает.

Я попросил человека. Сценарий продолжился

Тогда я написал:

человека позови

Ответ:

Передам вашу задачу коллеге-специалисту. Подскажите, пожалуйста, на какой номер вам удобно перезвонить?

Но выше я уже говорил, что разговаривать мне неудобно. Поэтому написал:

пусть пишет

Вместо передачи разговора человеку получил ещё один вопрос: продолжить здесь текстом или отправить решение на email.
Я ещё раз уточнил:

сюда пусть пишут

Команда уже была вполне однозначной.
Не нужно ничего квалифицировать.
Не нужно предлагать другой канал.
Не нужно проектировать ещё одну конфигурацию.
Нужно передать разговор человеку и попросить его написать сюда.
Но вместо человека приходит следующее сообщение с ещё одним вариантом настройки Облачной АТС.
Я снова объясняю:

я буду только по gsm говорить. мне не нужны танцы с бубнами

И только после этого получаю фактический ответ:
при чистом GSM запись и автоматическое прикрепление исходящих звонков в Битрикс24 недоступны.
Вот этот ответ мне и был нужен. Но, еще раз хочу заметить - я точно знаю, что нужна мне механика возможна.

Один вопрос занял почти весь диалог

В итоге путь от первого сообщения Билайна до фактического ответа занял около получаса и больше десяти обменов сообщениями.
Хотя мой запрос постепенно превратился в довольно простой набор условий:

• eSIM.
• GSM.
• Запись разговоров.
• Коробочный Битрикс24.

Мне не нужно было объяснять ценность Облачной АТС.
Мне нужно было проверить совместимость четырёх требований.
И если они несовместимы - сказать об этом.

Для меня это хороший пример разницы между обработкой текста и выполнением функции.
Собеседник явно умел работать с текстом.
Учитывал часть контекста.
Задавал логичные вопросы.
Переформулировывал мои требования.
Предлагал технически близкие варианты.
Но работа менеджера в этой ситуации всё равно не была выполнена вовремя.

Два года назад я уже упирался в ту же проблему

Здесь для меня есть ещё одна интересная связь.

Несколько лет назад я вместе с командой сам пытался делать нейроменеджеров.
И довольно быстро выяснилось, что хорошего промпта и базы знаний недостаточно.
Нужно понимать реальные ситуации, контекст разговора, применимое правило, ожидаемое действие и то, что вообще считается правильным результатом.
Недавно я подробно разбирал эту историю в статье о контроле ИИ-сотрудников, данных и базе знаний.

Тогда я смотрел на проблему со стороны разработчика.
Сейчас увидел почти тот же разрыв со стороны клиента.
Система может правильно перечислить все требования.
Но это ещё не означает, что она понимает, какое действие из этих требований следует сделать дальше.

В предыдущей статье я описывал рабочий контекст примерно так:

ситуация -> контекст -> применимое правило -> действие -> результат.

В этом диалоге как раз хорошо видно, почему недостаточно остановиться на первых двух элементах.
Ситуация распознана.
Контекст частично собран.
А правильное действие всё равно долго не происходит.

Можно убрать длинные тире. Ничего принципиально не изменится

На поверхности у такого общения есть признаки, по которым легко заподозрить нейросеть.
Можно убрать длинные тире.
Можно отказаться от кавычек-ёлочек.
Можно сделать сообщения короче.
Можно добавить случайные задержки.
Можно специально сделать текст менее гладким.
Тогда определить автоматизацию станет сложнее.

Но для бизнеса от этого почти ничего не изменится.
Система станет лучше изображать человека.
Она не обязательно станет лучше выполнять работу менеджера.
Именно это для меня сегодня намного важнее внешней «человечности» нейроменеджера.

Хороший язык ещё не делает цифрового менеджера

Я не знаю, как технически был устроен конкретно этот сценарий Билайна.
По одному диалогу нельзя доказать, где отвечал человек, где работала автоматизация и использовалась ли большая языковая модель вообще.
По одному разговору нельзя делать вывод и обо всех ИИ-менеджерах на рынке.
Но сам паттерн показательный.

Можно взять обычный сценарий продаж и добавить к нему систему, которая хорошо понимает свободный текст.
Она сможет извлекать параметры.
Переформулировать ответы.
Помнить предыдущие сообщения.
Генерировать естественные фразы.
Создавать впечатление полноценного диалога.

Но если система не может отказаться от своего сценария, когда цель клиента уже понятна, получается странный эффект.
Разговор стал намного умнее.
Работа - не обязательно.

Как я теперь буду проверять ИИ-менеджеров

После этого диалога мне ещё меньше интересно оценивать цифрового менеджера по тому, насколько он похож на человека. Я бы проверял другое.

• Понял ли он конечный результат, который нужен клиенту?
• Не просто повторил условия, а изменил дальнейшие действия?
• Перестал ли задавать вопросы, ответы на которые уже получил?
• Может ли выйти из первоначального сценария?
• Может ли прямо сказать, что продукт не решает задачу?
• Отличает ли близкое техническое решение от результата, который запросил клиент?
• Помнит ли ограничения, уже обозначенные в разговоре?
• Если клиент попросил человека - способен ли агент действительно передать разговор, а не продолжить автоматический сценарий?

И главный вопрос:

получил ли клиент нужный результат?

В моём случае - нет.

Я сформулировал требования достаточно точно.
Система смогла достаточно точно их повторить.
Но однозначный ответ я получил только после множества дополнительных сообщений и неудачной попытки перейти к человеку.

Для меня именно это и есть главный тест ИИ-менеджера.
Не насколько естественно он разговаривает.
А способен ли он перестать разговаривать и выполнить работу.

Цифровой сотрудник начинается не там, где нейросеть научилась красиво отвечать. Он начинается там, где система умеет доводить конкретную работу до нужного результата.