После 34 исследованных направлений фиксирую текущий фильтр гипотез: какие сигналы считаю сильными, когда заканчиваю исследование, как оцениваю экономику и что считаю достаточным основанием для пилота.

Как я проверяю гипотезы автоматизации до пилота: выводы после 34 направлений

Последние две недели я довольно плотно исследую разные направления, в которых потенциально могут появиться ИИ-сотрудники.
Я смотрел опт, закупки, недвижимость, продажи, работу с контентом, расшифровку коммуникаций и другие функции.

В общей сложности через исследования прошло уже 34 направления.
Начинал я с широкой карты из 240 повторяемых работ бизнеса.
Потом начал брать отдельные отрасли и функции и проходить глубже.

Один из читателей собрал вопросы про то, как я принимаю решения внутри этого процесса.
Вместо того чтобы отправлять его читать десяток отдельных статей, решил собрать ответы в одном месте.
Это не окончательная методика.

Это мой текущий рабочий фильтр: что я считаю сильным сигналом, когда прекращаю кабинетное исследование, когда пытаюсь продавать и что должно произойти до создания пилота.

1. По каким критериям я отбрасываю гипотезу ещё до интервью

В начале исследований я гораздо легче относился к самому факту наличия ручной работы.
Есть много ручных действий.
Значит, возможно, здесь есть автоматизация.

Сейчас этого для меня недостаточно. Это хорошо проявилось, когда после общего исследования оптовой компании я отдельно пошёл в закупки, а затем остановил одну из казавшихся логичными гипотез.

До разговоров с потенциальными клиентами я стараюсь проверить 5 вещей.

Есть ли конкретная повторяющаяся работа

Не большая проблема вроде «закупки работают неэффективно», а конкретная работа с понятным началом и результатом.

Например, не «улучшить работу с поставщиками», а «при нарушении плана поставки найти реальные альтернативы и подготовить решение».

К этой единице исследования я пришёл ещё в разборе оптовой компании: отрасль, отдел и даже большой бизнес-процесс почти всегда слишком крупные для проверки одной продуктовой гипотезы.

Если я не могу достаточно точно описать работу, дальше идти рано.

Достаточно ли часто она возникает

Даже неприятная и дорогая проблема может происходить несколько раз в год.
Тогда автоматизация конкретной операции может просто не иметь экономики.
Мне интереснее работа, которая повторяется достаточно часто, чтобы накопленная стоимость человеческого исполнения становилась заметной.

Есть ли у результата владелец

Должен существовать человек, которому действительно важно, выполнена эта работа или нет.
Не обязательно тот, кто делает её руками.
Это может быть руководитель функции, собственник, коммерческий или операционный директор.
Если непонятно, кто отвечает за результат и кому экономически важно его улучшить, это плохой сигнал.

Можно ли проверить результат

ИИ может сделать много вещей, которые выглядят убедительно.
Но меня интересуют функции, где можно достаточно объективно ответить на вопрос: работа выполнена или нет?
Чем субъективнее результат, тем сложнее безопасно увеличивать автономность и доказывать экономический эффект.

Есть ли здесь потенциальная экономика

Даже если работу можно автоматизировать технически, этого недостаточно.

Мне нужно хотя бы предварительно понимать, почему компании вообще может быть выгодно менять существующий способ работы.
Есть ли заметный объём человеческого времени?
Есть ли цена задержки?
Ошибки?
Переделки?
Постоянный контроль руководителя?
Стоимость пропущенного события?

Если я не вижу хотя бы гипотезы экономического эффекта, дальше обычно не иду.

Отдельный стоп-фактор - цена ошибки.
Если ошибка цифрового сотрудника может стоить очень дорого, а надёжный механизм проверки построить нельзя, остальные преимущества автоматизации могут потерять смысл.

После исследований опта, закупок и недвижимости я отдельно собрал эти фильтры и оставил три работы для дальнейшей проверки.

2. Где проходит граница, после которой исследования достаточно и пора продавать

Здесь у меня тоже изменился подход.
Легко попасть в ловушку, когда хочется посмотреть ещё конкурентов, найти ещё десять подтверждений, провести ещё пять интервью и уточнить ещё один кусок рынка.

В какой-то момент дополнительное исследование перестаёт заметно менять решение.
Я особенно хорошо увидел это, когда экспериментировал с синтетическими исследованиями.

Сначала казалось, что больше моделей и больше ответов должны давать больше уверенности.
В итоге я пересобрал сам алгоритм проверки продуктовых гипотез.

Сейчас перед попыткой продажи я хочу понимать:

• какая конкретная работа возникает;
• в какой ситуации она возникает;
• кто отвечает за результат;
• как она выполняется сейчас;
• почему текущий способ может быть дорогим или неудобным;
• какой ограниченный результат может дать цифровой исполнитель;
• как этот результат можно проверить.

После этого мне уже нужен не очередной исследовательский документ, а предложение конкретной компании.

Потому что даже хорошие интервью не отвечают на главный вопрос: готов ли кто-то реально менять существующий процесс ради предлагаемого решения?

Поэтому для себя я разделяю две границы.
Исследования достаточно, чтобы начать продавать, когда я могу сформулировать конкретное проверяемое предложение.
Но этого ещё недостаточно, чтобы начинать существенную разработку. Перед ней мне нужен более сильный коммерческий сигнал.

3. Какие сигналы для меня сильнее

За время исследований я стал меньше доверять красивой совокупности косвенных признаков.
Большой поисковый спрос выглядит убедительно.
Много вакансий выглядит убедительно.
Десятки существующих сервисов тоже выглядят убедительно.

Но всё это может описывать большую тему вокруг проблемы и ничего не говорить о ценности конкретной операции, которую я хочу автоматизировать.

Например, в исследовании закупок я специально смотрел поисковый спрос по запросам про ИИ и автоматизацию. Он оказался полезным для понимания языка рынка, но сам по себе ничего не доказал про готовность платить за конкретную работу.

Для себя я выстраиваю сигналы по силе: чем ближе сигнал к реальному действию компании, тем он для меня важнее.
Поисковый спрос показывает интерес к теме.
Наличие существующих сервисов показывает, что такую задачу уже пытаются решать отдельным продуктом.
Вакансия показывает, что компания готова искать человека на определённую функцию, но ещё не доказывает спрос на автоматизацию.
Фразы «ищу сервис», «ищу подрядчика» или описание конкретной задачи уже показывают активный поиск способа решения.

Сильнее всего для меня поведение внутри реального процесса.
Когда человек может показать: вот эту работу мы делаем каждую неделю; вот сотрудник; вот таблица; вот файл; вот что происходит, если не успеваем.

Дальше сигнал усиливается действиями: компания предоставляет реальные данные, подключает сотрудника, согласовывает критерии результата, допускает проверку на реальном процессе, соглашается на пилот, платит.

Поэтому поисковый спрос для меня сейчас скорее помогает находить направления. А реальное поведение компании проверяет продуктовую гипотезу.

4. Как я нахожу компании именно в момент возникновения задачи

Это один из вопросов, где у меня пока нет законченного метода.

Просто составить базу компаний нужного сегмента относительно легко. Гораздо интереснее найти компанию тогда, когда вероятность конкретной работы резко выросла.
Для этого я смотрю на наблюдаемые события.
Компания начала активно нанимать определённую функцию.
Запустила новое направление.
Открывает филиалы.
Увеличила объём контента.
Расширяет отдел продаж.
Ищет подрядчика.
Публикует вакансию, внутри которой буквально описана интересующая меня ручная работа.

То есть единицей поиска постепенно становится не просто:

компания подходит под мой портрет клиента.

А связка:

компания + наблюдаемое событие + вероятно возникшая работа.

Похожая логика возникла у меня в итоговом исследовании закупок и недвижимости. Самыми интересными оказались работы, которые запускаются конкретным событием: нарушился план поставки, состоялся содержательный контакт с клиентом или просел показатель.

Но здесь важно не перепутать сигнал с доказательством. Открытие филиала или новая вакансия только повышают вероятность нужной работы. Дальше всё равно нужно проверить реальный процесс внутри компании.

5. Как я определяю экономическую ценность повторяющейся работы до разговора с компанией

Точно - никак.
До разговора я могу только построить предварительный диапазон.

Например, оценить, сколько людей может выполнять функцию, как часто она возникает, сколько времени потенциально занимает, какого уровня сотрудники в ней участвуют, есть ли отдельная вакансия под эту работу и какие объёмы бизнеса видны снаружи.

В самой простой форме я считаю примерно так:
частота работы × время выполнения × стоимость человеческого времени.

К этому могут добавляться стоимость ошибок, переделки, контроля, задержки и упущенного результата.
Но всё это до разговора остаётся гипотезой.

Именно здесь исследование закупок дало мне один из самых полезных анти-сигналов: дорогая большая проблема ещё не делает дорогой ближайшую ручную операцию.

Срыв поставки может стоить компании очень дорого.
Но если операция, которую я собираюсь автоматизировать, занимает несколько минут и почти не влияет на вероятность этого срыва, её ценность нельзя автоматически приравнять к стоимости всей проблемы.

Настоящая экономика появляется, когда можно восстановить последний реальный случай.
Кто выполнял работу?
Сколько времени ушло?
Сколько раз это происходило за месяц?
Кто проверял?
Что пришлось переделывать?
Что произошло, когда работу не сделали вовремя?

Вот тогда появляется исходная точка, с которой потом можно сравнивать пилот.
Поэтому до разговора я не хочу говорить: «эта проблема стоит компании миллион».
Корректнее сказать: я вижу признаки, что здесь может быть достаточно дорогая повторяющаяся работа, и хочу проверить её реальную стоимость.

6. Как я проверяю, что синтетическое интервью не придумало проблему

Я не считаю синтетическое интервью доказательством существования проблемы.
Для меня разговор с ИИ - это инструмент генерации и уточнения гипотез.

Он может помочь представить, какие ситуации возникают у роли, какие проблемы человек может испытывать, как он может решать их сейчас, какие возражения могут появиться и что стоит спросить во время настоящего интервью.

Но после этого начинается проверка реальности.
Я ищу независимые следы работы: вакансии, запросы, существующие продукты, подрядчиков, описания процессов, реальные интервью и, в идеале, наблюдение самой работы.

Хороший пример ограничений такого подхода получился в недвижимости. После 10 синтетических интервью появились повторяющиеся сигналы, но я специально не трактовал их как статистику рынка или подтверждение спроса.

Они только помогли решить, что проверять дальше с реальными людьми.

Если ИИ очень убедительно рассказал мне о боли директора по закупкам, но я не могу найти эту работу ни в одном независимом источнике и реальные специалисты её не подтверждают, проблема остаётся гипотезой.

ИИ хорошо генерирует возможные объяснения реальности. Подтверждать их должна сама реальность.

7. Что для меня минимальный достаточный сигнал перед созданием пилота

Ответ, встреча, переданный файл, согласие на пилот и деньги - это не равнозначные сигналы.

«Интересно» почти ничего мне не даёт.
Положительный ответ немного сильнее.
Встреча позволяет проверить проблему глубже.
Показ реального процесса сильнее разговора о процессе.
Переданный файл или реальные данные сильнее слов, потому что компания уже вкладывается в проверку действием.
Согласие проверить решение на настоящем процессе - сильный сигнал.
Деньги - коммерческий сигнал.

Но я разделяю два типа пилота.
Если проверку можно быстро провести вручную или полуручным способом практически без разработки, мне может быть достаточно реальной работы, данных, владельца проблемы и согласия проверить результат.
Такой пилот сам остаётся частью исследования.

Если же «пилот» означает несколько недель интеграций и разработки, одного интереса мне уже недостаточно.
Здесь я хочу гораздо более сильное обязательство со стороны клиента, в идеале оплату.
Потому что иначе легко потратить месяц на технически интересную вещь, которая была нужна только во время разговора.

К этой границе я постепенно пришёл в текущем алгоритме проверки продуктовых гипотез: дополнительное исследование имеет смысл, пока оно уменьшает существенную неопределённость.

После этого следующий источник знания должен находиться уже в реальном поведении клиента.

Перед настоящим пилотом мне сейчас нужны пять вещей:

• реальная повторяющаяся работа;
• понятный владелец результата;
• доступ к реальным данным или процессу;
• заранее согласованный критерий результата;
• готовность компании провести проверку на настоящем случае.

А чем дороже создание пилота, тем ближе необходимый сигнал должен быть к деньгам.

Что изменилось после 34 исследованных направлений

Главный результат этих исследований для меня не список новых идей.
У меня стал жёстче порядок доказательств.

Сначала должна существовать конкретная работа.
Потом я хочу понять ситуацию, в которой она возникает, текущий способ выполнения и владельца результата.
Потом увидеть признаки экономической ценности.
Потом предложить изменить существующий способ работы и посмотреть на реальное поведение компании.
Потом получить данные и провести ограниченный пилот с заранее определённым результатом.

И только после измеримого эффекта и повторения на следующих случаях появляется основание обсуждать отдельный продукт.

Путь от широкой карты до этого фильтра хорошо виден в серии: сначала 240 повторяемых работ бизнеса, затем отдельные исследования оптовой компании, закупок, недвижимости и в итоге три работы, которые я оставил для следующего цикла.

Раньше мой вопрос звучал примерно так:

Что ещё можно автоматизировать с помощью ИИ?

Сейчас он звучит иначе:

Какая достаточно ценная повторяющаяся работа уже существует, кто сегодня оплачивает её выполнение и какое поведение компании покажет, что эту работу действительно стоит передавать цифровому исполнителю?

Пока это и есть главный результат цикла: не больше идей, а более жёсткий фильтр того, какие идеи вообще заслуживают следующего шага.