Я изучил 150 видео про AI и понял, как буду проверять нейросети на бизнес-задачах

Анализ просмотров 150 русскоязычных и англоязычных AI-видео и итоговый формат публичных проверок нейросетей на реальной работе.

В первой статье я описал разрыв, с которым регулярно сталкиваюсь в работе.
Клиенту нужен результат. Я вижу данные, интеграции, критерии, проверку и ответственность.

Во второй статье я проверил это ощущение по исследованиям корпоративных AI-проектов.
Модель может выполнить отдельную операцию. Прототип может заработать. Сотрудники могут начать пользоваться инструментом.

Но это ещё не гарантирует устойчивого и измеримого результата для бизнеса.

После этого возник практический вопрос:

Как показывать разницу между убедительным ответом AI и готовой работой так, чтобы материал не только был доказательным, но и собирал внимание?

Зачем я запускаю серию

Я не собираюсь тратить время на эксперименты, видео и статьи ради самого контента.
У этой работы есть несколько прикладных задач.

Первая - меньше повторять одни и те же объяснения клиентам.
Нужен быстрый ответ - можно отправить короткое видео.
Нужно увидеть весь эксперимент - основной выпуск.
Нужны исходные материалы, запрос, результаты и критерии проверки - статья.
Человеку не придётся верить мне на слово.

Вторая задача - создать практическую базу для IT-консалтинга и индивидуальной разработки.
К нам регулярно приходят запросы на AI-функции:

• анализировать информацию;
• работать с документами;
• оценивать звонки;
• готовить рекомендации;
• менять программный код;
• помогать принимать решения.

По каждой такой задаче нужно понимать, что действительно решается обычным чатом, где нужна отдельная разработка и как проверять результат.

Третья задача - искать новые продуктовые гипотезы.
Если несколько доступных моделей стабильно закрывают работу одним запросом, возможно, отдельный сервис для неё не нужен.
Если они регулярно теряют контекст, нарушают критерии или требуют дорогой ручной проверки, появляется основание исследовать систему вокруг модели.

Главная коммерческая цель этой работы - развитие “Дожми Продажи”.
Но продукт не будет заранее объявляться победителем.
Сначала реальная задача и фактический результат.
Только потом вывод о том, где достаточно отдельной модели, а где требуется система.

Почему я стал изучать чужие видео

Можно провести аккуратный эксперимент, подробно описать методику и получить материал, который почти никто не откроет.

Можно сделать громкий заголовок и собрать внимание, но оставить за кадром проверку, ради которой всё начиналось.

Мне нужен формат, который одновременно:

• показывает реальную бизнес-задачу;
• привлекает внимание;
• позволяет проверить вывод;
• создаёт доверие;
• получает поисковый трафик;
• помогает в разговорах с клиентами;
• становится основой для выступлений;
• даёт идеи новых продуктов.

Поэтому я собрал выборку AI-контента и отдельно посмотрел просмотры каждого материала.

Что я исследовал

В выборку вошли 150 видео:

• 50 англоязычных длинных роликов;
• 30 русскоязычных длинных роликов;
• 40 англоязычных Shorts;
• 30 русскоязычных Shorts.

Я искал материалы про AI-инструменты, автоматизацию бизнеса, агентов, замену сотрудников, продажи, CRM, ошибки, провалы, личные эксперименты и реальные внедрения.
Это не рейтинг 150 самых популярных видео на YouTube.
Выборка была разделена по языкам, форматам и смысловым рамкам, чтобы увидеть повторяющиеся конструкции, а не собрать только крупнейшие ролики.

Среднее количество просмотров почти ничего не объясняет

Все 150 видео вместе набрали около 9,7 млн просмотров.
Среднее значение составило почти 65 тысяч просмотров на ролик.
Но медиана оказалась равна только 768.

То есть половина материалов не дошла даже до 800 просмотров.

Разрыв появился из-за нескольких крупных выбросов:

• одно самое популярное видео собрало около 48% всех просмотров;
• пять самых популярных - более 80%;
• десять лидеров - около ~94%.

В этой выборке YouTube-контент об AI оказался рынком редких выбросов.
Несколько роликов получают сотни тысяч или миллионы просмотров.
Большинство остаётся в пределах сотен или нескольких тысяч.
Поэтому нельзя найти один крупный ролик, скопировать заголовок и считать формулу доказанной.
Но можно посмотреть, что объединяет заметные исключения.

Высокие просмотры получает не тема AI, а понятное событие

Среди лидеров были разные смысловые рамки.
Одни показывали успех:

• человек строит бизнес с AI;
• AI заменяет сотрудников;
• нейросеть выполняет рабочий день;
• агент внедряется в реальную компанию.

Другие показывали неоднозначный результат:

• модель управляет магазином и принимает странные решения;
• AI исправляет одну часть работы, но создаёт новую проблему;
• компания возвращает сокращённых сотрудников;
• автоматизация не даёт обещанного эффекта.

Общий элемент находится не в позитиве или негативе.
Он находится в конкретном событии.

AI получает настоящую работу.
Можно увидеть действие, ставку и последствие.

Человек понимает ситуацию за несколько секунд и хочет узнать, чем она закончилась.

Значительно слабее выглядят абстрактные темы:

• почему AI-проекты проваливаются;
• как изменится бизнес;
• какой AI лучше;
• главные ошибки внедрения;
• будущее нейросетей.

Такие материалы могут быть содержательными.
Но в них нет конкретного события, за которым хочется наблюдать.

Само сравнение моделей не является сюжетом

Изначально я собирался строить серию вокруг прямого сравнения.
Одна задача. Один запрос. Несколько AI. Рейтинг результатов.

Но в выборке прямые сравнительные материалы сами по себе не выглядели сильными.
Отдельные видео про сравнение инструментов и моделей набрали 376, 20 и 8 просмотров.
Это не означает, что сравнивать модели бессмысленно.

Сравнение необходимо для чистоты эксперимента.
Но зритель приходит не ради методики.

Заголовок “Я протестировал семь нейросетей на одном промпте” описывает действия автора.
Он не отвечает на вопросы зрителя:

• какую работу выполняли модели;
• зачем она нужна;
• кто обычно решает эту задачу;
• что стояло на кону;
• чем всё закончилось.

Поэтому несколько AI останутся внутри каждого выпуска.
Но главным сюжетом станет не их сравнение.

Главным сюжетом станет работа, которую раньше выполнял человек

В бизнесе постоянно возникают небольшие задачи.
Нужно изменить готовый сайт.
Объединить таблицы.
Проверить договор.
Разобрать звонок.
Подготовить ответ клиенту.

Раньше для этого потребовалось бы:

• отвлечь сотрудника;
• найти специалиста;
• обратиться к знакомому;
• потратить собственное время;
• отложить задачу.

Теперь появляется ещё один вариант:

Передать исходные материалы нейросети и получить готовую работу.

Именно это ожидание я буду проверять.
Не умеет ли модель написать правильный фрагмент кода.
А можно ли загрузить полученный файл на сайт без ручного исправления.

Не способна ли она красиво разобрать звонок.
А можно ли руководителю опереться на цитаты, факты и выводы.

Что показал русскоязычный сегмент

В 30 русскоязычных длинных видео медиана составила 740 просмотров.
Верхняя четверть начиналась примерно с 5 800.
Верхние 10% - примерно с 14 400.
Самый популярный ролик набрал 38 459 просмотров.

Заметные результаты чаще были связаны с конкретным рабочим контекстом:

• реальным внедрением AI-агента;
• работой ChatGPT на практической задаче;
• AI вместо человека;
• заменой сотрудников;
• интеграцией AI с CRM и продажами.

В 30 русскоязычных Shorts медиана составила 956 просмотров.
Верхняя четверть начиналась примерно с 2 100.
Верхние 10% - примерно с 5 600.

Два лидера набрали 47 492 и 90 594 просмотра.
Оба были связаны с продажами: анализом звонков и попыткой заменить отдел продаж.

Это важный сигнал для моей темы.
Когда AI получает знакомую работу внутри бизнеса, появляется ясный конфликт:

• справится ли;
• что заметит;
• что пропустит;
• можно ли доверять результату;
• останется ли нужен человек.

Почему серия не будет построена только на провалах

Общий негатив сам по себе показал слабые результаты.
В выборке было много материалов про то, почему проекты проваливаются и компании теряют деньги.

Большая часть таких видео осталась в пределах десятков или сотен просмотров.

Негатив становится сильнее, когда у него есть конкретный носитель:

• реальный эксперимент;
• видимая ошибка;
• понятное последствие;
• конкретная работа.

Не “Почему AI плохо программирует”.
А “Нейросеть исправила кнопку и уничтожила дизайн сайта”.

При этом я не собираюсь заранее искать провал.
Если все модели справятся, это тоже важный результат.

Иначе серия быстро превратится либо в рекламу AI, либо в постоянное разоблачение.

Итоговая конструкция серии

После анализа я зафиксировал формат:

Одна реальная атомарная бизнес-задача. Несколько доступных нейросетей. Одинаковые исходные данные. Один обычный пользовательский запрос. Проверка готового результата.

Первый тест каждой модели будет максимально похож на поведение обычного пользователя.
Я не буду заранее писать отдельный профессиональный промт под каждый сервис.
Не буду программировать агента и проводить десять подготовительных итераций.

Первый вопрос:

Справляется ли модель в том виде, в котором этого ожидает конечный пользователь?

После этого можно исследовать, сколько уточнений и дополнительных действий требуется для получения результата.
Но первый ответ должен фиксироваться отдельно.

Я буду проверять не ответ, а готовую работу

После каждого теста я буду смотреть:

• вернула ли модель именно запрошенный результат;
• можно ли его открыть и использовать;
• выполнена ли исходная задача;
• сохранено ли всё, что не просили менять;
• появились ли скрытые ошибки;
• сколько заняла генерация;
• сколько потребовала проверка;
• понадобилась ли ручная доработка;
• остался ли нужен специалист.

У результата будет один из четырёх статусов:

• готово к использованию;
• выполнено частично;
• задача не выполнена;
• опасный результат.

Опасный результат особенно важен.
Он выглядит законченным и убедительным, но использовать его без профессиональной проверки нельзя.

Формула заголовков

Главный вектор серии:

N нейросетей вместо специалиста: только X дали готовый результат.

Например:

• “7 нейросетей вместо аналитика: кто объединил пять таблиц без ошибок”;
• “7 нейросетей вместо РОПа: только одна заметила главную ошибку менеджера”;
• “7 нейросетей вместо юриста: сколько моделей пропустили опасный пункт”;
• “7 нейросетей вместо маркетолога: кто подготовил отчёт без выдуманных фактов”.

Заголовок продаёт заменяемую работу и результат.
Сравнение нейросетей остаётся механизмом эксперимента.

Как один эксперимент превратится в несколько материалов

Основное видео показывает историю задачи, последовательность ограничений и итоговую проверку.
Short показывает один наблюдаемый парадокс.
Например:

Нейросеть исправила кнопку и уничтожила дизайн сайта.

Статья сохраняет доказательства:

• исходную задачу;
• точный запрос;
• список моделей;
• критерии оценки;
• полные результаты;
• полученные файлы;
• обнаруженные ошибки;
• дополнительные итерации;
• затраченное время;
• окончательный вердикт.

Видео создаёт внимание.
Статья позволяет проверить вывод и получить поисковый трафик.

Как я буду оценивать результат

Собранные ролики вышли на каналах разного размера и имеют разный возраст.
Поэтому абсолютные просмотры недостаточны.

Я буду одновременно смотреть результат и его отношение к медиане последних сопоставимых публикаций собственного канала.
Для Shorts основное окно оценки - 30 дней.
Рабочий ориентир:

• менее 1 000 просмотров - слабый результат;
• 2 000-6 000 и не менее двух медиан последних роликов - хороший;
• более 6 000 и не менее четырёх медиан - отличный;
• более 40 000 - прорывной.

Для основных видео продолжительностью примерно 6-15 минут окно оценки - 90 дней:

• менее 1 000 - слабый результат;
• 5 000-15 000 и не менее двух медиан последних выпусков - хороший;
• более 15 000 и не менее четырёх медиан - отличный;
• более 30 000 - прорывной.

Это рабочая шкала первого цикла, а не универсальный отраслевой стандарт.
После первых десяти экспериментов её нужно будет пересчитать по собственным данным.

Итог

После изучения 150 видео я отказался от идеи делать обычные обзоры нейросетей.
Я также не буду строить серию только на успехах или провалах.
Итоговая конструкция выглядит так:

Я беру реальную бизнес-задачу, для которой раньше пришлось бы искать специалиста, отвлекать сотрудника или тратить собственное время. Передаю одинаковые исходные материалы и один обычный запрос нескольким доступным нейросетям. Затем проверяю не красоту ответа, а готовый результат: можно ли его использовать, сколько времени занял полный цикл и удалось ли действительно обойтись без человека.

Первый практический эксперимент уже проведён.
7 AI-сервисов получили одну правку в готовом сайте.
3 реализовали нужную механику.
2 создали новые проблемы.
Только 2 вернули страницу, после которой мне не пришлось исправлять что-то ещё.

Следующий материал серии:
8 нейросетей вместо верстальщика: готовый сайт вернула только одна.