← Блог
18 февраля 2026 г.6 minai

Я тестировал «AI-решение». Через два дня понял, что там Аня из Манилы

История про один продукт, за который клиент заплатил $18 000 в год - и который оказался таблицей с четырьмя операторами. Шесть признаков, по которым это можно поймать за пять минут.

Летом мне позвонил один клиент с небольшой и грустной задачей. Он год назад купил «AI-решение для обработки входящих обращений». Платил за него $1 500 в месяц. Решение работало: письма приходили, через час-два уходили ответы, клиенты были довольны.

В июле у этого решения начались сбои. В один день оно вообще не ответило никому. На следующий - ответило, но на восьми языках, из которых на правильном был один. В третий - снова молчание. Клиент позвонил в поддержку провайдера. Ему сказали «всё исправим, технические работы». Через неделю - то же самое.

  • Понимаешь, - говорит клиент, - у меня клиенты сейчас начинают обижаться. Ты не можешь в это посмотреть? Ты же в AI понимаешь.

Я посмотрел. За два дня я понял, что никакого AI в этом решении нет. Вообще.

Внутри «AI-решения» оказался Google Sheet. Реальный Google Sheet. С формулами. К нему было прицеплено четыре человека-оператора - судя по IP и часовым поясам, один из Манилы, двое из Бангалора и один откуда-то из Латинской Америки (часовой пояс соответствовал Аргентине, но я не уверен - возможно, это была Колумбия). Письма падали в таблицу, каждый оператор брал свою очередь, писал ответ по внутреннему шаблону, и отправлял.

Сбои в июле объяснялись просто: оператор из Манилы уволился, остальным подняли нагрузку, они не справлялись, и теперь внутренний процесс ломался. Вот и «технические работы».

Это не плохо. В бизнесе есть совершенно легитимный инструмент - Mechanical Turk. Люди разгребают очередь, маскируют процесс под автоматизацию, клиент не задумывается. Иногда это - единственный способ запустить сервис, у которого на первом этапе ещё нет нужного объёма, чтобы окупить обучение реальной модели.

Проблема в том, что об этом надо честно говорить. Мой клиент в своём контракте видел слова «AI-powered platform», «machine learning architecture» и «intelligent routing». Это не «MVP с людьми в цикле». Это обман.

И за него клиент заплатил $18 000 за год. Плюс потерю репутации у собственных клиентов, когда решение посыпалось.

За следующие полгода я, просто по случаю, проверил ещё семь AI-продуктов, которые использовали мои клиенты. В трёх из семи - внутри были люди. Ещё в двух - были люди частично (простые случаи обрабатывала модель, сложные - человек, но клиент этого не знал). Только в двух реально была автоматизация от и до.

Это полевая выборка из семи продуктов, а не статистика по рынку. Но проверять с тех пор я начинаю именно с этого.

Вот шесть признаков, которые я теперь проверяю на первом же демо, и которые успевают выдать Аню из Манилы за пять минут.

Первое. Задержка ответа в тридцать секунд и больше. Нормальный LLM на типичной задаче отвечает за 2-15 секунд. Если письмо обрабатывается полторы минуты - особенно в рабочее время Манилы или Бангалора - это очередь.

Второе. Письмо в три часа ночи в субботу. Попробовал однажды, получил ответ через шесть часов, когда открылась утренняя смена. В ответе - извинение за «небольшую задержку из-за технического обслуживания систем». Технические системы, видимо, спят по расписанию.

Третье. Слишком человеческие формулировки. LLM выдают ошибки предсказуемого типа: шаблонные фразы, избыточные предупреждения, аккуратные абзацы. Человек, особенно в стрессе и под KPI, ошибается по-другому: опечатки, сломанный порядок слов, внезапные смены регистра. Когда я увидел ответ с фразой «простите за inconvenience :)» - с англицизмом и смайлом, - я уже всё понял.

Четвёртое. Тот же запрос три раза - три заметно разных ответа. LLM на temperature=0 выдаёт почти идентичный результат. Человек - всегда немного разный, потому что он человек, у него меняются настроение, усталость и часовой пояс.

Пятое. Ни публичного API, ни документации, ни потоковой выдачи. AI-продукт без API в 2026 - это как онлайн-магазин без корзины: технически бывает, но вопросы вызывает сразу. У вас нет API - значит, у вас нет машины, которая бы его поддерживала.

Шестое. Слишком гладкий результат на сложных задачах. Это - самый парадоксальный признак. Идеально отформатированный финансовый отчёт за четыре секунды - это, скорее всего, два часа работы аналитика, отданные вам с задержкой и ярлыком «сгенерировано AI». Быстрые LLM так не работают. А те, что работают - дороже. Если вам отдают «дорогого качества» по цене дешёвой - значит, дорогое качество обеспечивает человек, не модель.

Когда «человек в подвале» - правильный ответ:

  • Сложная юридическая проверка, где ошибка стоит денег или репутации.
  • Медицинская разметка, где регулятор прямо требует проверки человеком.
  • Редкие языки или форматы, где модели плохи (баскский, филиппинский на уровне диалектов, какой-нибудь специфический код ОКВЭД).

В этих случаях честная компания так и говорит: «мы используем human review». И цена соответствует - она выше, потому что час человека дороже секунды модели. Это ок.

Плохо - когда компания говорит «AI», а внутри только Аня.

Что я теперь спрашиваю на переговорах до подписания контракта:

  • Покажи архитектуру. Не «расскажи про AI», а покажи на диаграмме, где принимает решение модель, где правила, где человек. Если не может нарисовать - значит, не знает. Если не знает - значит, внутри у него не то, что он продаёт.

  • Дай SLA по времени ответа. Секунды, а не минуты. Если «до 30 минут» - это не AI.

  • Покажи стоимость на миллион запросов. Живой AI масштабируется предсказуемо: вырос поток - выросли токены, и то не пропорционально. Mechanical Turk растёт линейно по людям: в десять раз больше запросов означает в десять раз больше операторов и в десять раз больше расходов. Если стоимость не падает с объёмом, внутри команда.

  • Попроси доступ к API. Без API это не платформа, а услуга с наклейкой.

«AI внутри» - не гарантия. Из восьми продуктов, которые я разобрал за тот год, четыре оказались людьми целиком, ещё два - наполовину.

Проверка стоит пять минут. Разочарование - $18 000 в год. Мой клиент сейчас на этих деньгах собирает собственного ассистента, честно, на Claude, с открытым кодом и измеримой задержкой. Через три недели он запустится, и это будет стоить ему в пятнадцать раз меньше, чем предыдущее «решение».

Не стесняйтесь задавать неудобные вопросы. Честные поставщики отвечают. Остальные сливаются.

— Mike Fluff← Блог

Почитать ещё