--- title: "Я тестировал «AI-решение». Через два дня понял, что там Аня из Манилы" url: "https://www.mikefluff.com/ru/blog/fake-automation" locale: "ru" author: "Mike Fluff" updated: "2026-02-18" description: "История про один продукт, за который клиент заплатил $18 000 в год - и который оказался таблицей с четырьмя операторами. Шесть признаков, по которым это можно поймать за пять минут." tags: - "ai" - "automation" - "diagnostics" alternates: - locale: "en" url: "https://www.mikefluff.com/en/blog/fake-automation" markdown: "https://www.mikefluff.com/en/blog/fake-automation.md" - locale: "ru" url: "https://www.mikefluff.com/ru/blog/fake-automation" markdown: "https://www.mikefluff.com/ru/blog/fake-automation.md" - locale: "pt" url: "https://www.mikefluff.com/pt/blog/fake-automation" markdown: "https://www.mikefluff.com/pt/blog/fake-automation.md" - locale: "es" url: "https://www.mikefluff.com/es/blog/fake-automation" markdown: "https://www.mikefluff.com/es/blog/fake-automation.md" --- # Я тестировал «AI-решение». Через два дня понял, что там Аня из Манилы > **Коротко:** Клиент год платил $1 500 в месяц за «AI-решение» для входящих писем, а внутри оказались Google Sheet и четыре оператора из Манилы, Бангалора и Латинской Америки. Людей выдают ответ дольше тридцати секунд, ночное письмо в выходной, которое ждёт утренней смены, живые опечатки, разные ответы на один запрос, отсутствие API и слишком гладкий результат на сложной задаче. Летом мне позвонил один клиент с небольшой и грустной задачей. Он год назад купил «AI-решение для обработки входящих обращений». Платил за него $1 500 в месяц. Решение работало: письма приходили, через час-два уходили ответы, клиенты были довольны. В июле у этого решения начались сбои. В один день оно вообще не ответило никому. На следующий - ответило, но на восьми языках, из которых на правильном был один. В третий - снова молчание. Клиент позвонил в поддержку провайдера. Ему сказали «всё исправим, технические работы». Через неделю - то же самое. - Понимаешь, - говорит клиент, - у меня клиенты сейчас начинают обижаться. Ты не можешь в это посмотреть? Ты же в AI понимаешь. Я посмотрел. За два дня я понял, что никакого AI в этом решении нет. Вообще. --- Внутри «AI-решения» оказался Google Sheet. Реальный Google Sheet. С формулами. К нему было прицеплено четыре человека-оператора - судя по IP и часовым поясам, один из Манилы, двое из Бангалора и один откуда-то из Латинской Америки (часовой пояс соответствовал Аргентине, но я не уверен - возможно, это была Колумбия). Письма падали в таблицу, каждый оператор брал свою очередь, писал ответ по внутреннему шаблону, и отправлял. Сбои в июле объяснялись просто: оператор из Манилы уволился, остальным подняли нагрузку, они не справлялись, и теперь внутренний процесс ломался. Вот и «технические работы». Это не плохо. В бизнесе есть совершенно легитимный инструмент - Mechanical Turk. Люди разгребают очередь, маскируют процесс под автоматизацию, клиент не задумывается. Иногда это - единственный способ запустить сервис, у которого на первом этапе ещё нет нужного объёма, чтобы окупить обучение реальной модели. Проблема в том, что об этом надо честно говорить. Мой клиент в своём контракте видел слова «AI-powered platform», «machine learning architecture» и «intelligent routing». Это не «MVP с людьми в цикле». Это **обман**. И за него клиент заплатил $18 000 за год. Плюс потерю репутации у собственных клиентов, когда решение посыпалось. --- За следующие полгода я, просто по случаю, проверил ещё семь AI-продуктов, которые использовали мои клиенты. В трёх из семи - внутри были люди. Ещё в двух - были люди частично (простые случаи обрабатывала модель, сложные - человек, но клиент этого не знал). Только в двух реально была автоматизация от и до. Это полевая выборка из семи продуктов, а не статистика по рынку. Но проверять с тех пор я начинаю именно с этого. --- Вот шесть признаков, которые я теперь проверяю на первом же демо, и которые успевают выдать Аню из Манилы за пять минут. **Первое.** Задержка ответа в тридцать секунд и больше. Нормальный LLM на типичной задаче отвечает за 2-15 секунд. Если письмо обрабатывается полторы минуты - особенно в рабочее время Манилы или Бангалора - это очередь. **Второе.** Письмо в три часа ночи в субботу. Попробовал однажды, получил ответ через шесть часов, когда открылась утренняя смена. В ответе - извинение за «небольшую задержку из-за технического обслуживания систем». Технические системы, видимо, спят по расписанию. **Третье.** Слишком человеческие формулировки. LLM выдают ошибки предсказуемого типа: шаблонные фразы, избыточные предупреждения, аккуратные абзацы. Человек, особенно в стрессе и под KPI, ошибается по-другому: опечатки, сломанный порядок слов, внезапные смены регистра. Когда я увидел ответ с фразой «простите за inconvenience :)» - с англицизмом и смайлом, - я уже всё понял. **Четвёртое.** Тот же запрос три раза - три заметно разных ответа. LLM на temperature=0 выдаёт почти идентичный результат. Человек - всегда немного разный, потому что он человек, у него меняются настроение, усталость и часовой пояс. **Пятое.** Ни публичного API, ни документации, ни потоковой выдачи. AI-продукт без API в 2026 - это как онлайн-магазин без корзины: технически бывает, но вопросы вызывает сразу. У вас нет API - значит, у вас нет машины, которая бы его поддерживала. **Шестое.** Слишком гладкий результат на сложных задачах. Это - самый парадоксальный признак. Идеально отформатированный финансовый отчёт за четыре секунды - это, скорее всего, два часа работы аналитика, отданные вам с задержкой и ярлыком «сгенерировано AI». Быстрые LLM так не работают. А те, что работают - дороже. Если вам отдают «дорогого качества» по цене дешёвой - значит, дорогое качество обеспечивает человек, не модель. > **Тест за пять минут** > > 1. Засекаете время ответа. > 2. Шлёте тот же запрос трижды подряд. > 3. Задаёте что-нибудь странное, но в домене: «если вариант 3 и вариант 7 объединить в один, что получится?» > 4. Проверяете, есть ли API и документация. > 5. Просите примеры типичных ошибок продукта. Живой LLM-продукт их знает - у него есть разборы инцидентов. Mechanical Turk - изображает. --- Когда «человек в подвале» - правильный ответ: - Сложная юридическая проверка, где ошибка стоит денег или репутации. - Медицинская разметка, где регулятор прямо требует проверки человеком. - Редкие языки или форматы, где модели плохи (баскский, филиппинский на уровне диалектов, какой-нибудь специфический код ОКВЭД). В этих случаях честная компания так и говорит: «мы используем human review». И цена соответствует - она выше, потому что час человека дороже секунды модели. Это ок. Плохо - когда компания говорит «AI», а внутри только Аня. --- Что я теперь спрашиваю на переговорах до подписания контракта: - Покажи архитектуру. Не «расскажи про AI», а покажи на диаграмме, где принимает решение модель, где правила, где человек. Если не может нарисовать - значит, не знает. Если не знает - значит, внутри у него не то, что он продаёт. - Дай SLA по времени ответа. Секунды, а не минуты. Если «до 30 минут» - это не AI. - Покажи стоимость на миллион запросов. Живой AI масштабируется предсказуемо: вырос поток - выросли токены, и то не пропорционально. Mechanical Turk растёт линейно по людям: в десять раз больше запросов означает в десять раз больше операторов и в десять раз больше расходов. Если стоимость не падает с объёмом, внутри команда. - Попроси доступ к API. Без API это не платформа, а услуга с наклейкой. --- «AI внутри» - не гарантия. Из восьми продуктов, которые я разобрал за тот год, четыре оказались людьми целиком, ещё два - наполовину. Проверка стоит пять минут. Разочарование - $18 000 в год. Мой клиент сейчас на этих деньгах собирает собственного ассистента, честно, на Claude, с открытым кодом и измеримой задержкой. Через три недели он запустится, и это будет стоить ему в пятнадцать раз меньше, чем предыдущее «решение». Не стесняйтесь задавать неудобные вопросы. Честные поставщики отвечают. Остальные сливаются. **[Проверить, что у вас внутри](https://www.mikefluff.com/ru#contact)** — Если не уверены, что в купленном «AI-решении» реальный AI - приходите, посмотрим вместе. За час примерно видно.