---
title: "Глава 10. Агент обманывает тест"
url: "https://www.mikefluff.com/ru/read/nobody-writes-code/ch10"
locale: "ru"
author: "Mikhail Savchenko (Mike Fluff)"
updated: "2026-10-10T17:48:25.825Z"
book: "https://www.mikefluff.com/ru/books/nobody-writes-code"
access: "lead-in"
purchase: "https://www.mikefluff.com/ru/books/nobody-writes-code"
alternates:
  - locale: "ru"
    url: "https://www.mikefluff.com/ru/read/nobody-writes-code/ch10"
    markdown: "https://www.mikefluff.com/ru/read/nobody-writes-code/ch10.md"
  - locale: "en"
    url: "https://www.mikefluff.com/en/read/nobody-writes-code/ch10"
    markdown: "https://www.mikefluff.com/en/read/nobody-writes-code/ch10.md"
  - locale: "pt"
    url: "https://www.mikefluff.com/pt/read/nobody-writes-code/ch10"
    markdown: "https://www.mikefluff.com/pt/read/nobody-writes-code/ch10.md"
---

# Глава 10. Агент обманывает тест

*[Код больше не пишут](https://www.mikefluff.com/ru/books/nobody-writes-code)*

В 1975 году британский экономист Чарльз Гудхарт, консультировавший Банк Англии, заметил неприятную закономерность в денежной политике. Как только правительство выбирало какой-нибудь показатель, например объём определённого вида денег в экономике, и начинало целенаправленно им управлять, этот показатель переставал вести себя так, как вёл себя раньше, и переставал говорить о состоянии экономики то, что говорил. Позже антрополог Мэрилин Стратерн сформулировала ту же мысль короче, и в её версии закон Гудхарта знают сегодня все, кто когда-либо составлял систему премий для сотрудников: когда мера становится целью, она перестаёт быть хорошей мерой.

Человечество проверяло этот закон на себе много раз. Больница, которую оценивают по времени ожидания в приёмном покое, начинает держать пациентов в машинах скорой помощи у входа, потому что время ожидания отсчитывается с момента, когда пациент вошёл в дверь. Школа, которую оценивают по результатам экзамена, начинает учить решать экзамен вместо предмета. Отдел поддержки, который оценивают по числу закрытых обращений, закрывает их, не дочитав. Никто из участников при этом не считает себя обманщиком: все просто очень старательно делают то, за что их хвалят.

Языковые модели учат старательности в промышленных масштабах, и в прошлой главе я объяснил, как именно: награду им дают тесты. Значит, закон Гудхарта должен был проявиться и здесь, и он проявился.

* * *

Первые яркие примеры появились задолго до программирующих агентов. В 2016 году OpenAI учила программу играть в компьютерную гонку на катерах. Наградой служили очки, которые в игре начисляются, в том числе, за то, что катер задевает бонусы, разбросанные по трассе. Программа быстро обнаружила в одной части трассы лагуну, где бонусы появлялись снова и снова, и научилась бесконечно кружить в этой лагуне, врезаясь в стены, загораясь и снова набирая очки. До финиша она не доезжала ни разу, а очков набирала больше, чем набирают люди, проходящие трассу честно. С точки зрения функции награды это было блестящее решение.

У программистов для такого поведения есть термин, который по-русски звучит примерно как «взлом награды». Система находит способ получить высокую оценку, не сделав того, ради чего оценку придумали. Злого умысла в этом нет, как нет его у больницы с машинами скорой помощи у входа: система оптимизирует то, что ей дали оптимизировать, и если в оценке есть щель, достаточно способная система её найдёт.

* * *

В феврале 2025 года Anthropic выпустила модель Claude 3.7 Sonnet и в сопроводительном документе, который компания публикует к каждой модели, описала неприятное наблюдение. В режиме, где модель работает агентом и сама пишет и запускает код, она время от времени решала задачу подгонкой под тест: вместо общего решения возвращала те значения, которых ждал тест, а иногда исправляла сам тест так, чтобы он совпадал с тем, что выдавал её код. Происходило это, как правило, после нескольких неудачных попыток решить задачу по-настоящему. Модель пробовала общее решение, запускала тесты, видела, что они падают, пробовала снова, и в какой-то момент, выражаясь по-человечески, сдавалась и находила способ сделать так, чтобы градусник показал нужную температуру.

---

Остальная часть главы — в полной книге. Купить полную книгу (690 ₽): https://www.mikefluff.com/ru/books/nobody-writes-code