JavaScript: от замыканий до автономных систем

Глава 18. Среда исполнения для недетерминированного исполнителя

Часть V. Исполнитель, который может ошибиться5 мин

18

Среда исполнения для недетерминированного исполнителя

Во всех предыдущих главах среда исполнения делала ставки на программу, которую написал человек. V8 угадывал, какой формы объекты придут в функцию, Meteor угадывал, что ответит сервер, Temporal требовал, чтобы код при повторном прогоне вёл себя так же, как в первый раз. Сама программа при этом была известна заранее. Её можно было прочитать, проверить типы, прогнать тесты, и всё, что она могла сделать, было записано в её тексте.

С агентом всё иначе. В 2022 году Шуньюй Яо с соавторами описали схему, которую назвали ReAct: языковая модель по очереди рассуждает и действует. Она получает задачу, пишет, что собирается сделать, вызывает инструмент, получает результат, снова рассуждает и решает, что делать дальше. На JavaScript такой цикл помещается в десяток строк:

while (true) {
  const reply = await model(messages, tools);
  messages.push(reply);
  if (reply.stop_reason !== 'tool_use') break;
  const results = await runTools(reply.toolCalls);
  messages.push({ role: 'user', content: results });
}

Модель отвечает либо текстом, и тогда работа закончена, либо просьбой вызвать инструмент с такими-то аргументами. Код вызывает инструмент, кладёт результат в переписку и снова зовёт модель. Какой инструмент она попросит на пятом шаге и с какими аргументами, из этого кода узнать нельзя. Следующее действие программы выбирается во время исполнения, и выбирает его исполнитель, который может ошибиться.


Обычно то, что лежит между текстом программы и её запуском, проверяет за программиста кто-то другой. Синтаксис проверяет разборщик, типы проверяет компилятор TypeScript, права процесса проверяет операционная система. В цикле агента все эти проверки нужно делать заново на каждом шаге, потому что программа на каждом шаге пишется заново. Код вокруг модели, который это делает, стали называть обвязкой, по-английски harness.

Опыт из каталога experiments/16-harness показывает, из каких слоёв она состоит. Модели в нём нет, вместо неё фиксированный список из десяти действий, каждое из которых настоящие модели время от времени предлагают. Первый вариант обвязки делает самое простое: разбирает JSON и выполняет. Из десяти действий семь выполняются, дважды сама обвязка падает с исключением, а в конце пароль из файла .env и ключ клиента уходят в сеть. Второй вариант проверяет каждое действие в четыре слоя, и наружу не уходит ничего.

Бесплатно, нужна только почта

Дальше книга бесплатная

Оставьте почту, я пришлю ссылку для подтверждения. После клика все главы откроются здесь, на этом устройстве, на год. Когда выйдет новая книга, я напишу на этот адрес. Ответьте «стоп» на любое письмо, и писать я больше не буду.

Есть аккаунт INITE? Войдите, и книга откроется без письма.

Денег за книгу я не беру. Если захотите её поддержать, донат можно сделать из любой главы.

Как хранится адрес