JavaScript: das closures aos sistemas autônomos

Capítulo 18. Um runtime para um executor não determinístico

Parte V. Um executor que pode errar7 min

18

Um runtime para um executor não determinístico

Em todos os capítulos anteriores, o runtime fazia apostas sobre um programa escrito por uma pessoa. O V8 adivinhava a forma dos objetos que chegariam a uma função, o Meteor adivinhava o que o servidor responderia, o Temporal exigia que o código, ao ser reexecutado, se comportasse como da primeira vez. O programa em si era conhecido de antemão. Dava para lê-lo, verificar os tipos, rodar os testes, e tudo o que ele podia fazer estava escrito no seu texto.

Com um agente é diferente. Em 2022, Shunyu Yao e coautores descreveram um esquema que chamaram de ReAct: um modelo de linguagem alterna entre raciocinar e agir. Ele recebe uma tarefa, escreve o que pretende fazer, chama uma ferramenta, recebe o resultado, raciocina de novo e decide o que fazer em seguida. Em JavaScript, esse laço cabe numa dúzia de linhas:

while (true) {
  const reply = await model(messages, tools);
  messages.push(reply);
  if (reply.stop_reason !== 'tool_use') break;
  const results = await runTools(reply.toolCalls);
  messages.push({ role: 'user', content: results });
}

O modelo responde ou com texto, e aí o trabalho está terminado, ou com um pedido para chamar uma ferramenta com tais e tais argumentos. O código chama a ferramenta, põe o resultado na conversa e chama o modelo de novo. Que ferramenta ele vai pedir no quinto passo e com quais argumentos não dá para saber por esse código. A próxima ação do programa é escolhida durante a execução, e quem a escolhe é um executor que pode errar.


Normalmente, o que fica entre o texto do programa e sua execução é verificado por alguém no lugar do programador. A sintaxe quem verifica é o parser, os tipos, o compilador do TypeScript, as permissões do processo, o sistema operacional. No laço de um agente todas essas verificações precisam ser feitas de novo a cada passo, porque o programa é escrito de novo a cada passo. O código em volta do modelo que faz isso passou a ser chamado de harness, o arnês.

Grátis, só falta um passo

O resto do livro é grátis

Deixe seu e-mail e eu mando um link para confirmar. Depois do clique, todos os capítulos abrem aqui, neste aparelho, por um ano. Quando sair um livro novo, escrevo para esse endereço; responda “parar” a qualquer e-mail e não escrevo mais.

Tem conta INITE? Entre, e o livro abre sem e-mail.

O livro não custa nada. Se quiser apoiá-lo, dá para fazer uma doação a partir de qualquer capítulo.

Como o endereço é guardado