18
Um runtime para um executor não determinístico
Em todos os capítulos anteriores, o runtime fazia apostas sobre um programa escrito por uma pessoa. O V8 adivinhava a forma dos objetos que chegariam a uma função, o Meteor adivinhava o que o servidor responderia, o Temporal exigia que o código, ao ser reexecutado, se comportasse como da primeira vez. O programa em si era conhecido de antemão. Dava para lê-lo, verificar os tipos, rodar os testes, e tudo o que ele podia fazer estava escrito no seu texto.
Com um agente é diferente. Em 2022, Shunyu Yao e coautores descreveram um esquema que chamaram de ReAct: um modelo de linguagem alterna entre raciocinar e agir. Ele recebe uma tarefa, escreve o que pretende fazer, chama uma ferramenta, recebe o resultado, raciocina de novo e decide o que fazer em seguida. Em JavaScript, esse laço cabe numa dúzia de linhas:
while (true) {
const reply = await model(messages, tools);
messages.push(reply);
if (reply.stop_reason !== 'tool_use') break;
const results = await runTools(reply.toolCalls);
messages.push({ role: 'user', content: results });
}
O modelo responde ou com texto, e aí o trabalho está terminado, ou com um pedido para chamar uma ferramenta com tais e tais argumentos. O código chama a ferramenta, põe o resultado na conversa e chama o modelo de novo. Que ferramenta ele vai pedir no quinto passo e com quais argumentos não dá para saber por esse código. A próxima ação do programa é escolhida durante a execução, e quem a escolhe é um executor que pode errar.
Normalmente, o que fica entre o texto do programa e sua execução é verificado por alguém no lugar do programador. A sintaxe quem verifica é o parser, os tipos, o compilador do TypeScript, as permissões do processo, o sistema operacional. No laço de um agente todas essas verificações precisam ser feitas de novo a cada passo, porque o programa é escrito de novo a cada passo. O código em volta do modelo que faz isso passou a ser chamado de harness, o arnês.
Grátis, só falta um passo
O resto do livro é grátis
Deixe seu e-mail e eu mando um link para confirmar. Depois do clique, todos os capítulos abrem aqui, neste aparelho, por um ano. Quando sair um livro novo, escrevo para esse endereço; responda “parar” a qualquer e-mail e não escrevo mais.
Tem conta INITE? Entre, e o livro abre sem e-mail.
O livro não custa nada. Se quiser apoiá-lo, dá para fazer uma doação a partir de qualquer capítulo.
Como o endereço é guardado