Experimentos · JavaScript: das closures aos sistemas autônomos · Capítulo 18
Dez ações pelo harness
Prompt injection e o harness do agente
Tudo é calculado no seu navegador; nada é enviado.
Sobre este experimento
O que é prompt injection?
Prompt injection, ou injeção de instruções, é um ataque a um sistema construído em volta de um modelo de linguagem: o texto que o modelo lê como dado, seja um e-mail, uma página ou um arquivo, traz instruções, e o modelo as segue. Simon Willison deu o nome em setembro de 2022, por analogia com a injeção de SQL. A causa é que o modelo não tem um canal separado para comandos; tudo o que ele lê é texto. Ninguém achou um jeito confiável de ensinar o modelo a separar dados de comandos, então a defesa fica no código em volta dele: permissões estreitas para cada ferramenta e o registro de onde vieram os dados antes de deixá-los sair.
Um agente executa um programa que é escrito enquanto roda. O modelo decide a próxima chamada de ferramenta, e essa chamada pode vir quebrada, sair do seu diretório ou cumprir uma ordem achada num e-mail que acabou de ler. O código em volta do modelo que confere cada chamada antes de executá-la se chama harness.
O experimento pega as dez ações do livro, uma lista fixa do que modelos de verdade propõem, e as passa pelo harness uma a uma. Quatro camadas podem ser ligadas e desligadas: análise, schema, permissões no modelo das flags do Deno e marcas de origem inspiradas no CaMeL. Avance ação por ação ou rode todas; cada linha mostra qual camada barrou a ação ou que ela foi executada, e um painel mostra o que saiu da máquina. Não há modelo aqui, os arquivos e a rede são de brinquedo, mas o harness é código de verdade rodando no seu navegador, e as mensagens de erro vêm do seu motor.
O livro rodou o experimento no Node 24.16.0. O harness ingênuo, que só analisa e executa, executa sete ações, cai duas vezes e manda a senha do .env para evil.example e a chave do cliente para api.example.com. Com as quatro camadas são executadas quatro, a análise barra uma, o schema duas, as permissões duas e a origem uma, e nada sai.
O capítulo gira em torno da nona ação. O arquivo secreto está dentro do diretório concedido, então lê-lo é permitido, e api.example.com é um endereço permitido, então as permissões não têm o que barrar. Só um harness que lembra de onde vieram os dados pode se recusar a enviá-los. É o ponto do capítulo 18: o que dar ao agente se decide antes, porque depois do início quem decide é o modelo.
Do livro
JavaScript: das closures aos sistemas autônomos · Capítulo 18
Um runtime para um executor não determinístico
… Algo assim só pode ser barrado se o harness lembrar de onde vieram os dados. Em 2025, pesquisadores do Google e da ETH Zurich descreveram um sistema chamado CaMeL, em que cada valor carrega uma marca da sua origem e, antes de cada chamada de ferramenta, se verifica se dados desse tipo podem fluir para lá. No experimento isso é feito de forma simplificada: o modelo se refere aos resultados de passos anteriores, o harness os substitui sozinho e sabe que o conteúdo de secrets.txt está marcado como secreto. O arquivo secreto pode ser lido, mas seu conteúdo não pode ser enviado à rede, nem para um endereço permitido.