Reunião de três horas para escolher um modelo. No fim escolheram o que eu tinha sugerido no começo
Sobre um projeto que atrasou sete semanas porque o time não conseguia decidir entre Claude, ChatGPT, Gemini ou um local. E como isso costuma ser resolvido.
A reunião foi numa terça. Zoom — seis pessoas: CTO, dois back-ends, product, segurança e eu. Pauta: "qual modelo escolhemos para a feature X".
Três horas depois a reunião acabou sem decisão. O formato adotado foi "vamos pensar até sexta". Na sexta ninguém pensou, porque houve um incidente em produção na semana e aí já não importava mais qual modelo.
Nas seis semanas seguintes nos reunimos sobre isso mais quatro vezes. Cada vez entrava um argumento novo — "saiu o novo Sonnet", "o Gemini tem dois milhões de contexto agora", "a Llama 3.3 está um pouquinho melhor num benchmark que, a propósito, não é relevante para nós". A feature X não andou essas sete semanas.
Na sétima semana eu perdi a paciência. Disse: "pega o Claude Sonnet, monta um protótipo em três dias com vinte exemplos reais, e vê". Montaram. O protótipo funcionou. Ficaram com o Claude Sonnet. Está rodando até hoje. A feature X saiu.
Essas sete semanas custaram ao cliente cerca de um milhão de rublos em tempo ocioso de quatro pessoas. Mais a desmoralização — coisa que eu não sei contar, mas acho que foi na mesma ordem de grandeza.
É história típica, que se repete comigo duas ou três vezes por ano. Escolha de modelo é tarefa em que é fácil se afogar, porque:
— modelos novos saem a cada três ou quatro meses, — benchmarks se invertem, — cada dev tem sua opinião ("eu experimentei o Gemini, gostei"), — blogs do setor escrevem "por que o GPT-4o bateu o Claude em X" (e depois "por que o Claude bateu o GPT-4o em Y"), — ninguém no time quer ser o primeiro a dizer "tanto faz, pega esse", porque soa pouco profissional.
Resultado: em vez de trabalho, o time discute ferramentas. Seria ok se a discussão tivesse sentido. Geralmente não tem.
Por que não tem.
Os benchmarks com que vocês discutem — MMLU, GPQA, HumanEval e outros sintéticos — medem o quão bem um modelo se sai em tarefas abstratas padrão. Isso provavelmente é irrelevante para você. Você precisa saber se este modelo específico dá conta da sua tarefa específica por um preço razoável. Isso se verifica em meio dia nos seus dados, não em sete semanas de reunião.
Quando eu, ainda assim, preciso fundamentar a decisão — porque o cliente quer "decisão argumentada", não "eu disse" — separo os modelos assim.
Claude (Sonnet / Opus) — contextos longos, tarefas com instrução nuanceada, refactor, trabalho cuidadoso com texto. Uso ele na maior parte dos meus cenários reais porque, primeiro, é disciplinado (segue instruções), e, segundo, raramente alucina em fatos que não conhece (costuma dizer honestamente). Contra — mais caro por token. Projeto médio: $50–200/mês em carga normal.
ChatGPT (GPT-4o / série o) — multimodal, tempo real, interfaces de chat para usuário final. Ecossistema enorme de plugins. Contra — alucinações em nichos são mais visíveis do que no Claude. Pouca gente escreve sobre, mas me convenci disso várias vezes em um ano, inclusive com custo reputacional para um cliente que quase enviou um e-mail citando um estudo inventado.
Gemini (2.x) — se a empresa toda vive no Google Workspace, é o caminho mais curto. Contextos longos (em 2026 já não são únicos). Forte em multimodal com gráficos. Contra — ecossistema. Fora do Google parece cozinha de outra casa.
Locais (Llama 3.x, Mistral, Qwen) — privacidade, custo em escala, cenários edge. Se você guarda dados que não podem sair para nuvem nenhuma — decisão fechada, local. Contra — precisa de engenheiro, servidor, GPU. E a diferença de qualidade em tarefas difíceis contra flagships em 2026 ainda é real.
Reduzo a escolha a três perguntas nesta ordem:
Primeira — privacidade. Não pode sair? Local. Não leia mais.
Segunda — volume. Mais de 100 000 requests por dia? Local ou API mais barata. Calcula no custo real.
Terceira — tudo o mais — Claude ou ChatGPT, passa 20 exemplos, vencedor. Três horas. Não três semanas.
Coisa que digo muito a cliente como externo:
Não migre entre modelos a cada três meses "porque saiu um novo". Estabilidade vale mais do que 2% em benchmark. Cada migração é reescrever prompts, retunar, retestar. Trabalho que não entrega valor para o cliente final — para ele tanto faz Sonnet 3.5 ou Sonnet 4.
Um cliente este ano gastou duas semanas migrando de Sonnet para Opus porque "agora o Opus é mais inteligente". Um mês depois notamos que, para a tarefa deles, o Opus não era notavelmente mais inteligente, só três vezes mais caro. Voltaram. Mais uma semana. Menos três semanas de trabalho.
(Ainda bem que voltaram. Pior seria ficar.)
Modelo não é religião. É ferramenta para uma tarefa. Em 2026 ferramentas abundam e são comparáveis; a escolha leva meio dia com seus dados, não três horas de Zoom com seis pessoas.
Se sua reunião de "qual modelo escolhemos" dura mais de uma hora, vocês não estão discutindo modelos. Estão discutindo o medo de escolher errado. Problema diferente, e não se resolve comparando benchmark.