Grupo de controle: como provar que a IA deu resultado

Um grupo de controle é uma parte da operação que segue sem a IA, de propósito, durante toda a janela de medição. No fim, comparam-se os dois lados. A diferença que sobra é o efeito real da ferramenta — e não o efeito do mês cheio, do funcionário novo ou da campanha que rodou junto.

É a única técnica barata que separa causa de coincidência. E é a que quase ninguém usa, porque parece complicada e não é.

O problema que ela resolve

A cena se repete. A empresa liga um assistente de IA no atendimento em março. Em abril, o tempo de resposta caiu 20%. Todo mundo comemora e o projeto é aprovado.

Só que em março também entraram dois atendentes novos, o carnaval acabou, e o time passou por um treinamento de produto. Qual parte dos 20% foi a IA? Ninguém sabe. E quando o diretor financeiro perguntar isso na revisão de orçamento, a resposta vai ser um silêncio caro.

O grupo de controle responde a essa pergunta com um número em vez de uma opinião.

Como montar, em cinco passos

1. Escolha o que vai ser medido, antes de ligar

Uma métrica principal, no máximo duas de apoio. Escolhida antes, escrita, e não trocada depois. Trocar a métrica no meio porque a primeira não melhorou é o erro mais comum e o mais difícil de perceber.

Métrica boa é a que já é coletada hoje, sem trabalho extra: tempo até a primeira resposta, casos resolvidos por pessoa por dia, taxa de retrabalho, prazo de fechamento.

2. Divida em dois grupos parecidos

Metade com a ferramenta, metade sem. O corte precisa ser aleatório ou, no mínimo, equilibrado. Não vale dar a IA para o time que já era melhor — é o jeito mais rápido de gerar um resultado bonito e falso.

Se a operação for pequena demais para dividir pessoas, divida por turno, por dia da semana ou por fila de atendimento.

3. Registre a linha de base

Quatro semanas de dado dos dois grupos antes de ligar qualquer coisa. Sem isso, não existe comparação — existe impressão.

4. Deixe rodar sem mexer

De seis a doze semanas, dependendo do volume. Durante a janela, não mude a ferramenta, não troque as pessoas de grupo, não ajuste a métrica. Toda alteração no meio joga fora o que já foi coletado.

5. Compare a diferença das diferenças

Não compare só o grupo com IA antes e depois. Compare quanto cada grupo mudou:

	Antes	Depois	Variação
Grupo com IA	100	130	+30%
Grupo sem IA	100	112	+12%
Efeito da IA			+18 pontos

Os 12% do grupo sem IA são a sazonalidade, o treinamento e tudo o mais que aconteceu no período. Sem o grupo de controle, a empresa teria anunciado 30%. Os números da tabela são ilustrativos, mas a forma da conta é essa.

As três objeções, respondidas

“É injusto deixar metade sem a ferramenta.” É temporário, e o ganho é que a outra metade recebe uma ferramenta que se sabe que funciona. Se não funcionar, você poupou a empresa de estender um problema para todo mundo.

“Nossa operação é pequena demais.” Divida por dia ou por turno. Com dez pessoas ainda dá para fazer, e o resultado é menos preciso mas continua sendo mais honesto que nenhum.

“Não temos tempo.” O tempo é gasto de qualquer jeito, mais tarde, discutindo se valeu a pena. A diferença é que sem grupo de controle essa discussão nunca termina.

Por que isso importa mais do que parece

A literatura sobre ganho de produtividade com IA é menos unânime do que o marketing sugere. Um estudo do MIT com atendimento ao cliente encontrou ganho médio expressivo, concentrado nos profissionais menos experientes. Um experimento da Harvard Business School com consultores da BCG mostrou ganho grande em tarefas dentro da fronteira de capacidade do modelo e perda de acerto em tarefas fora dela. E um experimento da METR, em 2025, encontrou desenvolvedores experientes ficando mais lentos com IA em bases de código que já conheciam — enquanto acreditavam estar mais rápidos.

A conclusão não é que IA não funciona. É que o efeito depende da tarefa, da pessoa e do contexto — e que a percepção de quem usa não é medida confiável. Só o dado do seu caso responde pelo seu caso.

O que se ganha além do número

Um resultado medido sobrevive à troca de diretor, ao corte de orçamento e à pergunta difícil na reunião de conselho. “Melhorou” morre na primeira revisão de custos. “Melhorou 18 pontos contra o grupo de controle, entre março e maio” não.