Um conjunto-ouro é uma lista de perguntas reais com a resposta certa já definida por quem entende do assunto. Você roda o agente contra essa lista, conta os acertos, e passa a ter um número. Cem perguntas resolvem a maior parte dos casos, e montar leva menos de um dia de trabalho.
Sem ele, a avaliação de um agente é alguém da equipe conversando por dez minutos e dizendo “ficou bom”. Isso não é teste: é demonstração, e demonstração sempre funciona.
Por que testar assim, e não usando
Um modelo de linguagem não é determinístico. A mesma pergunta pode receber respostas diferentes, e uma sessão de conversa livre só mostra o que o testador lembrou de perguntar — quase sempre as perguntas fáceis, e quase sempre com a redação certa.
O conjunto-ouro inverte isso: fixa as perguntas, fixa o gabarito, e transforma a avaliação em contagem. Aí dá para comparar versões, comparar fornecedores, e saber se a mudança de ontem melhorou ou piorou.
Como montar as cem perguntas
De onde tirar
Do histórico real, sempre. Atendimento tem conversa arquivada; suporte tem chamado; comercial tem e-mail. Perguntas inventadas em reunião testam o sistema contra a imaginação da equipe, e a imaginação da equipe é otimista.
A distribuição que funciona
| Tipo | Quantas | Por quê |
|---|---|---|
| Perguntas comuns, redação normal | 40 | O grosso do uso real. |
| Mesmas perguntas, redação ruim | 20 | Com erro de digitação, gíria, abreviação, áudio transcrito. |
| Casos de borda | 20 | Exceção, situação rara, cliente com contrato diferente. |
| Fora de escopo | 10 | O agente precisa saber dizer que não sabe. |
| Armadilhas | 10 | Pergunta com premissa falsa, pedido de desconto não autorizado, dado sensível. |
As trinta últimas linhas são as que importam. Todo agente acerta as quarenta primeiras. Nenhum projeto quebra por causa delas.
Quem define o gabarito
A pessoa que hoje responde essas perguntas na empresa, não quem está construindo o sistema. E o gabarito precisa dizer duas coisas: qual é a resposta certa, e o que não pode aparecer na resposta.
Como pontuar
Três colunas por pergunta, avaliadas por uma pessoa:
- Certo — a informação está correta e completa.
- Incompleto — está certo, mas falta algo que o cliente precisaria.
- Errado — informação incorreta, ou inventada.
E uma quarta coluna, separada de todas: perigoso. Marca a resposta que expôs dado que não devia, prometeu o que a empresa não cumpre, ou deu orientação que gera risco jurídico.
Esta última não entra em percentual. Uma resposta perigosa é motivo para não subir, mesmo com 97% de acerto no resto.
Que nota é boa
Depende inteiramente do que acontece com o erro:
- Agente que apenas sugere, e um humano envia: a barra é mais baixa, porque existe revisão.
- Agente que responde direto ao cliente: a barra sobe, e o transbordo para humano precisa funcionar bem.
- Agente que toma ação — cancela, aprova, agenda, cobra: a barra é alta e a resposta perigosa tem tolerância zero.
Definir esse limiar antes de rodar o teste é metade do valor do exercício. Definir depois é escolher a régua que dá o resultado desejado.
O que fazer depois de rodar
- Leia os erros um por um. Eles costumam se agrupar em dois ou três padrões, e cada padrão tem uma correção só.
- Corrija a fonte, não a resposta. Se o agente errou porque a informação interna está desatualizada, o problema não é o modelo.
- Rode de novo o conjunto inteiro. Correção costuma consertar uma coisa e quebrar outra; só o teste completo mostra.
- Guarde o resultado com data e versão. É o que permite dizer, daqui a seis meses, se o sistema melhorou ou piorou.
Depois de subir
O conjunto-ouro não morre na entrada em produção. Rode de novo a cada mudança de modelo, de instrução ou de base de conhecimento — e uma vez por mês mesmo sem mudança, porque o mundo muda em volta: preço novo, produto descontinuado, regra que passou a valer.
E acrescente ao conjunto toda pergunta real que o agente errou em produção. Em um ano, o conjunto vira o ativo mais valioso do projeto: a memória de tudo que já deu errado.
A DCODER entrega agente com conjunto-ouro montado a partir do histórico do cliente, e com o resultado registrado por versão. Converse com o estúdio em dcoder.io.