Tag: medição

  • Sua empresa aparece quando alguém pergunta à IA? Como medir isso todo mês

    Não existe hoje um painel confiável que mostre se a sua empresa é citada pelos assistentes de IA. O que existe é um teste manual de dez minutos por mês: perguntar a quatro modelos o que um cliente perguntaria, anotar se você aparece, e guardar a resposta. Em três meses isso vira série histórica. É pouco, e é mais do que quase todo mundo tem.

    A pergunta que abre este texto tem uma resposta desconfortável para quem vende marketing: ninguém sabe direito. As ferramentas que prometem medir “presença em IA” cobrem uma fatia pequena do que existe, e a maior parte delas não diz qual fatia é.

    Por que os painéis prontos não bastam ainda

    Os produtos de analytics que começaram a oferecer essa medição têm três limitações que raramente aparecem em destaque na tela.

    Cobrem poucos modelos. Um painel que só enxerga um assistente não diz nada sobre os outros quatro que o seu cliente usa.

    A base é minúscula. Quando o número de citações no período é 1 ou 2, qualquer percentual em cima disso é ruído com aparência de dado. “50% de participação” sobre uma base de duas citações não significa metade de nada.

    As funções boas custam caro. A parte que mostraria o tráfego de robôs costuma exigir integração com CDN em plano corporativo. Para uma empresa média, o custo dessa medição fica maior que o do problema.

    O teste manual, passo a passo

    Reserve dez minutos no primeiro dia útil de cada mês. O procedimento é sempre igual — e a repetição é o que faz o dado valer.

    1. Escreva cinco perguntas de cliente

    Não perguntas sobre a sua empresa. Perguntas que alguém faria antes de conhecer a sua empresa:

    • “Quem faz [seu serviço] em [sua cidade]?”
    • “Qual empresa contratar para [problema que você resolve]?”
    • “Quanto custa [seu serviço] no Brasil?”
    • “[Seu serviço]: o que avaliar antes de contratar?”
    • Uma pergunta específica do seu nicho, com o vocabulário do cliente.

    Congele essas cinco. Mudar a pergunta todo mês destrói a comparação.

    2. Pergunte aos quatro, em janela anônima

    Use os quatro assistentes mais usados pelo seu público. Sempre em sessão nova e sem estar logado, porque histórico e memória contaminam a resposta — se o modelo já sabe quem você é, ele te cita, e você comemora um resultado que não existe.

    3. Anote três coisas, e só três

    CampoO que registrar
    Apareceu?Sim ou não. Sem meio-termo.
    Em que posiçãoPrimeira menção, no meio, ou de passagem no fim.
    Quem apareceu no seu lugarOs nomes citados. Esta é a coluna mais útil de todas.

    Vinte linhas por mês: quatro modelos vezes cinco perguntas. Uma planilha resolve.

    4. Guarde a resposta inteira

    Copie o texto completo em um arquivo com a data. Daqui a seis meses você vai querer comparar o que mudou na redação, não só o sim ou não.

    O que fazer com o resultado

    Se você não aparece e seus concorrentes sim: vá ler o que eles publicaram. Na maioria dos casos a diferença não é orçamento, é que eles têm uma página que responde aquela pergunta inteira e você não.

    Se ninguém aparece: é a melhor notícia possível. Significa que o modelo não encontrou fonte boa para a pergunta, e a primeira empresa que publicar uma passa a ocupar aquele espaço.

    Se você aparece com informação errada: corrija na fonte. Modelo cita o que está escrito em algum lugar da internet — inclusive dado antigo do seu próprio site, de um diretório de empresas ou de uma notícia de cinco anos atrás.

    O padrão que costuma aparecer

    Uma observação que se repete em quase todo site medido: o que a IA cita é utilidade, não vitrine. A página citada raramente é a home ou a página de serviços. Costuma ser um guia, uma calculadora, uma ferramenta gratuita, uma explicação completa de um assunto específico.

    A conclusão prática é direta. Se o objetivo é ser citado, a próxima página a construir não é mais uma descrevendo o que a empresa faz. É uma que resolva sozinha o problema de quem chegou.

    O erro que este método evita

    Sem linha de base, qualquer mudança vira história. A empresa publica um arquivo novo, o telefone toca na semana seguinte, e alguém conclui que uma coisa causou a outra. Três meses de planilha custam meia hora no total e transformam essa conversa em uma comparação.


    A DCODER trata presença em IA como qualquer outra entrega: linha de base antes, medição depois. Converse com o estúdio em dcoder.io.

  • Grupo de controle: como provar que a IA deu resultado

    Um grupo de controle é uma parte da operação que segue sem a IA, de propósito, durante toda a janela de medição. No fim, comparam-se os dois lados. A diferença que sobra é o efeito real da ferramenta — e não o efeito do mês cheio, do funcionário novo ou da campanha que rodou junto.

    É a única técnica barata que separa causa de coincidência. E é a que quase ninguém usa, porque parece complicada e não é.

    O problema que ela resolve

    A cena se repete. A empresa liga um assistente de IA no atendimento em março. Em abril, o tempo de resposta caiu 20%. Todo mundo comemora e o projeto é aprovado.

    Só que em março também entraram dois atendentes novos, o carnaval acabou, e o time passou por um treinamento de produto. Qual parte dos 20% foi a IA? Ninguém sabe. E quando o diretor financeiro perguntar isso na revisão de orçamento, a resposta vai ser um silêncio caro.

    O grupo de controle responde a essa pergunta com um número em vez de uma opinião.

    Como montar, em cinco passos

    1. Escolha o que vai ser medido, antes de ligar

    Uma métrica principal, no máximo duas de apoio. Escolhida antes, escrita, e não trocada depois. Trocar a métrica no meio porque a primeira não melhorou é o erro mais comum e o mais difícil de perceber.

    Métrica boa é a que já é coletada hoje, sem trabalho extra: tempo até a primeira resposta, casos resolvidos por pessoa por dia, taxa de retrabalho, prazo de fechamento.

    2. Divida em dois grupos parecidos

    Metade com a ferramenta, metade sem. O corte precisa ser aleatório ou, no mínimo, equilibrado. Não vale dar a IA para o time que já era melhor — é o jeito mais rápido de gerar um resultado bonito e falso.

    Se a operação for pequena demais para dividir pessoas, divida por turno, por dia da semana ou por fila de atendimento.

    3. Registre a linha de base

    Quatro semanas de dado dos dois grupos antes de ligar qualquer coisa. Sem isso, não existe comparação — existe impressão.

    4. Deixe rodar sem mexer

    De seis a doze semanas, dependendo do volume. Durante a janela, não mude a ferramenta, não troque as pessoas de grupo, não ajuste a métrica. Toda alteração no meio joga fora o que já foi coletado.

    5. Compare a diferença das diferenças

    Não compare só o grupo com IA antes e depois. Compare quanto cada grupo mudou:

    AntesDepoisVariação
    Grupo com IA100130+30%
    Grupo sem IA100112+12%
    Efeito da IA+18 pontos

    Os 12% do grupo sem IA são a sazonalidade, o treinamento e tudo o mais que aconteceu no período. Sem o grupo de controle, a empresa teria anunciado 30%. Os números da tabela são ilustrativos, mas a forma da conta é essa.

    As três objeções, respondidas

    “É injusto deixar metade sem a ferramenta.” É temporário, e o ganho é que a outra metade recebe uma ferramenta que se sabe que funciona. Se não funcionar, você poupou a empresa de estender um problema para todo mundo.

    “Nossa operação é pequena demais.” Divida por dia ou por turno. Com dez pessoas ainda dá para fazer, e o resultado é menos preciso mas continua sendo mais honesto que nenhum.

    “Não temos tempo.” O tempo é gasto de qualquer jeito, mais tarde, discutindo se valeu a pena. A diferença é que sem grupo de controle essa discussão nunca termina.

    Por que isso importa mais do que parece

    A literatura sobre ganho de produtividade com IA é menos unânime do que o marketing sugere. Um estudo do MIT com atendimento ao cliente encontrou ganho médio expressivo, concentrado nos profissionais menos experientes. Um experimento da Harvard Business School com consultores da BCG mostrou ganho grande em tarefas dentro da fronteira de capacidade do modelo e perda de acerto em tarefas fora dela. E um experimento da METR, em 2025, encontrou desenvolvedores experientes ficando mais lentos com IA em bases de código que já conheciam — enquanto acreditavam estar mais rápidos.

    A conclusão não é que IA não funciona. É que o efeito depende da tarefa, da pessoa e do contexto — e que a percepção de quem usa não é medida confiável. Só o dado do seu caso responde pelo seu caso.

    O que se ganha além do número

    Um resultado medido sobrevive à troca de diretor, ao corte de orçamento e à pergunta difícil na reunião de conselho. “Melhorou” morre na primeira revisão de custos. “Melhorou 18 pontos contra o grupo de controle, entre março e maio” não.


    A DCODER implanta IA com linha de base, grupo de controle e janela de medição definidos em contrato. Converse com o estúdio em dcoder.io.