Fala, galera! Bruno aqui 😉
Tô com questionamento técnico e gostaria da opinião de vocês. 🤓
Na hora de montar um teste A/B para integração com IA, qual métrica primária, escolheriam nesse caso?
Por exemplo, em um CI sem IA, a assertividade esta em 60%, então gostaria de testar o BLU vs um Agente de AI, devido a um questionamento do cliente para uso de IA no projeto.
Ele viu que uso de IA é muito bom, através de algum veiculo ou por indicação, nesse cenário ele esta disposto a pagar pela diferença para poder dizer que esta usando IA para produtividade na empresa, mas também quer resultado.
Vou usar dois exemplos de métricas citadas pela Amanda e a Vanessa essa semana como exemplo:
NPS 📈
Agora com IA o NPS sobe de 30 para 50, mas 60% das notas 10 vieram de usuários que interagiram por 3 minutos e acharam a interação "legalzinha",mas os que realmente tinham um problema pra resolver davam nota 4 porque o chat foi "gente boa” mas não resolveu.
Então o NPS subiu, mas retenção de clientes com problemas mais complexos caiu?!
TTR 📊
O AI Agent resolve em 1min e 30s e o BLU em 2min e 30s. O agente de IA resolve os casos simples em 30s, mas nos casos de "problema na fatura" ele erra mais, passando para 8min no total.
O BLU foi mais lento, mas acertou de primeira (TTR individual era maior, mas o tempo total do usuário na jornada era menor). Então a métrica premiou velocidade sobre efetividade aqui?!
Pra quem já fez um teste A/B real nesse tipo de cenário, qual métrica você usou para vender internamente?
E a pergunta que resume minha dúvida, qual métrica realmente refletiu valor pro usuário e pro negócio?
Desculpa se ficou confuso de alguma forma rs
Uma ótima tarde pessoal!
