QUANDO A AUTONOMIA SE TORNA RISCO?
Quanto maior a autonomia, maior a necessidade de limites,
rastreabilidade e capacidade de reversão
Como uma empresa pode comprovar que um agente é confiável antes de aumentar seu nível de autonomia?
“Não é uma opinião, é um conjunto de evidências. Antes de ampliar a autonomia de um agente, a empresa precisa ter quatro coisas registradas: uma avaliação de impacto que diga quais riscos aquele sistema traz e para quem; uma homologação com casos de teste reais, incluindo os cenários em que ele deve parar e transferir; métricas de operação acompanhadas ao longo do tempo, como taxa de resolução, taxa de transferência para humano e reclamações; e rastreabilidade completa, para reconstruir qualquer interação e entender por que o agente agiu daquela forma. Se um desses quatro não existe, a autonomia está sendo dada na fé, não na comprovação.”
Que tipo de decisão nunca deveria ser totalmente delegada a uma IA?
“Decisões que afetam direitos, dinheiro ou relação de forma difícil de reverter. Cancelar um contrato, negar um crédito, aplicar uma penalidade, encerrar uma relação de trabalho, tomar uma decisão sobre saúde. A própria LGPD garante ao titular o direito de pedir revisão de decisões tomadas unicamente por meio automatizado. Na prática, a IA pode preparar, recomendar e até executar a parte operacional. Mas a decisão final, nesses casos, tem que ter um nome de pessoa ao lado.”
