Para além do determinismo: por que razão a governação dos agentes de IA é fundamental para expandir a IA empresarial

Durante décadas, a segurança e as operações empresariais basearam-se numa premissa: o software é determinístico. Se escrevermos uma regra, testarmos a lógica e implementarmos o código, o passo A leva ao passo B, que leva ao passo C.

A IA agêntica destrói esta premissa. Os agentes de IA são, por natureza, probabilísticos. Um agente de três passos concebido para dar as boas-vindas a um cliente, verificar o estatuto de fidelização e oferecer uma newsletter não funcionará da mesma forma duas vezes. Em ambientes de elevada variabilidade, como os contact centers empresariais, a variabilidade dos resultados não se limita a aumentar, explode.

Os líderes empresariais não podem usufruir dos benefícios da automação agêntica sem a sua imprevisibilidade. É uma postura inviável. Aceitar uma taxa de erro definida é o preço a pagar pela IA. A verdadeira questão de segurança não é «Como tornamos a IA 100% determinística?» É «Como governamos sistemas probabilísticos com segurança dentro de limites de risco aceitáveis?»

A governação de agentes responde a essa questão.

A governação adequa as taxas de erro ao risco empresarial.

No software tradicional, todos os erros recebem a mesma urgência. Na IA agêntica, o risco é contextual.

Uma regra de segurança genérica cria uma exposição imprudente ou uma paralisia induzida por um problema. A governação de agentes associa diretamente os limiares de erro aceitáveis ao impacto empresarial:

• Operações de alto risco (por exemplo, acesso a contas bancárias): a tolerância ao erro mantém-se abaixo de 1 %. A governação exige portas de autenticação rigorosas e verificação de confiança zero.
• Guiões regulamentados (por exemplo, indústria farmacêutica e ciências da vida): a tolerância ao erro aproxima-se de zero. As respostas da IA devem estar vinculadas a bases de conhecimento aprovadas por advogados, com verificação em tempo real e supervisão humana.
• Consultas de baixo risco (por exemplo, localizadores de agências, perguntas frequentes públicas): a tolerância ao erro situa-se entre 4 % e 5 %, dando prioridade a uma experiência de utilizador fluida em detrimento de uma validação rigorosa.

São os orçamentos de risco, e não a perfeição impossível, que desbloqueiam a utilidade dos agentes em diversas funções empresariais.

Os três pilares da estrutura de governação.

A segurança não pode ser adaptada posteriormente através de registos ad-hoc. Requer uma arquitetura integrada de três pilares:

1. Observabilidade do agente: fornece telemetria de execução ao nível de cada turno, detalhando a latência por turno, as competências utilizadas e a duração da chamada ao LLM. Revela o raciocínio exato por trás de cada decisão.
2. A avaliação dos agentes testa os agentes em cenários de casos extremos antes e depois da implementação, detetando desvios comportamentais e regressões de segurança.
3. A análise dos agentes verifica se o agente atingiu a sua meta comercial e mede a taxa de sucesso ao longo de milhares de execuções.

Defesa em tempo de execução: o modelo de guardrail «overwatch»

A observabilidade mostra o que aconteceu. A avaliação testa o que pode acontecer. A segurança em tempo real requer aplicação ativa durante a execução.

Os guardrails atuam como uma camada independente de vigilância, observando as interações em tempo real entre a IA e o cliente e intervindo para interromper a execução caso o agente se desvie do guião:

• Fuga de informação e privacidade de dados: bloqueia a exposição de informações confidenciais, corporativas ou pessoais, em tempo real.
• Segurança e portas de entrada: filtra solicitações maliciosas e tentativas de fuga antes de estas chegarem ao LLM.
• Aplicação da persona e do guião: impede o agente de entrar em territórios não autorizados, como dar conselhos financeiros ou médicos não solicitados.
• Verificação de factos: cruza as respostas com a base de conhecimento para evitar compromissos infundados.
• Controlos de sessão: aplica limites de turnos, restrições de linguagem e verificações contínuas de autorização.

A regulamentação e a experiência do utilizador apontam em direções opostas

A governação dos agentes é uma obrigação legal. O artigo 50.º da Lei da IA da UE exige que seja divulgado quando os clientes interagem com a IA. O FedRAMP estabelece normas igualmente rigorosas nos EUA.

A conformidade cria atrito. Testes A/B mostram que a divulgação explícita da utilização de IA está diretamente relacionada com taxas mais elevadas de desligamento. As equipas de governação devem elaborar uma linguagem de divulgação que satisfaça os reguladores sem comprometer a conversão.

Conteúdo co-produzido pela MediaNext e pela Talkdesk