Segurança de agentes e chatbots de IA

Ajuda, mas não resolve. Instrução em texto pode ser contornada por outro texto, e as referências atuais da OWASP partem do princípio de que o modelo vai ser enganado em algum momento. A proteção que funciona fica fora do modelo: o agente recebe apenas os dados da pessoa que está atendendo, e cada ferramenta confere a permissão no servidor antes de executar.

O pentest comum ataca rotas, parâmetros e configuração. No agente de IA, o ataque também chega por linguagem natural: mensagens do usuário, documentos anexados, páginas lidas pelo agente e conteúdo da base de conhecimento. O teste cobre as duas frentes, porque a falha mais grave costuma combinar as duas, como um texto malicioso que leva o agente a chamar uma API interna com dados de outro cliente.

Pode, quando o agente tem acesso a mais dados do que precisa para a conversa em curso. Isso acontece com buscas na base vetorial sem filtro por cliente, com ferramentas que aceitam qualquer identificador e com histórico compartilhado entre sessões. O teste tenta extrair esses dados por conversa e por documentos preparados, e a correção aplica o filtro no servidor, antes de o conteúdo chegar ao modelo.

Acesso ao agente pelo mesmo canal que o cliente usa (site, WhatsApp ou API), contas de teste de perfis e empresas diferentes e a lista de ferramentas que o agente pode chamar, com o que cada uma faz. Se houver base de conhecimento, precisamos saber quem pode inserir documentos nela. Um ambiente de homologação com as mesmas ferramentas, ligadas a dados fictícios, permite testar ações de escrita sem risco.

Pode, se for feito sem planejamento: cada mensagem consome tokens, e um agente com ferramentas pode enviar mensagens, emitir cobranças ou alterar cadastros. Por isso definimos antes um limite de volume e usamos contas e integrações de teste. Consumo sem controle também é um dos riscos avaliados, porque se o teste consegue elevar o custo, um atacante também consegue.

Sim. O teste é feito pela interface que o usuário usa, então funciona com OpenAI, Anthropic, Google e modelos próprios, e com frameworks como LangChain ou código próprio. Quando há acesso ao código ou à configuração do agente, a revisão da arquitetura acompanha o teste.

O comportamento muda com o modelo, e uma defesa que funcionava pode deixar de funcionar. Por isso entregamos os casos de teste para serem executados de novo a cada troca de modelo ou de prompt. O contrato de segurança contínua inclui essa revisão.

Sim. O dado pessoal enviado ao modelo continua sob tratamento, e as medidas de segurança do art. 46 valem para esse fluxo. Na prática, isso significa enviar ao modelo só o necessário para a resposta, mascarar dados sensíveis quando possível, conhecer as condições de retenção do provedor e registrar esse compartilhamento no inventário de dados.