Inteligência Artificial

Shadow AI transforma uso descontrolado de IA em risco de segurança e de custos

Ferramentas adotadas sem o conhecimento da TI podem expor dados corporativos e gerar gastos imprevisíveis; avanço dos agentes autônomos aumenta o desafio de governança

A inteligência artificial se espalhou pelas empresas em uma velocidade que nem sempre foi acompanhada pelas áreas responsáveis por segurança, tecnologia e orçamento. Funcionários e departamentos passaram a contratar ou utilizar ferramentas de IA por conta própria para automatizar tarefas, produzir conteúdo, analisar documentos ou desenvolver aplicações. O resultado é um fenômeno que começa a preocupar as organizações: a Shadow AI.

O conceito segue uma lógica semelhante à da conhecida Shadow IT. A diferença é que, em vez de softwares e serviços de nuvem utilizados sem aprovação da empresa, entram em cena modelos generativos, assistentes, APIs e, mais recentemente, agentes de inteligência artificial.

O problema não se resume à segurança. Como boa parte dessas tecnologias funciona por consumo, utilizando métricas como tokens, chamadas de API e capacidade de processamento, uma proliferação descontrolada também pode produzir custos difíceis de prever.

Dados do Cisco Cybersecurity Readiness Index citados pela Softtek ajudam a dimensionar o problema: apenas 5% das empresas brasileiras atingiram o nível considerado ideal de maturidade em cibersegurança, enquanto 53% afirmaram não ter confiança para identificar onde a Shadow AI está operando dentro da própria organização.

Para Rodrigo Correia Reis, Offer Manager da Softtek, tentar simplesmente impedir a utilização da tecnologia não resolve a questão.

“O desafio não é travar a inovação na ponta, mas garantir que a expansão da IA ocorra de forma consciente, mapeando riscos de conformidade antes que eles afetem o negócio”, aponta Reis.

O que acontece com os dados enviados para uma IA?

Uma das questões mais delicadas aparece justamente na interação cotidiana com os modelos.

Um funcionário pode copiar trechos de código, contratos, dados de clientes, relatórios financeiros ou outras informações internas para uma ferramenta externa sem saber exatamente como aquele conteúdo será processado, armazenado ou utilizado.

Dependendo da informação compartilhada e da plataforma utilizada, entram nessa equação questões relacionadas à propriedade intelectual, confidencialidade e proteção de dados pessoais sujeitos à LGPD.

Quando esse uso acontece fora dos sistemas homologados, a própria empresa pode perder a capacidade de responder perguntas básicas: quais modelos de IA estão sendo utilizados? Por quais funcionários? Para quais atividades? Quais dados estão sendo enviados? E quais serviços externos estão recebendo essas informações?

A Shadow AI transforma, portanto, a falta de visibilidade em parte do risco.

Tokens e APIs colocam FinOps na discussão

Há ainda uma diferença importante entre a expansão da IA e ondas anteriores de adoção de software corporativo.

No modelo tradicional de SaaS, é comum que a organização contrate determinado número de licenças por um valor relativamente previsível. Na inteligência artificial, parte dos serviços utiliza modelos de cobrança associados ao consumo.

Tokens processados, chamadas de APIs, infraestrutura em nuvem e utilização de diferentes modelos podem fazer com que o custo varie conforme a intensidade de uso.

Se diferentes departamentos contratam essas tecnologias separadamente, a empresa pode acabar pagando por serviços redundantes, mantendo ferramentas pouco utilizadas ou descobrindo o tamanho da conta somente depois que o consumo aconteceu.

É nesse ponto que FinOps, disciplina voltada à gestão e otimização financeira de recursos tecnológicos, passa a fazer parte da discussão sobre inteligência artificial.

Segundo Reis, a ausência de observabilidade integrada pode transformar investimentos pulverizados em redundâncias, shelfware e faturas inesperadas, sem uma visão clara sobre o retorno proporcionado pelas ferramentas.

Proibir IA pode simplesmente empurrar seu uso para fora do radar

A resposta aparentemente mais simples para a Shadow AI seria bloquear ferramentas não autorizadas. O problema é que isso pode não eliminar a demanda que levou os funcionários a procurá-las.

Na avaliação da Softtek, políticas exclusivamente proibitivas podem estimular o uso de contas pessoais ou outros caminhos que tornam a atividade ainda menos visível para a organização.

A alternativa defendida pela empresa é uma abordagem de governança habilitadora, na qual funcionários tenham acesso a ambientes corporativos previamente avaliados pelas áreas de TI e segurança.

Nesse modelo, controles são incorporados ao próprio ambiente de utilização. Entre as medidas estão classificação de dados, políticas de Data Loss Prevention (DLP), homologação de fornecedores e modelos, monitoramento de consumo e desempenho e manutenção de um inventário das ferramentas e aplicações de IA utilizadas pela companhia.

A Softtek aplica essa abordagem por meio de iniciativas como o FRIDA, sua plataforma voltada à adoção corporativa de inteligência artificial.

Agentes de IA complicam ainda mais a equação

Se controlar o que funcionários enviam para chatbots já é um desafio, a chegada dos agentes de IA adiciona outra camada ao problema.

Um chatbot tradicional normalmente recebe uma solicitação e devolve uma resposta. Um agente pode ganhar permissões para acessar sistemas, consultar bancos de dados, chamar APIs e executar uma sequência de tarefas para atingir determinado objetivo.

Isso muda a pergunta de segurança.

Não basta controlar o que a IA sabe. Torna-se necessário determinar o que ela pode fazer.

A governança passa a envolver identidade, permissões e rastreabilidade. A Softtek aponta, por exemplo, a necessidade de aplicar controles como RBAC e ABAC aos agentes, limitando acessos de acordo com funções, atributos e contexto.

Também entra em cena o monitoramento de drift comportamental, quando o comportamento de um sistema começa a se afastar do padrão esperado ao longo do tempo.

Outro risco é mais prosaico, mas potencialmente caro: um agente pode entrar em um loop operacional e continuar realizando chamadas a modelos, APIs ou recursos computacionais repetidamente. Em infraestruturas cobradas por consumo, uma automação fora de controle pode produzir uma conta elevada em poucos minutos.

IA começa a exigir controles de sistema crítico

Essa autonomia aproxima os agentes de IA de outra categoria de software corporativo.

Sistemas como ERPs recebem controles rigorosos porque executam processos importantes para a operação de uma empresa. À medida que agentes passam a consultar informações, tomar decisões intermediárias e executar ações, eles começam a exigir cuidados semelhantes.

A diferença é que modelos e aplicações de IA podem evoluir em ciclos muito mais rápidos.

Segurança, observabilidade e gestão financeira deixam, assim, de ser disciplinas independentes. Uma organização precisa saber simultaneamente qual agente está operando, quais informações ele acessa, o que está autorizado a fazer, quanto está consumindo e se seu comportamento continua dentro do esperado.

Para a Softtek, esse é um dos principais desafios das empresas brasileiras na próxima etapa da adoção de inteligência artificial. O gargalo deixa de ser apenas descobrir como conectar um modelo aos sistemas existentes e passa a envolver a coordenação entre áreas de negócio, segurança da informação e FinOps.

“O ganho sustentável de margem pertence às organizações que unificam governança, observabilidade e gestão financeira desde o dia zero da expansão. Quem trata esses pilares como infraestrutura básica transforma a governança em motor de aceleração, e não em um gargalo burocrático”, conclui Rodrigo Correia Reis.

A Shadow AI mostra uma contradição da atual corrida pela inteligência artificial: quanto mais fácil fica experimentar novos modelos, ferramentas e agentes, mais difícil se torna enxergar o conjunto. E, quando a IA deixa de apenas responder perguntas para começar a agir sobre sistemas corporativos, saber onde ela está, o que pode acessar, quanto custa e quais decisões está tomando passa a ser tão importante quanto a própria capacidade do modelo.

Você também vai gostar

Leia também!