riscos ia Mind The Sec 2024 (Foto: Reprodução/ Mind The Sec via LinkedIn)

Prever riscos evita que IA traga mais problemas do que soluções

3 minutos de leitura

Governança de dados e compreensão dos mecanismos de aprendizado e análise são fundamentais para uma estratégia responsável



Por Vanderlei Campos em 20/09/2024

À medida que a proposta central da inteligência artificial é escalar as capacidades humanas, a máxima “errar é humano” escala nas mesmas proporções. “Estamos em uma nova era de compliance. Quem aprender a explorar a IA dentro dos princípios regulatórios, éticos e do próprio bom senso vai ter estabilidade e vantagens nas inovações” afirmou Rony Vainzof, especialista em Direito Digital e diretor do Departamento de Defesa e Segurança da FIESP.

Além dos dados pessoais e informações críticas, focos dos riscos legais e regulatórios, o especialista adverte que as falhas de governança – ou pior, a ausência de uma política que antecede as iniciativas – causam danos aos próprios resultados no dia a dia dos negócios. 

Na prática, ele indica que informações imprecisas ou negociações automáticas com regras ambíguas, por exemplo, já são causas de erros e prejuízos, cujas consequências vão da ridicularização a perdas financeiras.

Em um encontro com profissionais de cibersegurança durante o MindTheSec 2024, Vainzof enumerou os principais riscos, lacunas e contramedidas para uma jornada sustentável à adoção de IA. A partir de exemplos reais e amplamente conhecidos, ele apontou os desafios e erros mais comuns, assim como as formas de contorná-los.

Rony Vainzof

Dados pessoais e sensíveis com controles incipientes

Com um longo histórico de trabalhos e contribuições relacionadas à LGPD, Vainzof observou que neste momento a exposição de dados requer cuidados. “É preciso mapear como as pessoas estão usando os serviços de IA”, advertiu. 

Segundo ele, a experiência dos usuários não pode comprometer a privacidade e os segredos de negócios. “Se os funcionários colam notas de reunião, código-fonte ou planilhas no prompt de uma GenAI, não há como saber se essas informações aparecerão em uma resposta a um prompt de terceiros”, exemplificou.

Todavia, o advogado é otimista em relação às respostas das autoridades e aos ajustes de conduta dos principais players. Ele menciona a recente mudança nos termos de uso da Meta no Brasil, que teve que equiparar os controles do usuário, sobre o uso de seus posts para treinamento de IA, aos padrões de transparência e usabilidade da União Europeia. 

“Na Europa, foi feita uma explicação intensiva e o output era fácil, enquanto aqui eram necessários oito cliques para bloquear seus dados. Com a sanção da Agência Nacional de Proteção de Dados (ANPD ), a Meta consertou sua interface. Sem isso, se inibiria o treinamento de GenAI no Brasil”, disse.

Vainzof lembrou que a FTC (Comissão Federal de Comércio, dos EUA) já determinou a “implosão” de MLs (máquinas de aprendizado) treinadas com dados obtidos ilicitamente. Ainda assim, avaliou que reguladores, indústrias e as comunidades de direito e segurança estejam bem mobilizadas. “Já passamos por vários ciclos de amadurecimento com BYOD (acesso à empresa via dispositivos pessoais), home office e outros desafios. Em algum momento, as pessoas passaram a preferir deixar o dinheiro no banco em vez do colchão, assim como moveram seus dados para as nuvens. Tudo é questão de segurança jurídica e governança”, definiu.

Riscos cognitivos – os mistérios, alucinações e vieses da IA

riscos ia

Citando um caso de seu ramo, Vainzof contou que um advogado nos EUA, onde o direito é fortemente fundamentado em jurisprudência, recebeu de uma GenAI a referência de várias decisões precedentes. Seria um salto de produtividade, não fosse o fato de esses casos e julgamentos nunca terem acontecido. “Tem que se conhecer muito bem o tema para identificar respostas erradas e alucinações”, constata.

Em uma das aplicações mais comuns de IA, em chatbots, falhas de treinamento em respostas automatizadas sobre preços e tarifas podem causar problemas na experiência do consumidor ou até mesmo negociações fora de padrões razoáveis. “Processos técnicos são processos sociais com julgamentos humanos falíveis e convenções sociais injustas”, lembrou Vainzof. Nesse sentido, ele apontou que a autonomia e o aprendizado por parâmetros estatísticos das IAs precisam ser calibrados conforme a evolução dos valores e objetivos das empresas e da sociedade. 

“Se as automações para seleção e recrutamento tomarem como base apenas o histórico de contratações, os perfis de etnia e gênero se conservam, ainda que isso não faça diferença no que se quer avaliar”, exemplifica.

A explicabilidade – ou a capacidade de percorrer o caminho reverso de uma falha ou alucinação – é um desafio complexo, mas inexorável para entender e corrigir os erros de treinamento, muitos dos quais banais e difíceis de perceber. Por exemplo: uma aplicação de reconhecimento facial treinada com uma população de pouca diversidade insistia para que os usuários de ascendência asiática “abrissem os olhos”. 

Outro aplicativo que pegou um conjunto de fotos para diferenciar lobos de huskies siberianos usava como critério apenas a presença de neve, que compunha o cenário de todas as imagens com lobo na amostra. “Quanto mais simples o modelo, mas explicável. Com deep learning é difícil ter visibilidade dos processos; pode só ser possível controlar os dados de entrada e de saída”, reconheceu.

O especialista enfatizou ainda a necessidade de entender os riscos e aplicar os mecanismos de governança na medida certa, para cada modalidade ou caso de uso de IA. “É fundamental saber como se estão usando os dados e a IA. Um chatbot ou um sistema de decisões de RH têm pontos críticos muito diferentes, por exemplo. Quanto maior o risco, portanto, maior a necessidade de governança”, sumarizou.


E-book gratuito: saiba como implementar uma cultura de cibersegurança na sua empresa

Saiba mais


Matérias relacionadas

anatel Estratégia

Anatel propõe Plano Nacional de Data Centers

Além disso, agência reguladora destaca a necessidade de integradores para impulsionar o setor de telecomunicações

futuro das tics Estratégia

Regulamentação e inovações definirão o futuro das TICs no Brasil

Autoridades e líderes de operadoras comentam sobre os desafios e oportunidades da TI e Comunicações no país durante o Painel Telebrasil, em Brasília

Gustavo Loyola gov.br Estratégia

Gov.br avança em integração e segurança digital

Com níveis de segurança digital e implementação de inteligência artificial para personalizar serviços, plataforma coloca o Brasil no alto do ranking do Bird

seguranca digital Estratégia

Brasileiros melhoram segurança digital, mas vulnerabilidades ainda são grandes

Pesquisa bienal da Mobile Time com a Opinion Box mostra que segurança digital evoluiu, mas há vulnerabilidades em todas as faixas etárias