Entenda como funciona o sistema de segurança de IA desenvolvido no RS que barrou 'código secreto' e impediu fraude em processo no Pará

Juiz multa advogadas em R$ 84 mil por 'código secreto' para enganar IA e sabotar processo Uma ferramenta de inteligência artificial (IA) desenvolvida pelo Tri...

Juiz multa advogadas em R$ 84 mil por 'código secreto' para enganar IA e sabotar processo Uma ferramenta de inteligência artificial (IA) desenvolvida pelo Tribunal Regional do Trabalho da 4ª Região (TRT4), de Porto Alegre, foi projetada com um sistema de "segurança por desenho" para identificar e neutralizar tentativas de manipulação, como a que ocorreu em um processo julgado em Parauapebas (PA). Chamado de Galileu, o sistema foi capaz de detectar um "código secreto" inserido por advogadas em uma petição. A técnica, conhecida como "prompt injection", visava enganar a IA para que ela fizesse uma análise superficial do documento. 📲 Acesse o canal do g1 RS no WhatsApp "Esse foi o primeiro caso confirmado de ataque do tipo prompt injection. O sistema já havia sinalizado outros conteúdos como suspeitos, mas, após verificação humana, eles foram considerados legítimos. Esses casos são classificados como falsos positivos", comenta a secretária-geral de tecnologia e inovação do TRT4, Natacha Moraes de Oliveira. O funcionamento do Galileu para barrar a fraude ocorreu em três etapas principais. Primeiro, ao processar o documento, a ferramenta identificou trechos de texto ocultos que continham instruções maliciosas. Em seguida, o sistema agiu de duas formas: emitiu um alerta em destaque para o usuário, neste caso, o juiz, com a identificação técnica da ocorrência e, simultaneamente, impediu que o comando malicioso fosse processado, neutralizando o ataque. Um ponto central do seu desenho é de que o Galileu não toma decisões. A ferramenta se limita a relatar o fato técnico, sem qualificar a conduta ou sugerir uma punição. A decisão final é sempre humana, segundo o TRT. No caso do Pará, o juiz examinou o conteúdo apontado pelo sistema antes de aplicar a multa, cumprindo a exigência de supervisão humana no uso de IA pelo Judiciário. Prompt injection: como é feito 'código secreto' usado por advogadas para tentar sabotar processo Segundo a secretária-geral Natacha de Oliveira, o controle de ataques como a injeção de comandos "exige a aplicação de técnicas especializadas para serem identificadas", o que reforça a importância de ferramentas institucionais. O comportamento do sistema, de identificar, alertar e preservar a decisão humana, segue diretrizes técnicas internacionais de segurança para IA e obedece a uma resolução do Conselho Nacional de Justiça (CNJ) sobre o tema. O que o sistema faz O Galileu foi concebido em 2023 pelo Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-4) e lançado em 2024, e atua como um assistente para o juiz na elaboração de minutas de sentenças. A IA foi programada para ler os documentos do processo, como a petição inicial, a contestação do réu e as atas de audiências. A partir dessa leitura, o sistema realiza as seguintes tarefas: Sumariza os pedidos: identifica e resume as principais pretensões de cada parte do processo. Sugere uma estrutura: propõe um "esqueleto" para a sentença, com a nominação dos capítulos a serem abordados. Busca fundamentação: pesquisa, em um banco de dados interno e controlado, subsídios para a fundamentação da decisão, como modelos e precedentes. A ferramenta apenas gera minutas e sugestões, que são obrigatoriamente revisadas, validadas, adaptadas ou rejeitadas pelo magistrado, que mantém total controle sobre o conteúdo final. "No dia a dia, ele tira do caminho a parte mais repetitiva e burocrática da redação, liberando tempo para o trabalho propriamente jurisdicional, como análise de provas, valoração de depoimentos e fundamentação da decisão", explica a secretária-geral. Alerta para manipulação O sistema de inteligência artificial Galileu foi concebido desde o início com foco em segurança. Segundo os desenvolvedores, a ferramenta adota protocolos rigorosos para reconhecer sinais de risco e alertar os usuários sempre que encontra indícios de uso malicioso, como o registrado no caso envolvendo documentos do Pará. A possibilidade de que terceiros tentassem influenciar o funcionamento do sistema já era prevista na fase de desenvolvimento: "Considerando que parte do conteúdo dos processos é apresentada por terceiros, o Tribunal precisa considerar esse risco, ou seja, a possibilidade de que tragam instruções endereçadas à IA, mesmo que invisíveis a olho nu", destaca Natacha. Por isso, mecanismos capazes de detectar textos ocultos em arquivos PDF, como o uso de letras na mesma cor do fundo, foram incorporados desde os testes iniciais e seguem em evolução contínua. Proteção Para evitar que instruções maliciosas interfiram nas respostas geradas pela IA, o Galileu opera com diferentes níveis de proteção, que funcionam de maneira independente. Antes mesmo de qualquer conteúdo ser analisado pelo modelo de inteligência artificial, os arquivos passam por uma triagem técnica em busca de sinais de adulteração. O sistema avalia desde artifícios simples, como texto camuflado, até estratégias mais complexas, como tentativas de injeção de comandos, práticas de engenharia social e uso de codificações para ocultação de instruções. Além das barreiras automatizadas, a revisão humana é considerada "a camada mais importante". Quando o sistema identifica algo suspeito, ele emite um alerta destacado ao usuário. A decisão final permanece exclusivamente sob responsabilidade do magistrado, que analisa o conteúdo apontado e fundamenta sua atuação. "O sistema apoia, mas não substitui o julgamento humano. Esse é um princípio inegociável do projeto", resume a secretária-geral Natacha. A equipe responsável pelo Galileu reconhece que tentativas de manipulação tendem a se tornar cada vez mais sofisticadas. Para lidar com esse cenário, o sistema passa por atualizações periódicas e recebe novas camadas de proteção, acompanhando a evolução das estratégias maliciosas. Paralelamente, testes de segurança são realizados de forma ampla e recorrente, com base em referências internacionais consolidadas na área de segurança em IA. VÍDEOS: Tudo sobre o RS