Como sabotar os sistemas de vigilância preditiva

do Observatório de Geopolítica

Nota sobre o manifesto nooscópico: como sabotar os sistemas de vigilância preditiva

por Eduardo Barros Mariutti

Na coluna A Arte na Guerra discuti os métodos de camuflagem baseados no contrasombreamento propostos por Abboth Thayer, que emprega o uso inteligente do jogo de luz e sombra para ocultar objetos tridimensionais. Contudo, alertei que a sua abordagem correspondia ainda a um mundo estruturado predominantemente pela percepção visual humana baseada em próteses ópticas (binóculos, lunetas, fotografias aéreas etc.). Apontei também que a aceleração que marcou a Segunda Guerra Mundial expandiu a logística da percepção para praticamente todas as dimensões da realidade assimiláveis pela tecnociência. A disputa militar extravasou a dimensão ótica da realidade e se tornou multiespectral. Concluí a coluna discutindo os princípios abstratos das técnicas furtivas contemporâneas, particularmente a dissimulação (decoy).

Pretendo abordar aqui esta mesma questão, embora de outro ponto de vista: o modo como é possível explorar os pontos cegos dos sistemas de percepção automatizada da realidade do adversário. Para tanto, me apoiarei principalmente no “manifesto nooscópico” de Matteo Pasquinelli e Vladan Joler. Como se sabe, Leibzniz chegou a propor a possibilidade de construção de uma linguagem universal numérica capaz de indexar e resolver todos os problemas do raciocínio humano, o calculus ratiocinator. Leibniz estabeleceu uma analogia entre este aparato lógico – que poderia ser eventualmente incorporado em um hardware – com a generalização dos instrumentos de ampliação da visão (microscópicos e macroscópicos), mas com uma peculiaridade: ele poderia ampliar muito mais as capacidades de mente humana, “na medida em que a razão é superior à visão”. Disto advém a noção de nooscópio desenvolvida por Pasquinelli e Joler : um instrumento de ampliação do conhecimento que possibilita mapear padrões e correlações em conjuntos gigantescos de dados que estão além do alcance humano. Logo, desta perspectiva, a Inteligência Artificial perde seu caráter mistificador de “máquina inteligente” para se converter em um instrumento de conhecimento que amplia, mas também pode distorcer as representações da realidade que produz.

Quando falamos em Inteligência Artificial geralmente nos referimos a dispositivos e técnicas de reconhecimento de padrões de dados extraídos da realidade por uma multiplicidade de fontes e de sensores. A palavra reconhecimento pode ser enganadora, pois há uma dimensão ativa no processo: um algoritmo de IA identifica correlações inusitadas, testa a sua validade e, no final das contas, após parametrizar os dados e comprimi-los, gera padrões que, ao se consubstanciarem em aplicações práticas, interferem na realidade. O nooscópio não é, portanto, algo inerte. Por isso ele é um campo de disputa prática e estratégica. Quero me concentrar, contudo, na primeira etapa: a construção de um espaço vetorial multidimensional, isto é, uma topologia das múltiplas conexões entre os dados, que precede a identificação e a criação dos padrões. É precisamente este espaço invisível para nós que entra no campo de visão do nooscópio, um espaço que é parcialmente descoberto e parcialmente construído.

É precisamente neste ponto que gostaria de retornar às técnicas óticas discutidas por Thayer em um novo registro, tomando carona em uma passagem do manifesto: “Em vez de estudar apenas como a tecnologia funciona, a investigação crítica estuda também como ela quebra, como os sujeitos se rebelam contra seu controle normativo e os trabalhadores sabotam suas engrenagens. (…)Os sistemas de aprendizagem profunda para reconhecimento facial desencadearam, por exemplo, formas de ativismo de contra-vigilância. Através de técnicas de ofuscação facial, os seres humanos decidiram tornar-se ininteligíveis à inteligência artificial: isto é, tornarem-se, eles próprios, caixas pretas. As técnicas tradicionais de ofuscação contra a vigilância adquirem imediatamente uma dimensão matemática na era do aprendizado de máquina. Por exemplo, o artista e pesquisador de IA Adam Harvey inventou um tecido de camuflagem chamado HyperFace que engana os algoritmos de visão de computador para ver vários rostos humanos onde não há nenhum.” O princípio é o mesmo do utilizado por decoys que desorientam os mísseis de cruzeiro.

Como destacam Pasquinelli e Joler, esta tática se baseia na identificação das diferenças entre a percepção humana de um objeto – o rosto, no caso do HyperFace – e a percepção dos algoritmos de visão computacional. O sistema capcha talvez represente a ilustração mais corriqueira desse ponto cego: algoritmos de visão computacional tem muita dificuldade par entender as imagens borradas que fazem parte do teste. E, desenvolvem os autores, é precisamente esta lacuna entre a percepção humana e a da máquina que possibilitam os ataques adversariais: “Os ataques adversariais exploram pontos cegos e regiões fracas no modelo estatístico de uma rede neural, geralmente para enganar um classificador e fazê-lo perceber algo que não existe. No reconhecimento de objetos, um exemplo adversarial pode ser uma imagem manipulada de uma tartaruga, que parece inócua para o olho humano, mas é classificada erroneamente por uma rede neural como um rifle. Exemplos adversariais podem ser percebidos como objetos 3D e até adesivos para sinais de trânsito que podem desencaminhar carros autônomos (que podem ler um limite de velocidade de 120 km/h onde na verdade é de 50 km/h).”

Não existe poder sem contrapoder. Todo projeto de controle absoluto produz falhas que podem ser exploradas por insurgentes. Precisamente por conta disto é fundamental entender os princípios que governam a percepção maquínica que baseia os sistemas de vigilância e de projeção remota de dano. A guerra e as formas de insurgência estão se deslocando de forma cada vez mais incisiva na tênue fronteira do campo da percepção que divide os homens e as máquinas. É importante notar que esta fronteira é extremamente dinâmica, pois o que hoje é invisível para uma máquina pode se tornar detectável. As mesmas técnicas que são utilizadas para descobrir as vulnerabilidades podem ser empregadas para saná-las. É um jogo frenético e que movimento muito dinheiro.

Eduardo Barros Mariutti – Professor do Instituto de Economia da Unicamp, do Programa de Pós-Graduação em Relações Internacionais San Tiago Dantas da UNESP, UNICAMP e PUC-SP e membro da rede de pesquisa PAET&D.

O texto não representa necessariamente a opinião do Jornal GGN. Concorda ou tem ponto de vista diferente? Mande seu artigo para [email protected]. O artigo será publicado se atender aos critérios do Jornal GGN.