Prevenindo o Armagedom Nuclear da IA, por Melissa Parke

Prevenindo o Armagedom Nuclear da IA

por Melissa Parke

A história nuclear está repleta de quase-acidentes, com desastres evitados por um ser humano que escolheu confiar no seu próprio julgamento, em vez de seguir cegamente as informações fornecidas pelas máquinas. A aplicação de inteligência artificial a armas nucleares aumenta as probabilidades de que, da próxima vez, ninguém interrompa o lançamento.

GENEBRA – Já não é ficção científica: está em curso a corrida para aplicar inteligência artificial a sistemas de armas nucleares – um desenvolvimento que poderá tornar a guerra nuclear mais provável. Com os governos de todo o mundo a agir para garantir o desenvolvimento e a aplicação seguros da IA, existe uma oportunidade para mitigar este perigo. Mas se os líderes mundiais quiserem aproveitá-la, devem primeiro reconhecer a gravidade da ameaça.

Nas últimas semanas, o G7 concordou com o Código de Conduta Internacional do Processo de Hiroshima para Organizações que Desenvolvem Sistemas Avançados de IA , a fim de “promover IA segura, protegida e confiável em todo o mundo”, e o presidente dos EUA, Joe Biden , emitiu uma ordem executiva estabelecendo novos padrões para “segurança e proteção” da IA. O Reino Unido também acolheu a primeira Cúpula Global de Segurança em IA , com o objetivo de garantir que a tecnologia seja desenvolvida de forma “segura e responsável”.

Mas nenhuma destas iniciativas aborda adequadamente os riscos colocados pela aplicação da IA às armas nucleares. Tanto o código de conduta do G7 como a ordem executiva de Biden referem-se apenas de passagem à necessidade de proteger as populações contra ameaças químicas, biológicas e nucleares geradas pela IA. E o Primeiro-Ministro do Reino Unido, Rishi Sunak , não mencionou de todo a grave ameaça representada pelas aplicações de IA relacionadas com armas nucleares, mesmo quando declarou que um entendimento partilhado dos riscos colocados pela IA tinha sido alcançado na Cúpula de Segurança da IA.

Ninguém duvida dos riscos existenciais colocados pela utilização de armas nucleares, que causariam uma devastação incalculável na humanidade e no planeta. Mesmo uma guerra nuclear regional mataria diretamente centenas de milhares de pessoas, ao mesmo tempo que provocaria sofrimento e morte indiretos significativos. As alterações climáticas resultantes por si só ameaçariam milhares de milhões de pessoas de fome.

A história nuclear está repleta de quase acidentes . Com demasiada frequência, o Armagedom foi evitado por um ser humano que escolheu confiar no seu próprio julgamento, em vez de seguir cegamente as informações fornecidas pelas máquinas. Em 1983, o oficial soviético Stanislav Petrov recebeu um alarme do sistema de alerta precoce por satélite que monitorizava: mísseis nucleares americanos tinham sido detectados a caminho da União Soviética. Mas em vez de alertar imediatamente os seus superiores, desencadeando certamente uma “retaliação” nuclear, Petrov determinou acertadamente que se tratava de um alarme falso.

Teria Petrov tomado a mesma decisão – ou mesmo tido a oportunidade de fazê-lo – se a IA estivesse envolvida? Na verdade, a aplicação da aprendizagem automática às armas nucleares reduzirá o controle humano sobre as decisões de implantá-las.

É claro que um número crescente de tarefas de comando, controle e comunicações tem sido automatizado desde que as armas nucleares foram inventadas. Mas, à medida que a aprendizagem automática avança, o processo pelo qual as máquinas avançadas tomam decisões está a tornar-se cada vez mais opaco – o que é conhecido como o “ problema da caixa negra ” da IA . Isto torna difícil para os seres humanos monitorizarem o funcionamento de uma máquina, e muito menos determinar se esta foi comprometida, está a funcionar mal ou foi programada de uma forma que poderia levar a resultados ilegais ou não intencionais.

A simples garantia de que um ser humano tome a decisão final de lançamento não seria suficiente para mitigar estes riscos. Como concluiu o psicólogo John Hawley num estudo de 2017 : “Os seres humanos são muito fracos no cumprimento das exigências de monitorização e intervenção impostas pelo controle de supervisão”.

Além disso, como demonstrou o Programa de Ciência e Segurança Global da Universidade de Princeton em 2020, os processos de tomada de decisão dos líderes numa crise nuclear já são muito apressados. Mesmo que a IA seja apenas utilizada em sensores e direcionamento, em vez de tomar decisões de lançamento – reduzirá o já apertado prazo para decidir se deve atacar. A pressão adicional sobre os líderes aumentará o risco de erros de cálculo ou de escolhas irracionais.

Ainda outro risco surge da utilização de IA em satélites e outros sistemas de detecção de informações: isto tornará mais difícil ocultar armas nucleares, como submarinos com mísseis balísticos, que têm sido historicamente ocultadas. Isto poderia estimular os países com armas nucleares a utilizarem todas as suas armas nucleares mais cedo num conflito – antes que os seus adversários tenham a oportunidade de imobilizar sistemas nucleares conhecidos.

Até agora, nenhuma iniciativa – desde a ordem executiva de Biden ao código de conduta do G7 – foi além de um compromisso voluntário para garantir que os humanos mantenham o controle da tomada de decisões sobre armas nucleares. Mas, como observou o Secretário-Geral das Nações Unidas, António Guterres , é crucial um tratado juridicamente vinculativo que proíba “ sistemas de armas autônomos letais”.

Embora tal tratado seja um primeiro passo necessário, muito mais precisa ser feito. Quando se trata de armas nucleares, tentar antecipar, mitigar ou regular os novos riscos criados pelas tecnologias emergentes nunca será suficiente. Devemos remover totalmente essas armas da equação.

Isto significa que todos os governos devem comprometer-se a estigmatizar, proibir e eliminar as armas nucleares, aderindo ao Tratado sobre a Proibição de Armas Nucleares , que oferece um caminho claro para um mundo sem tais armas. Significa também que os Estados com armas nucleares devem parar imediatamente de investir na modernização e expansão dos seus arsenais nucleares, inclusive em nome de torná-los “seguros” ou “protegidos” contra ataques cibernéticos . Dados os riscos insuperáveis colocados pela mera existência de armas nucleares, tais esforços são fundamentalmente inúteis.

Sabemos que os sistemas autônomos podem reduzir o limiar para o envolvimento em conflitos armados. Quando aplicada às armas nucleares, a IA acrescenta outra camada de risco a um nível de perigo já inaceitável. É fundamental que os decisores políticos e o público reconheçam isto e lutem não só para evitar a aplicação da IA às armas nucleares, mas também para eliminar totalmente essas armas.

Melissa Parke, ex-ministra australiana para o desenvolvimento internacional, é Diretora Executiva da Campanha Internacional para Abolir as Armas Nucleares, que recebeu o Prêmio Nobel da Paz em 2017.

O texto não representa necessariamente a opinião do Jornal GGN. Concorda ou tem ponto de vista diferente? Mande seu artigo para [email protected]. O artigo será publicado se atender aos critérios do Jornal GGN.