produtos
‘Algoritmos sempre funcionam bem para as pessoas que os projetam, mas não sabemos se funcionam bem para as pessoas-alvo desses algoritmos’
Foto: Marcelo Casal Jr/Agência Brasil
Jornal GGN – A matemática Cathy O’Neil, autora do livro Weapons of Math Destruction (Armas de Destruição Matemática), publicado em 2016, avalia que a próxima revolução política será sobre o controle dos algoritmos, setor da inteligência artificial que se tornou das peças decisivas da eleição de Donald Trump, nos Estados Unidos e, agora, discutida como fator que contribuiu para a eleição de Jair Bolsonaro no Brasil.
Cathy está entre os primeiros matemáticos a chamar atenção para o papel político dos algoritmos e o perfil machista, racista e discriminatório projetado nos sistemas em atuação hoje. Em entrevista para o El Diario, a matemática explica que, mal programados, eles estão se tornando verdadeiros perigos para as democracias.
Os algoritmos foram criados para pontuar pessoas por grupos, usados amplamente no mercado e sistemas bancários para conceder ou negar crédito, por exemplo, ou em outras áreas para apólices de seguros ou admissão em universidades.
“O algoritmo atribui-lhe uma pontuação de forma secreta, você não pode entendê-lo, você não pode levantar um recurso. Utiliza um método de decisão injusto. No entanto, não só é injusto para o indivíduo, mas normalmente este sistema de decisão também é destrutivo para a sociedade”, avalia.
“Com algoritmos, estamos tentando transcender o preconceito humano, estamos tentando lançar uma ferramenta científica. Se eles falham, eles fazem a sociedade entrar em um ciclo destrutivo, porque eles aumentam progressivamente a desigualdade”, completa.
Em outubro, por exemplo, a Amazon decidiu descartar um algoritmo do seu sistema que fazia seleção para recrutar novos funcionários da empresa porque tinha um viés sexista. A inteligência artificial utilizava como base de dados currículos acumulados ao longo de dez anos com a maioria de inscritos homens. Cathy explica que este exemplo, obviamente, causa surpresa entre as pessoas, mas, considera a reação, especialmente da empresa, “fingida”.
“Existem exemplos de algoritmos discriminatórios em todos os lugares. Se eles admitissem que os algoritmos são imperfeitos e que poderiam ser racistas ou sexistas, ilegais, eles teriam que resolver esse problema para todos os algoritmos que estão usando. Se eles agirem como se ninguém soubesse de nada, eles poderiam continuar promulgando”.
E foi, para lançar luz a esse poder que se consolida através do uso de dados, que a matemática escreveu seu livro.
“Não devemos abandonar a automação ou parar de confiar em algoritmos, mas exigir responsabilidade. Especialmente quando eles atuam em um campo onde não há uma definição clara do que é “sucesso”. Esse é o tipo de algoritmo que me preocupa. Quem controla o algoritmo controla a definição de sucesso. Algoritmos sempre funcionam bem para as pessoas que os projetam, mas não sabemos se funcionam bem para as pessoas-alvo desses algoritmos. Eles podem ser tremendamente injustos com eles”.
Cathy explica que as pessoas, normalmente, pensam que o algoritmo é um método inteligente para se chegar a uma verdade objetiva, mas não se trata disso. “Nós desenvolvemos uma fé cega neles porque pensamos que há uma autoridade científica por trás deles”.
Na verdade, os algoritmos são “bobos” e, basicamente, usam um conjunto de perfis demográficos gerados a partir de uma grande base de dados. “Descobre se você é um cliente pagador ou quais são suas chances de comprar uma casa com base nas pistas que lhe restam, como sua classe social, sua riqueza, sua raça ou sua etnia”.
Sabendo disso, o setor passa a ter maior responsabilidade social para desenvolver algoritmos verdadeiramente mais precisos. “Pode ser um algoritmo para decidir quem tem acesso a liberdade condicional racista, que determina quais bairros sofrem mais com a pressão policial baseada na presença de minorias”, exemplificou a pesquisadora.
Ela também destaca que apesar do problema ser real, e cada vez mais preocupante nas decisões políticas, governantes e legisladores não demonstram preparo para colocar a questão na mesa.
“Os políticos pensam que, a partir de sua posição, eles terão controle sobre os algoritmos em suas mãos, de modo que não querem renunciar a esse poder, mesmo que seja ruim para a democracia. É uma consideração muito séria. Como eu disse no livro, Obama foi adorado pela esquerda pelo uso de big data para aumentar as doações ou melhorar a segmentação de mensagens. Mas esse foi um precedente muito perigoso: nas últimas eleições vimos como a campanha Trump conseguiu suprimir o voto dos afro-americanos graças à mesma segmentação de mensagens através dos algoritmos do Facebook”.
Cathy termina a entrevista considerando que desde quando lançou o livro, 2016, houve um aumento da preocupação de pessoas comuns sobre o tema. “Eu venho de Barcelona, onde tenho visto 300 pessoas, a maioria jovens, preocupadas com essa questão. É um fenômeno emergente em todo o mundo, as pessoas estão começando a ver o dano, o mal que está aqui. A maior parte desse dano algorítmico não é visível, não é visível. O fato de as pessoas estarem mais conscientes nos faz esperar que haja uma demanda por algoritmos a serem responsabilizados. Eu espero que isso aconteça”.
Faça login para comentar Você pode fazer o Jornal GGN ser cada vez melhor.
Apoie e faça parte desta caminhada para que ele se torne um veículo cada vez mais respeitado e forte.
Seja um apoiador
E VOCÊ, NASSIF, QUESTIONAVA ALGORÍTMO PRÓ GILMAR…
LEMBRA DISSO, NASSIF? ALGORÍTMO DECIDINDO, NO STF, PARA QUAL MINISTRO IRIA TAL OU QUAL AÇÃO…..E SEMPRE DAVA GILMAR MENDES NA CABEÇA. E AFINAL, VOCÊ DEIXOU PRA LÁ? E SE ALGORÍTMO PODE ENGABELAR, NÃO É CABÍVEL QUESTIONAR DECISÕES TOMADAS NO STF COM BASE NESSE ESQUEMA MALANDRO DE ESCOLHER QUEM JULGARIA? E DAÍ NÃO CABERIA ATÉ CADEIA PRA QUEM AGIA BANDIDAMENTE NESSE ESQUEMA? E SERÁ QUE AINDA AGEM BANDIDAMENTE? SERÁ QUE O FILHOTE DE BOÇAL QUE DISSE QUE FECHARIA O STF FACINHO, FACINHO, NÃO TINHA RAZÂO (APESAR DE SER MUITO DIFÍCIL DAR RAZÃO A BOÇAIS? RESPONDE ESSA NOSSA CURIOSIDADE VAI….
Não …
Não …
“e o perfil machista, racista e discriminatório” não é verdade.
Os algoritmos refetem apenas o nosso comportamento.
Falo de bons algoritmos que , ou sigam padrões estatíscos testados ou sejam máquinas de apredizagem.
A matemática não tem preconceitos , nós temos.
Controlar os bichinhos seria mascarar a realidade e burrice.
Algoritmos ruins são eliminados pois não respondem a realidade.
Edição Brasileira
Sr Marcelo Casal Jr e Sr Nassif
Fiquei super curioso quanto ao livro Weapons of Math Destruction.
Por favor, insistam com as editoras a lançar uma edição brasuca?!
Sensacional artigo! Obrigado!
Poucos …
Poucos destes livros são traduzidos , discordo da tese em princípio mas gostaria de ler.
Amazon se acha usado ou ebook.
Vai sair agora em 2020 pela Editora Rua do Sabão. Ou Editora Elefante, não tenho certeza
Contralar?
Kkk Kkk kkk
A tecnologia não deve ser o centro da vida social
O tema é muito importante, mas não a ponto de ser o objeto de uma revolução política.
As mudanças climáticas, que já estão fazendo seus estragos mais visíveis na vida humana nos incêndios nas florestas da Califórnia-USA, são o tema que merece a atenção de todo o mundo porque é, literalmente, questão de vida ou morte.
A manipulação da vida pelos poderosos e como reverter a razão do 1% dominar os 99%, do que o algoritmo é só a mais recente fronteira tecno-social, são o verdadeiro objeto para uma revolução política. A declaração tem apenas o efeito de mistificar ainda mais algo que não é o problema, mas seu reflexo. Algoritmo é criado a serviço de alguém por outro alguém, não é? interesse de quem, como, por que e para quê são criados os algoritmos nada têm a ver com tecnologia propriamente mas a mais antiga ferramenta de domínio social, o exercício do poder por minorias, com ou sem coerção.
A próxima revolução política deverá ser a da comunalidade ecológica e social. Ou não será. Quem sabe já está sendo e nós, desatentos por causa de pautas diversionistas, não estamos informados?
Sampa/SP, 18/11/2018 – 20:41 (alterado às 20:45).
“fronteira tecno-social”
“O tema é muito importante, mas não a ponto de ser o objeto de uma revolução política.”
Numa antiga e discreta lista de correio de programadorxs veteranxs (void), na qual aprendizes de feiticeirxs como eu raramente se manifestavam, foi postada uma curta seção de fluxo de programa e alguém comentou que aquela solução era poética. Essa pessoa conseguia enxergar nos algoritmos, estruturas e fluxos uma expressão artística. Agora, weapons of math destruction. Tendo a concordar com seu comentário inteiramente, mas é surpreendente esta “mais recente fronteira tecno-social”:
[video:https://youtu.be/ca-C3voZwpM%5D
Serão os deuses robôs?
Rs.
Não pude ver o vídeo ainda, mas já agradeço a partilha. Gosto muito de tecnologia, apesar de ser leiga no assunto.
Acho que você estranhou o fato de eu dizer que é algoritmo é algo recente. Vou explicar o que eu quis dizer com “mais recente fronteira tecno-social”.
Não entendo lhufas de programação, mas pelo que é possível entender a/o cidadã/o comum, o estágio atual do algoritmo é apenas um aperfeiçoamento lógico da computação, a tal inteligência artificial. Mas me recuso a aceitar a versão corrente de que as máquinas têm, ou venham a ter, autonomia. Acho que os algoritmos são apenas instrumentos da vontade e da ação humana, tanto que você disse que em um grupo de amantes do assunto, alguém viu poesia numa sequência de bits (ou bytes? – como disse, sou leiga a esse ponto, rs).
Quando eu falei “mais recente fronteira tecno-social” é porque não vejo como os algoritmos podem dirigir as pessoas sem sua permissão, desinformada ou não, e sem que sejam definidos e comandados por outros alguéns. Exemplo: eu me assustei, anos atrás, quando percebi que uma pesquisa de produto que eu acabara de fazer alimentava a sugestão de propaganda em sites que eu visitava logo depois. E isso continua acontecendo. Eu sei do monopólio das grandes techs, mas ainda uso o navegador mais popular. Ou seja, é questão de as pessoas não serem ingênuas e observarem o ambiente tecnológico como elas fazem na vida real, e a partir disso, tomarem suas decisões. Estelionato, manipulação, desinformação, propaganda enganosa, roubo de informações, isso sempre existiu, o que a internet faz é tornar isso profissional e lucrativo para algumas empresas e de maneira tão sutil que a/o cidadã/o fica mais indefeso que antes. A questão política que ele levanta é outra, e não é tecnológica, é essencialmente política e econômica, como o monopólio das telecomunicações, da imprensa – o algoritmo analógico, rs -, do sistema financeiro e bancário, do acesso à terra e à agua.
Mas a tecnologia não inventa a roda social. Tudo o que ela faz de mais surpreendente é simular a vida real, então, é na vida real que devemos buscar as estruturas que tornam esses trecos tão lucrativos e poderosos – não existe poder sem lucro, e vice-versa, essa a antipoesia do capitalismo para o qual a tecnociência é só um instrumento, perverso, mas ainda assim, uma ferramenta que cabe a nós usar, ou recusar, ou transformar.
Eu, por exemplo, em função dessa responsabilidade que acho que cabe a cada um de nós, venho me cobrando trocar os monopólios, onde é possível, por alternativas de código aberto e comunitárias, por assim dizer. Do email ao navegador. E entendo por que o monopólio das techs é tão forte, elas usam da compulsão humana por conforto individual e por hábito, que são outros dos motores do capitalismo, também.
Por tudo isso, acho que o algoritmo é a mais recente fronteira tecno-social porque está de tão modo disseminado e inseparável das coisas mais simples que fazemos que já automatizamos parte da nossa vida, voluntariamente ou não, conscientemente ou não, mas nada diferente do que a alienação já fazia antes dele. E a fronteira porque pior que os algoritmos que manipulam as atitudes das pessoas é a patologia humana que já substitui humanos por robôs em funções como ser amiga/o ou namorada/o, consciente e deliberadamente, ou seja, depois dessa fronteira, o que diferencia humanos de máquinas e qual a ética dessa nova relação? (Sei que não é culpa do algoritmo, as pessoas já têm essa propensão à transferência de afeto para carros, para obras de arte, para objetos em geral, mas a tecnologia traz a possibilidade, real ou fabricada, da ilusão da reciprocidade, rs, em que muitos humanos já são mestres).
Como você gosta de tecnologia, vou partilhar com você três vídeos que têm a ver com o assunto – na TVO tem muitos outros debates sobre tecnologia, se gostar dos que sugeri. A responsabilidade ainda é analógica, com a mais complicada das tecnologias, o pensamento e a decisão humanos.
The agenda with Steve Paikin (TVO – Canadá) – The Bots and Our Feelings
[video:https://www.youtube.com/watch?v=_ON-64K4gS8&t=306s%5D
https://www.youtube.com/watch?v=_ON-64K4gS8&t=306s
The agenda with Steve Paikin (TVO – Canadá) – Revenge of Analog
[video:https://www.youtube.com/watch?v=DB4iw3xt5kg%5D
https://www.youtube.com/watch?v=DB4iw3xt5kg
Astrobum – 21st Century Hackers – Documentary 2018
[video:https://www.youtube.com/watch?v=koi54cPRlhQ&t=32s%5D
https://www.youtube.com/watch?v=koi54cPRlhQ&t=32s
Sampa/SP, 19/11/2018 – 14:16 (alterado às 14:18, 14:25, 14:33 e 14:57).
Honestamente…
Não se inventa uma arma, com 50% ou mais de exatidão pra não se a usar. Geralmente adaptando ao maior ganho possivel. Repetia meu saudoso pai: o que o olho não vê, o coração não deseja. Viu? Já era.