Tribunal de Haia declara ilegal algoritmo para avaliação das características pessoais dos cidadãos

Sistema não atende aos requisitos de proporcionalidade e transparência necessários e viola as disposições sobre respeito à privacidade que reconhecem o artigo 8 da Convenção Europeia dos Direitos Humanos

Do Diariolaley

Carlos B Fernandez. O Tribunal Distrital de Haia ( Rechtbank Den Haag ) emitiu uma sentença, datada de 5 de fevereiro de 2020, que estabelece que um sistema algorítmico usado pelo Governo da Holanda para avaliar o risco de fraude na segurança social ou financeira, não atende aos requisitos de proporcionalidade e transparência necessários e viola as disposições sobre respeito à privacidade que reconhecem o artigo 8 da Convenção Europeia dos Direitos Humanos (LAW 16/1950) , portanto, é contrário à lei .

Esta é a primeira frase conhecida na Europa para a declaração de um algoritmo de avaliação das características pessoais dos cidadãos. A sua divulgação também coincidiu com o anúncio da Comissão de que, em pouco tempo, apresentará uma proposta de regulamentação da IA na União e com uma decisão muito recente do Parlamento Europeu solicitando à Comissão que aprove uma regulamentos sobre processos automatizados de tomada de decisão , a fim de garantir a proteção dos consumidores e a livre circulação de bens e serviços. E, em nível nacional, com o anúncio da publicação pela AEPD do Guia de Adaptação ao RGPD de tratamentos que incorporam Inteligência Artificial .

Os fatos

De acordo com a decisão, cujo texto está disponível em holandês, o chamado Sistema de Indicação de Risco ( Systeem Risico Indicatie, SyRI, nada a ver com o assistente de voz da Apple) é um instrumento legal que o governo holandês usa para prevenir e combater o fraude no domínio da segurança social e regimes relacionados com o rendimento, impostos e contribuições para a segurança social e leis trabalhistas.

O sistema baseia-se na atribuição do nível de risco de uma determinada pessoa cometer fraude contra a renda pública, com base em uma série de parâmetros analisados e relacionados entre si.

Essa medida, estabelecida a pedido de determinadas agências e órgãos públicos, tendo em vista o alto volume de fraudes detectadas no país, baseia-se na chamada Lei de Organização de Implementação e Estrutura de Renda ( Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cujo artigo 65.2 permite a preparação de relatórios de risco para avaliar o risco de uma pessoa física ou jurídica fazer uso ilegal de fundos governamentais no campo da previdência social e esquemas relacionados à renda pública.

De acordo com o Regulamento de Desenvolvimento da Lei, o sistema utiliza um algoritmo que processa dados como nome, endereço, local de residência, endereço postal, data de nascimento, gênero e características administrativas das pessoas; sobre o seu trabalho; sobre medidas administrativas e sanções aplicadas; suas informações fiscais, incluindo informações sobre bens móveis e imóveis; dados sobre motivos de exclusão de assistência ou benefícios; dados comerciais; dados de integração, que podem ser usados para determinar se as obrigações de integração foram impostas a uma pessoa; histórico de conformidade com leis e regulamentos; dados sobre bolsas recebidas; em pensões; sobre a obrigação de reembolsar benefícios públicos; sobre endividamento; em benefícios, subvenções e subsídios recebidos;

Leia também:  G-20: Bolsonaro, mais uma vez, nega racismo e diz que todos os brasileiros são "verde e amarelo"

O processamento desses dados é realizado em duas fases. No primeiro, são coletados e pseudonimizados, substituindo o nome pessoal, números de previdência social e endereços por um código (pseudônimo). Os dados são então comparados com o modelo de risco e os possíveis fatores de risco são identificados. Se uma pessoa, natural ou legal, ou um endereço, for classificada como de alto risco, seus dados serão descriptografados novamente usando o arquivo de chaves e transferidos para uma segunda fase da análise de risco por uma unidade específica de análise. Na segunda fase, os dados descriptografados são analisados por esta unidade de análise, que atribui um nível definitivo de risco.

A decisão do tribunal

Este regulamento foi contestado por várias organizações para a defesa dos direitos humanos e civis holandeses e, de acordo com o julgamento do tribunal local de Haia, a legislação que apóia a aplicação desse algoritmo, não cumpre o requisito estabelecido no artigo 8, parágrafo 2 da CEDH (LEI 16/1950) , que é necessária uma interferência no exercício do direito ao respeito pela vida privada em uma sociedade democrática. Ou seja, é necessário e proporcional em relação ao objetivo pretendido.

Em particular, considera que esta legislação não está em conformidade com o “equilíbrio justo” ( equilíbrio justo , no original) que, segundo a CEDH (LEI 16/1950), deve existir entre o interesse social atendido pelos regulamentos em questão e o violação da vida privada que ela implica, para poder estimar essa interferência suficientemente justificada.Na sua avaliação, o tribunal teve em conta os princípios fundamentais em que a proteção de dados se baseia no direito da União ( CEDH (LAW 16/1950) e GDPR), em particular nos princípios da transparência, da limitação do tratamento de minimização de dados, e conclui que os regulamentos que regem o uso do SyRI são insuficientemente claros e verificáveis e, portanto, declaram-no contrário à lei.

A seguir, apresentamos os diferentes argumentos que apóiam essa decisão.

O alcance do direito ao respeito pela vida privada dos cidadãos na CEDH (LEI 16/1950) e no RGPD

O artigo 8 da Convenção Europeia dos Direitos Humanos (Direito ao respeito pela vida privada e familiar) declara:

“1. Toda pessoa tem direito a respeitar sua vida privada e familiar, seu domicílio e sua correspondência.

Não pode haver interferência da autoridade pública no exercício desse direito, exceto enquanto essa interferência for prevista em lei e constituir uma medida que, em uma sociedade democrática, seja necessária para a segurança nacional, a segurança pública, o bem-estar econômico do país, a defesa da ordem e a prevenção de ofensas criminais, a proteção da saúde ou da moral ou a proteção dos direitos e liberdades de terceiros “.

A este respeito, o tribunal aprecia, em primeiro lugar, que os direitos garantidos pela CEDH (LEI 16/1950) fazem parte do direito da UE como princípios gerais do mesmo (artigo 6.3 do Tratado UE). Em segundo lugar, que a CEDH (LEI 16/1950) estabelece uma proteção mínima do direito fundamental à privacidade, de modo que a proteção do direito do cidadão da UE à proteção de dados pessoais seja determinada em mais detalhes acordo com a Carta e o GDPR, indo em alguns aspectos além de alguns aspectos da CEDH (LEI 16/1950) .

Leia também:  Fora de Pauta

Efeitos do relatório de riscos na vida privada das pessoas

Na opinião do tribunal, embora o relatório de risco gerado pelo algoritmo não tenha, por si só, uma conseqüência jurídica direta, civil, administrativa ou criminal, ele tem um efeito significativo na vida privada da pessoa a quem ele se refere.

O tribunal também deriva essa conclusão das diretrizes do Artigo 29 do Grupo de Trabalho da Proteção de Dados de 4 de dezembro de 2008, segundo as quais se deve entender que o processamento de dados afeta significativamente uma pessoa quando seus efeitos são grandes o suficiente. ou importante para afetar significativamente o comportamento ou as decisões das pessoas envolvidas; Ter um efeito a longo prazo ou duradouro na pessoa em causa; ou, no caso mais extremo, levar à sua exclusão ou discriminação.

Um objetivo legítimo, perseguido por meios desproporcionais

O tribunal considera que o volume de fraudes no sistema de seguridade social da Holanda justifica a aplicação de mecanismos de controle e supervisão que limitam ou eliminam seus efeitos. Especificamente, o desenvolvimento de novas tecnologias fornece ao governo, entre outras coisas, opções digitais para vincular arquivos e analisar dados com a ajuda de algoritmos e, portanto, exercendo uma supervisão mais eficaz.

Mas, acrescenta, nesse desenvolvimento, o direito à proteção de dados é cada vez mais importante, em parte devido à velocidade desse desenvolvimento, pois a coleta e análise de dados com a ajuda dessas novas tecnologias podem afetar profundamente à vida privada daqueles com quem esses dados se relacionam.

Portanto, o legislador também tem uma responsabilidade especial no caso do uso de um instrumento como o SyRI. E, nesse sentido, o tribunal também aprecia que o método aplicado neste caso não respeite o princípio do “equilíbrio justo” que deve existir entre os objetivos perseguidos e a violação da vida privada das pessoas que causa, pois não é necessário. e proporcional aos fins que persegue.

Especificamente, as garantias previstas na legislação com o objetivo de proteger a privacidade daqueles cujos dados podem ser processados com o sistema SyRI são insuficientes, levando em consideração os princípios de transparência, limitação de processamento e minimização de dados, princípios fundamentais de proteção. de dados.

Falta de transparência do algoritmo

O princípio da transparência é o princípio orientador da proteção de dados subjacente e consagrado na CEDH (LEI 16/1950) e no GDPR (artigos 5.1 a) e 12).

O tribunal considera que o governo holandês não tornou público o tipo de algoritmo usado no modelo de risco, nem forneceu informações sobre o método de análise de risco usado, com a desculpa de impedir que os cidadãos ajustem seu comportamento de acordo.

Leia também:  Mais brutalidade: mulher foi torturada e estuprada no Carrefour por furtar comida

Além disso, considera que a norma reguladora do algoritmo não fornece nenhuma obrigação de informação às pessoas cujos dados são processados, de modo que não é razoavelmente esperado que essas pessoas saibam que seus dados são usados ou foram usados para esse fim. Além disso, este regulamento também não prevê qualquer obrigação de informar individualmente as partes interessadas, quando apropriado, do fato de que sua avaliação de riscos foi positiva.

Por outro lado, há apenas uma obrigação legal de publicar o início de um projeto SyRI, publicando-o no Staatscourant (Diário Oficial do Estado) e dando acesso ao registro de notificações de risco, mediante solicitação

.No julgamento do tribunal, esse princípio não foi suficientemente observado na legislação da SyRI à luz do artigo 8, parágrafo 2, da CEDH (LEI 16/1950) . O tribunal considera que a legislação do SyRI não fornece informações sobre dados factuais que possam justificar a presença de uma circunstância específica, ou que dados objetivos podem justificar a conclusão de que há um risco maior. Na documentação fornecida, acrescenta-se, existem apenas alguns exemplos de indicadores que podem indicar um risco maior e um possível impacto.

Relevância da falta de transparência

Como resultado do exposto acima, o tribunal conclui que é impossível verificar como a árvore de decisão que usa o algoritmo é projetada e em quais etapas ela consiste. Uma circunstância que dificulta a defesa de uma pessoa afetada pelo fato de que um relatório de risco foi feito com relação a ela.

É igualmente difícil saber como o proprietário dos dados que foram processados com o SyRI, mas que não levaram a um relatório de risco, pode estar ciente de que seus dados foram processados corretamente. O fato de que, nesta última situação, os dados não levaram a um relatório de risco e, além disso, que foram destruídos no prazo de quatro semanas após a análise, não altera a falta de transparência exigida em relação a esse tratamento.

Essa falta de transparência também apresenta problemas de verificabilidade em relação a possíveis efeitos discriminatórios (não intencionais), principalmente porque o estudo é realizado em determinadas populações consideradas sensíveis. Dada a grande quantidade de dados usados pelo algoritmo, incluindo dados pessoais de categoria especial e o fato de serem utilizados perfis de risco, existe o risco de conexões involuntárias baseadas em vieses. E, com base na legislação aplicável, não é possível avaliar se esse risco foi adequadamente tratado.

Você pode fazer o Jornal GGN ser cada vez melhor.

Assine e faça parte desta caminhada para que ele se torne um veículo cada vez mais respeitado e forte.

Assine agora

2 comentários

  1. O problema , me parece , é o processo e não o algoritmo em si.
    Por uma série de motivos pode-se realmente não saber o que o algoritmo faz.
    O algoritmo , grosso modo , vai procurar padrões que ele “aprendeu” em casos anteriores com fraude ou corretos.
    Algorigmos bem feitos.
    A questão me parece semelhante ao caso COAF do STF , qual o momento que se abre o caso suspeito.

    Para se ter ideia da complexidade (matemática) da coisa

    Introdução ao datamining: mineração de dados
    Autores Pang-Ning Tan, Michael Steinbach, Vipin Kumar, Acauan Fernandes
    Editora Ciencia Moderna, 2009
    ISBN 8573937610, 9788573937619

    Nos aspectos legais nem me meto …

  2. Ah! a maravilha dos algoritmos!
    Teremos agora suspeitos por amostragem e elegeremos suspeitos identificados, determinando limites de liberdade e espaço de sobrevivência para cada um.
    Fim da mobilidade social , com a fixação de castas intransponíveis.
    Se o cabra nasceu, cresceu ou precisou viver um momento de fragilidade social e em algum tempo teve necessidade de amparo, ou foi punido pelo estado, poderá estar marcado para sempre.
    Apolíticos, por enquanto, esses algoritmos nivelam por baixo, sem distinguir, em princípio, cor, sexo, religião ou nacionalidade (?)
    A sua serventia para a implantação de uma nova ordem social será indispensável,mas as consequências de seu uso poderão ser desastrosas, dando início a um inimaginável separatismo.

Deixe uma mensagem

Por favor digite seu comentário
Por favor digite seu nome