LUZIANE DE FIGUEIREDO SIMÕES LEAL

(orientadora)[1]

Resumo: O processo de informatização do mundo, através do avanço da tecnologia digital, trouxe consigo grandes impactos nas relações sociais, econômicas e jurídicas. E com a ampliação da capacidade de armazenamento e tratamento de dados, aliada à existência do ciberespaço, surgiram o Big Data, a Ciência de Dados e a Inteligência Artificial - ramos do conhecimento intimamente ligados à ética e aos direitos fundamentais. Não obstante a existência de vasta quantidade de informações e questionamentos acerca dessas áreas, o presente trabalho tem como objetivo precípuo tratar sobre o problema da ausência de obrigatoriedade de revisão humana das decisões automatizadas de acordo com a Lei n. 13.709/2018 (Lei Geral de Proteção de Dados), considerando a utilização da Inteligência Artificial sob a égide dos Direitos Fundamentais. Por intermédio de pesquisas amparadas nos grandes estudiosos do tema, foi possível avaliar os impactos jurídicos possíveis, como a propagação da discriminação, caso a Lei Geral de Proteção de Dados não preveja a obrigatoriedade de revisão humana sobre decisões automatizadas. O método de pesquisa utilizado foi o dedutivo, utilizando-se de um modelo de pesquisa bibliográfica, a partir de coletas de dados de artigos, livros, revistas científicas e sítios especializados na internet.

Palavras-chave: Tecnologia Digital. Inteligência Artificial. Lei geral de Proteção de Dados. Revisão humana das decisões automatizadas. Discriminação.

Abtract: The process of computerization of the world, through the advancement of digital technology, brought with it great impacts on social, economic and legal relations. And with the expansion of data storage and processing capacity, coupled with the existence of cyberspace, the so-called Big Data, Data Science and Artificial Intelligence - branches of knowledge closely linked to ethics and fundamental rights have emerged. Despite the existence of a vast amount of information and questions about these areas, the present work has as main objective to deal with the problem of the lack of mandatory human review of automated decisions in accordance with Law no. 13.709 / 2018 (General Data Protection Law), considering the use of Artificial Intelligence under the aegis of Fundamental Rights. Through research supported by great scholars on the subject, it was possible to assess the possible legal impacts, such as the spread of discrimination, if the General Data Protection Law does not provide for the mandatory human review of automated decisions. The research method used was the deductive one, using a bibliographic research model, from data collections of articles, books, scientific journals and specialized websites.

Keywords: Digital Technology. Artificial intelligence. General Data Protection Act. Human review of automated decisions. Discrimination.

Sumário: Introdução. 1. Direitos fundamentais, direito a não-discriminação e tecnologia digital. 2. O que é Inteligência Artificial?. 3. Qual a importância da Inteligência Artificial na sociedade moderna?. 4. O problema da reprodução de discriminações pelos sistemas de tomada de decisões baseados em Inteligência Artificial. 5. A inexigibilidade da revisão humana prevista na Lei Geral de Proteção de Dados (LGPD) brasileira em relação ao Regulamento Geral Sobre Proteção de Dados (RGPD) europeu. 4. A necessidade de previsão de revisão humana das decisões automatizadas na LGPD para garantir a eficácia dos direitos de igualdade e não discriminação. Conclusão.

INTRODUÇÃO

O processo de informatização do mundo, através do avanço da tecnologia digital, trouxe consigo grandes impactos nas relações sociais, econômicas e jurídicas. E com a ampliação da capacidade de armazenamento e tratamento de dados, aliada à existência do ciberespaço[2], surgiram o chamado Big Data,[3] a Ciência de Dados[4] e a Inteligência Artificial (IA)[5] – áreas do conhecimento que estão intimamente ligadas, além da tecnologia digital, aos direitos fundamentais de liberdade, igualdade, autodeterminação informativa e proteção de dados.

Vivemos na chamada sociedade da Informação[6] (CASTELLS, 1999) onde, em questão de segundos, dados pessoais são compartilhados entre indivíduos de continentes distintos com uma facilidade assustadora. Essa maneira de transferência e compartilhamento de informações alterou a forma como o ser humano se relaciona entre si, o que torna o debate sobre proteção de dados e sistemas automatizados de tomada de decisão extremamente importante e intrigante. 

Casos polêmicos acerca de tratamentos de dados pessoais sensíveis[7], como o que envolveu a empresa Cambridge Analytica (El PAÍS, 2018) - que atuou na análise de dados pessoais, prestando assessoria à primeira campanha eleitoral de Donald Trump ao cargo de Presidente dos Estados Unidos da América e, de certa forma, influenciando no referendo sobre a saída do Reino Unido da União Europeia -, demonstraram o poder de interferência e manipulação política que o tratamento de dados desregulado pode ter sobre a vida das pessoas.

Diante disso, o direito como instrumento de controle social teve a necessidade de se adaptar à atual realidade, e passou a criar legislações que versassem especificamente sobre privacidade e proteção de dados. No cenário internacional, temos como mais influentes a General Data Protection Regulation (GDPR) europeia, a qual passou a vigorar no dia 25 de maio de 2018, e a California Consumer Privacy Act (CCPA), que entrou em vigor em 1° de janeiro de 2020. Por outro lado, no cenário nacional, temos a Lei Geral de Proteção de Dados (BRASIL, 2018), sancionada no dia 14 de agosto de 2018, que entrou em vigor em agosto de 2020, mas não na sua integralidade, pois os arts. 52, 53 e 54 (que tratam das sanções administrativas) só entrarão em vigor em 1º agosto de 2021.

Embora a Lei n. 13.709/2018 (Lei Geral de Proteção de Dados) tenha sido fortemente influenciada pela GDPR europeia, na lei de proteção de dados brasileira existem inúmeros pontos de divergências em relação ao referido regulamento europeu, dentre os quais o que trata sobre a inexigibilidade de revisão humana das decisões automatizadas - art. 20 da LGPD.

Ora, diferentemente do que prevê a GDPR – referência no que tange às legislações sobre proteção de dados -, a LGPD brasileira não prevê o direito à revisão humana das decisões tomadas unicamente com base em tratamento automatizado. Em outras palavras, as pessoas naturais ou jurídicas de direito público ou privado, que realizam o tratamento de dados pessoais fora dos termos do art. 4º da LGPD[8], não serão obrigadas a proceder com a revisão humana das decisões automatizadas se forem questionadas pelos titulares dos dados pessoais.

Assim, é nesse cenário de preocupação com as benesses da utilização da inteligência artificial nos processos de tomada de decisão e os possíveis prejuízos aos direitos fundamentais, principalmente quanto ao direito da não-discriminação, que o presente trabalho se propõe.

A pesquisa será qualitativa e teórica, e se lastreará com base em pesquisas bibliográficas, como doutrinas, artigos científicos e textos de sítios especializados da internet, voltadas a conceituar e identificar pontos importantes para o aclaramento e a obtenção do resultado satisfatório acerca do tema.

1. DIREITOS FUNDAMENTAIS, DIREITO A NÃO-DISCRIMINAÇÃO E TECNOLOGIA DIGITAL

Os direitos fundamentais são todos os direitos subjetivos correspondentes a todos os seres humanos enquanto dotados de status de pessoas, cidadãos e capacidade de agir (FERRAJOLI, 2004). Eles são imprescindíveis para a realização da pessoa humana, o que a faz conviver e até mesmo sobreviver (SILVA, 2005).

Nessa linha, Dirley da Cunha Júnior (2008) estabelece que direitos fundamentais são:

[...] todas aquelas posições jurídicas favoráveis às pessoas que explicitam, direta ou indiretamente, o princípio da dignidade da pessoa humana, que se encontram reconhecidas no teto da Constituição formal (fundamentalidade formal) ou que, por seu conteúdo e importância, são admitidas e equiparadas, pela própria Constituição, aos direitos que esta formalmente reconhece, embora dela não façam parte (fundamentalidade material). (CUNHA JÚNIOR, 2008, p. 573).

A Constituição Federal de 1988 elenca, em seu título II, os direitos e as garantias fundamentais, como por exemplo: o direito à vida, liberdade, igualdade, privacidade, saúde, segurança, liberdade de expressão e do pensamento e outros (Brasil, 1988).

Mas, embora hoje os direitos fundamentais estejam expressamente presentes no corpo da Lei Maior, ao analisar sua historicidade, é perceptível que eles não surgiram por acaso. Eles foram forjados no fogo da luta e do sangue pela vida e liberdade, passando de modo gradual a abarcar outros segmentos. Sobre sua historicidade dos direitos fundamentais, discorre Noberto Bobbio (1992):

[...] os direitos do homem, por mais fundamentais que sejam, são direitos históricos, ou seja, nascidos em certas circunstâncias, caracterizadas por lutas em defesa de novas liberdades contra velhos poderes, e nascidos de modo gradual, não todos de uma vez e nem de uma vez por todas. [...] o que parece fundamental numa época histórica e numa determinada civilização não é fundamental em outras épocas e em outras cultuas. (BOBBIO, 1993, p. 5)

Já o direito a não-discriminação decorre e se manifesta a partir do princípio constitucional da igualdade. Porém, enquanto o princípio da igualdade é passível de flexibilização, vez que ele não é absoluto, o direito a não-discriminação é inflexível, pois qualquer conduta tida como discriminatória é proibida (FERREIRA FILHO, 2013).

A conceituação do que é discriminação somente se deu, em âmbito internacional, em 1958, com a Convenção nº. 111 da Organização Internacional do Trabalho (OIT) sobre Discriminação em Matéria de Emprego e Profissão, promulgada pelo Decreto n. 62.159 de 1968, que ficou conhecida como a primeira a redigir um documento internacional que conceituasse o que é discriminação (BRASIL, 1968). No seu art. 1º ela estabelece:

ARTIGO 1º

         1. Para fins da presente convenção, o têrmo "discriminação" compreende:

         a) Tôda distinção, exclusão ou preferência fundada na raça, côr, sexo, religião, opinião política, ascendência nacional ou origem social, que tenha por efeito destruir ou alterar a igualdade de oportunidades ou de tratamento em matéria de emprêgo ou profissão;

         b) Qualquer outra distinção, exclusão ou preferência que tenha por efeito destruir ou alterar a igualdade de oportunidades ou tratamento em matéria de emprêgo ou profissão, que poderá ser especificada pelo Membro Interessado depois de consultadas as organizações representativas de empregadores e trabalhadores, quando estas existam, e outros organismos adequados.

         2. As distinção, exclusões ou preferências fundadas em qualificações exigidas para um determinado emprêgo não são consideradas como discriminação.

         3. Para os fins da presente convenção as palavras "emprêgo" e "profissão" incluem o acesso à formação profissional, ao emprêgo e às diferentes profissões, bem como as condições de emprêgo. (BRASIL, 1968)

A discriminação é proibida expressamente pela Constituição Federal de 1988, pois, em seu art. 3º, IV, ela dispõe que, entre os objetivos fundamentais da República Federativa do Brasil, está: promover o bem de todos, sem preconceitos de origem, raça, sexo, cor, idade e quaisquer outras formas de discriminação. E há a proibição, também, da diferença de salário, de exercício de fundações e de critério de admissão por motivo de sexo, idade, cor, estado civil ou posse de deficiência, conforme o art. 7º, XXX e XXXI da CF (SILVA, 2003).

Porém, o combate à discriminação é árduo, mesmo nos tempos hodiernos. Em razão disso, a doutrina, numa contextualização social, criou o Direito da Antidiscriminação, que em sua acepção tem como objetivo evitar que pessoas portadoras de determinadas características sofram com a redução das oportunidades de exercício das suas potencialidades sociais em relação aos outros membros da própria sociedade. Nesse sentido, leciona Ferreira da Silva (2020), senão vejamos:

Normas de Direito da Antidiscriminação voltam-se a evitar que o fato de pessoas portarem determinadas características seja fator capaz de ensejar – intencionalmente ou não – uma considerável redução das possibilidades de exercício das suas potencialidades sociais em relação a outros membros da mesma sociedade. Em geral, causas históricas determinam quais são essas características. Tomando-se de empréstimo o que usualmente se verifica em normas de Direito Internacional e de Direito Constitucional de diversos países, podem-se dar como exemplos dessas características a raça, a origem, o sexo, a orientação sexual, a idade, o fato de portar alguma deficiência e a religião.

Não obstante, quando se trata de tecnologia digital e proteção de dados pessoais, os direitos mais básicos dos cidadãos podem ser facilmente cerceados, porque, tendo em vista que o campo de aplicação dessas normas é no ciberespaço, é muito mais difícil a sua fiscalização – ainda não há uma Autoridade Nacional de Proteção de Dados no Brasil – e a sua definição quanto às questões de jurisdição entre os Estados Nacionais.

A celeuma aumenta ainda mais quando se traz à discussão os sistemas de inteligência artificial, porquanto, há o entendimento de que, se não fiscalizados proficuamente, eles podem cometer uma série de atos discriminatórios. Em razão disso, foi elaborada A Declaração de Toronto: Protegendo os Direitos à Igualdade e à Não-discriminação em Sistemas de Aprendizado de Máquina (2018), sobre as machine learing systems (sistemas de máquina de autoaprendizagem). E, em seu parágrafo 16, ela assevera que:

[...] padrões existentes de discriminação estrutural podem ser reproduzidos e agravados por situações que são particulares a estas tecnologias - por exemplo, sistemas de aprendizado de máquina que criam marcadores de sucesso auto-realizáveis e reforçam padrões de desigualdade, ou questões decorrentes do uso de bases de dados não-representativas ou enviesadas”. (THE TORONTO DECLARATION: PROTECTING THE RIGHTS TO EQUALITY AND NON-DISCRIMINATION IN MACHINE LEARNING SYSTEMS. CANADÁ, 2018, parágrafo 16).

A Declaração de Toronto: Protegendo os Direitos à Igualdade e à Não-discriminação em Sistemas de Aprendizado de Máquina sustenta ainda que é dever dos Estados garantir a existência de medidas que previnam a discriminação e que outras violações de direitos sejam atualizadas para considerar e endereçar os riscos representados pelas tecnologias de aprendizado de máquina.

Por isso, a Lei n. 13.709/2018 (Lei Geral de Proteção de Dados), inspirada no modelo europeu, é considerada um grande marco para o mundo jurídico, eis que já era bastante esperada pelos juristas e demais especialistas no assunto, em razão da extrema necessidade de garantir a proteção dos dados pessoais, a não discriminação e todas as garantias fundamentais.

2. O QUE É INTELIGÊNCIA ARTIFICIAL?

Dada a predominância da inteligência artificial nos sistemas preditivos e de autoaprendizagem, faz-se importante a abordagem acerca da sua definição e dos seus aspectos em relação aos direitos fundamentais.

Pois bem, entre a década de 50 e 60 do século passado, o pai da computação, Alan Turin, em seu artigo Computing Machinery and Intelligence, intrigava e indagava a si mesmo e aos outros cientistas se as máquinas, algum dia, seriam capazes de raciocinar. Ele (TURING, 1950) afirmava que: "é inteligente uma máquina que é capaz de iludir e passar por inteligente aos olhos dos homens".

 A inteligência artificial – por vezes chamada de IA - é definida como uma capacidade do sistema para interpretar corretamente dados externos, aprender a partir desses dados e utilizar essas aprendizagens para atingir objetivos e tarefas específicos através de adaptação flexível (HAENLEIN, 2019).

E, com o advento da revolução da Informação, da criação da Big Data e do desenvolvimento da Ciência de Dados, foi possível a criação de sistemas de gerenciamento de informações e tomadas de decisões baseados em técnicas de Inteligência Artificial, os quais fazem parte da chamada Indústria 4.0[9].

Nesse espeque, a Comissão de Alto Nível da União Europeia (2019), buscando definir a Inteligência Artificial em quase todos seus aspectos, leciona:

Sistemas de IA são sistemas de software (e possivelmente hardware) projetados por seres humanos que, dado um objetivo complexo, atuam na dimensão física ou digital, percebendo seu ambiente através da aquisição de dados estruturados ou não estruturados coletados, raciocinando sobre o conhecimento, ou processando as informações, derivadas desses dados e decidindo a melhor ação a ser tomada para atingir o objetivo dado. Os sistemas de IA podem usar regras simbólicas ou aprender um modelo numérico, e também podem adaptar seu comportamento analisando como o ambiente é afetado por suas ações anteriores. (HIGH-LEVEL EXPERT GROUP ON AI, Bélgica, 2019, p. 1.).

Dessa forma, resumidamente, pode-se interpretar a Inteligência Artificial como sendo um simulador automatizado do sistema humano de aprendizagem e tomada de decisão. Ou seja, é um sistema que pode ser flexível e adaptativo às circunstâncias condicionantes do ambiente, podendo se desenvolver por conta própria, similarmente ao sistema de aprendizado e de tomada de decisão humano.

3. QUAL O IMPORTÂNCIA DA INTELIGÊNCIA ARTIFICIAL NA SOCIEDADE MODERNA?

As pessoas estão se tornando cada vez mais dependentes das ferramentas que se utilizam das técnicas da Inteligência Artificial (IA), essa dependência é gerada pela existência de uma infinidade de sistemas baseados em técnicas de Inteligência Artificial que vem sendo utilizados em quase todos os setores da sociedade.

Os aplicativos de rotas, como o Google Maps e o Waze, por exemplo, são uns dos apps mais baixados do mundo. Eles são capazes de cruzar informações, por meio da IA, de vários lugares para encontrar as melhores rotas, otimizando o tempo e evitando problemas no trânsito.

O site de busca Google.com, projetado pelo Larry Page e Sergey Brin, tornou-se a principal ferramenta de busca na internet, recebendo mais de 74 bilhões em seis meses (ALEXA TOP SITES IN BRAZIL, 2020). Ele é utilizado como ferramenta de pesquisa por vários acadêmicos e pesquisadores, sendo um buscador que utiliza algoritmos inteligentes para analisar o conteúdo de sites e definir sua posição nos resultados de pesquisas. Os algoritmos trabalham fortemente para ranquear os sites mais estruturados de acordo com a pesquisa e eliminam aqueles que violam a segurança do computador (SEARCHLAB, 2020).

No campo da educação, cada vez mais instituições educacionais também vêm utilizando mecanismos baseados em Inteligência Artificial. Uma das finalidades é proporcionar aos discentes uma maior gama de facilidades no processo de aprendizagem. O renomado especialista em psicotecnologia Derrick de Kerckhove, sobre a inserção da IA nos campos escolares, diz:

Através da IA, os ambientes virtuais de aprendizagem EAD evoluíram em importantes aspectos para a aprendizagem: a facilidade do uso, interação com usuário, disponibilidade de feedback para tutor e diminuição da necessidade de encontros presenciais. (KERCKHOVE, 2003 apud SEMENSATO; FRANCELINO; MALTA, 2015, p. 35)

 Já na seara da saúde, a IA vem ajudando a ampliar o potencial e a capacidade dos profissionais da área, otimizando o tempo de atendimento aos pacientes. Através da IA, o primeiro contato do paciente com a clínica para agendamento de consultas pode ser feito sem interferência humana. Utilizando-se do conceito da computação cognitiva, é possível que a inteligência artificial realize interações com o paciente de forma humanizada, e as conversas podem ocorrer por meio de texto ou áudio, e na medida em que a IA aprende, ela adapta seu vocabulário para melhorar sua comunicação com o interlocutor, nesse caso, o paciente – esse sistema de agendamento e triagem foi utilizado por alguns estados brasileiros no combate ao covid-19. O diagnóstico médico também já vem sendo realizado por meio da IA, identificando padrões visuais e cruzando informações, mas este recurso não dispensa a avaliação do médico (CHAVES, 2020).

Ademais, não há como desassociar a tecnologia digital, e especificamente a Inteligência Artificial, do campo industrial e econômico, vez que a IA pode maximizar os lucros das empresas através da redução de custos operacionais e de dispêndio de tempo. A precisão e o pragmatismo das decisões geradas pelos sistemas automatizados podem ajudar o ser humano a priorizar a criatividade no âmbito do trabalho, em vez de prendê-lo em tarefas mecânicas.

O Poder Judiciário, igualmente, vem optando pelo uso dessa ferramenta. Pode-se citar, a título de exemplo, o Supremo Tribunal Federal que, desde 2018, vem identificando os casos de recursos extraordinários ou de agravo em recursos extraordinários com acuidade de 85%, através de um robô de inteligência artificial (NOTÍCIAS STF, 2018). Esse robô, batizado de Victor em homenagem a Victor Nunes Leal, que foi ministro do STF de 1960 a 1969, também é o principal responsável pela sistematização da jurisprudência do STF em súmulas, facilitando a aplicação dos precedentes judiciais aos casos julgados.

Assim, sem mencionar todos os campos de aplicação da IA, vez que são numerosos, nota-se que a inteligência artificial se encontra deveras presente na vida das pessoas, tanto na esfera privada quanto na pública, o que demonstra o seu nível de importância.

 4. O PROBLEMA DA REPRODUÇÃO DE DISCRIMINAÇÕES PELOS SISTEMAS DE TOMADA DE DECISÕES BASEADOS EM INTELIGÊNCIA ARTIFICIAL

O problema da utilização das técnicas da Inteligência Artificial repousa na possiblidade de contaminação desse sistema por vieses humanos, o que pode acarretar a reprodução de discriminações, vez que ao passo que a machine learning vai detectando padrões nos dados para fazer previsões, vão surgindo padrões que não representam necessariamente a realidade. Esses padrões são de uma versão derivada da mineração de dados, onde se inclui os vieses e preconceitos humanos refletidos nos dados, no sistema de autoaprendizagem ou no modelo aprendido (KAMARINOU, MILLARD, SINGH, 2016).

É, portanto, dessa maneira que surgem decisões automatizadas que, sem justificativas além do preconceito construído pela sociedade e programado pelos algoritmos, atentam contra o direito ao tratamento igualitário, a não discriminação, à saúde, à segurança e a outros direitos fundamentais.

Segundo Bruno Bioni, Rafael Zanata e Mariana Rielli (2020, p.19), em 2019, a UNESCO produziu o documento Artificial Intelligence in Education: challenges and opportunities for sustainable development. A pesquisa foi liderada por Francesc Podró (2019), do setor de Education Policy da UNESCO. De acordo com o relatório da UNESCO, embora a IA tenha muitas aplicações positivas, também existem preocupações sociais e éticas que devem ser abordadas. No relatório, eles apontam:

Cada vez mais instituições educacionais estão usando algoritmos de Machine Learning para aceitar ou rejeitar alunos. Dois problemas em potencial com essa abordagem incluem: (i) falta de explicabilidade. Algumas técnicas de aprendizado de máquina (por exemplo, Deep Learning) não podem explicar facilmente por que certos alunos são aceitos, enquanto outros são rejeitados. Um aluno rejeitado deve ter o direito de entender 52 O'NEIL, Cathy. Weapons of math destruction: How big data increases inequality and threatens democracy. New York: Broadway Books, 2016, p. 11. 20 esses motivos? (ii) discriminação injusta. Quando os algoritmos de aprendizado de máquina são treinados em um determinado conjunto de dados (digamos com estudantes de um país da Europa Ocidental), o resultado pode não ser diretamente aplicável a estudantes de outras partes do mundo. O conjunto de dados de treinamento pode ser tendencioso em relação a um determinado grupo e, portanto, pode discriminar injustamente quando usado em um grupo diferente. (PEDRÓ, 2019, p. 32-33).

No Estado de Wisconsin, nos Estados Unidos da América, um sistema baseado em Inteligência Artificial chamado de Compas (Correctional Offender Management Profiling For Alternative Sanctions), vinha sendo utilizado para determinar o grau de periculosidade de criminosos. A aplicação da pena varia de acordo com o grau de periculosidade encontrado pelo sistema Compas (KAUFMAN, 2017).

Contudo, um estudo realizado pelo jornal ProPublica detectou que o sistema Compas era racialmente enviesado, porquanto, após reunir e analisar os dados de 7 mil pessoas presas no condado de Broward, na Flórida, constatou-se que o sistema classificava pessoas negras com alta pontuação de periculosidade, enquanto que pessoas brancas eram classificadas com baixa pontuação de periculosidade. No estudo também foi detectado que as pessoas negras classificadas como de alta periculosidade pelo sistema não voltavam a cometer crimes e, inversamente, as pessoas brancas classificadas com baixa periculosidade voltavam a cometer (BBC NEWS BRASIL, 2016).

Em 2015, um aplicativo de fotos da Google classificou imagens de pessoas negras como gorilas, e com a identificação de que mulheres têm menos chance do que homens de encontrarem, em sites de busca, oportunidades de emprego com altos salários (LOPES, MORAES, PEREIRA, 2019).

Outro caso emblemático foi o do robô de Inteligência Artificial, criado pela Microsoft em 2016, conhecido como Tay. Quando Tay foi liberado no Twitter, para que interagisse de forma descontraída com os demais usuários do microblog, em menos de 24 horas, ele passou de um inocente robô para um robô racista, transfóbico e insuportável, desferindo palavras ofensivas e fazendo apologia a Hitler. Frases como “Eu odeio feministas pra car@lho, e todas elas deveriam morrer e arder no inferno” e “Hitlet estava certo. Eu odeio judeus” foram publicadas pelo robô Tay (TECMUNDO, 2016).

Portanto, existe um conjunto de evidências substancial e crescente que demonstra como sistemas de máquinas de autoaprendizagem podem contribuir para práticas discriminatórias ou repressivas em geral, quando utilizados sem as necessárias salvaguardas.

Destarte, é perceptível que os sistemas de tomadas de decisões, baseados em Inteligência Artificial, são completamente passíveis de cometerem discriminações e afrontar os direitos mais fundamentais dos cidadãos, o que faz com que o tema da exigibilidade da revisão humana das decisões automatizadas seja extremamente importante para que as pessoas possam o ter o direito de evitar qualquer prejuízo advindo do tratamento discriminatório. 

5. A AUSÊNCIA DE EXIGIBILIDADE DE REVISÃO HUMANA DAS DECISÕES AUTOMATIZADAS NA LEI GERAL DE PROTEÇÃO DE DADOS (LGPD) BRASILEIRA EM RELAÇÃO AO REGULAMENTO GERAL SOBRE PROTEÇÃO DE DADOS (RGPD) EUROPEU

Conforme mencionado alhures, a Lei n. 13.709/2018 (Lei Geral de Proteção de Dados) foi fortemente influenciada pelo Regulamento Geral sobre a Proteção de Dados (RGPD) europeu. Contudo, na lei de proteção de dados brasileira existem inúmeros pontos de divergências em relação ao referido regulamento europeu, dentre os quais o que trata sobre a inexigibilidade de revisão humana das decisões automatizadas.

No art. 22 do Regulamento Geral sobre a Proteção de Dados (RGPD) europeu é prevista a possibilidade de intervenção humana quanto à revisão das decisões automatizadas. Já no art. 20 da LGPD brasileira, que versa sobre o assunto, não há nenhuma menção à obrigatoriedade de revisão ser realizada por pessoa natural, senão vejamos:

Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.      (Redação dada pela Lei nº 13.853, de 2019)      Vigência

§ 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.

§ 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.

§ 3º (VETADO). (BRASIL, 2018)

Contudo, é importante lembrar que no texto original da Lei n. 13.709/2018 (LGPD), devidamente aprovado pelo Congresso Nacional, existia a previsão explícita da obrigatoriedade da revisão das decisões automatizadas serem realizadas por pessoa natural, mas a Medida Provisória 869/2019 suprimiu tal trecho.

Após debate realizado na audiência pública de 16 de abril de 2019 acerca da necessidade de restauração da revisão por pessoa natural, o Congresso Nacional aprovou a Lei n. 13.853/2019, que previa a revisão humana no §3º do art. 20 da LGPD nos seguintes termos:

§3º A revisão de que trata o caput deste artigo deverá ser realizada por pessoa natural, conforme previsto em regulamentação da autoridade nacional, que levará em consideração a natureza e o porte da entidade ou o volume de operações de tratamento de dados. (BRASIL, 2019)

O Congresso Nacional, com a edição do §3º do art. 20 da LGPD, buscava relativizar a revisão humana para algumas entidades - como, por exemplo, as startups - a fim de diminuir a sua onerosidade desproporcional.

No entanto, ainda que de forma relativizada, a obrigatoriedade da revisão humana foi encarada pelo Executivo Federal como contrária ao interesse público, pelo que teve o seu veto declarado no que se refere ao §3º do art. 20 da LGPD. O Executivo Federal expôs dois motivos para o veto, conforme Mensagem de n. 288/2019, sendo o primeiro baseado no argumento de que a obrigatoriedade da revisão humana inviabilizaria modelos de negócios de várias empresas e o segundo no argumento de que essa revisão humana poderia impactar na análise de risco de crédito aos consumidores e de novos modelos de negócios de instituições financeiras (BRASIL, 2019).

Em razão do veto do Executivo Federal, chegou-se a ser discutida no Congresso Nacional a derrubada do veto. Entretanto, embora a maioria dos votantes do Congresso tenha votado pela derrubada do veto, ele foi mantido, porque, para que a derrubada do veto ocorresse era necessário que a maioria absoluta dos membros votasse a favor da derrubada, totalizando um total de 41 votos no Senado e 257 na Câmara. Enquanto na Câmara a votação atingiu o número de 261 votos pela derrubada, contra 163, no Senado Federal a decisão pela derrubada não aconteceu por um voto (SILVA, MEDEIROS, 2019).

Assim, no texto atual da Lei n. 13.709/2018 (LGPD), diferentemente do que ocorre com o Regulamento Geral sobre Proteção de Dados (RGPD), não há a previsão da obrigatoriedade da revisão ser feita por pessoa natural, fazendo com que a revisão no geral seja inócua, pois, de acordo com a legislação atual, a revisão poderá ser feita por outra máquina igualmente maculada por vieses humanos.

6. A NECESSIDADE DE PREVISÃO DE REVISÃO HUMANA DAS DECISÕES AUTOMATIZADAS NA LGPD PARA GARANTIR A EFICÁCIA DOS DIREITOS DE IGUALDADE E NÃO DISCRIMINAÇÃO

O direito de revisão humana é extremamente relevante não só para a as decisões proferidas por particulares, mas também pelas proferidas pelos entes públicos. Como mencionado no capítulo 3, tanto as pessoas jurídicas de direito privado como o poder público vêm se utilizando dos sistemas de autoaprendizagem baseados em inteligência artificial.

Nesse sentido, segundo o parecer do o Parecer do Relator Orlando Silva, emitido na Câmara Federal, em 2019, os argumentos principais para o retorno da revisão humana são:

(i) a retirada da pessoa humana enfraqueceria o exercício dos direitos humanos, de cidadania e do consumidor previstos no art. 2º, VI e VII da LGPD;

(ii) a interação de pessoas com deficiência de julgamento ou falta experiência com controladores seria dificultada, pois a inexistência de contato com revisores humanos poderia levar a práticas abusivas;

(iii) que os algoritmos que processam os dados são baseados em cálculos probabilísticos e estatísticas e que, por não englobarem o universo dos titulares e seus comportamentos, poderiam levar a erros e desvios padrões, já que se baseiam apenas em amostras e intervalos de confiança, além de estarem sujeitos a incorreções próprias do desenvolvimento tecnológico;

(iv) que a retirada vai de encontro ao que prevê a (colocar o nome completo do ato normativo e depois a Regulamentação Geral de Proteção de Dados – GDPR europeia (equivalente à LGPD brasileira) em seu art. 22, o que poderia dificultar a integração comercial e a geração de oportunidades e investimentos (BRASIL, 2019).

Tem-se, também, segundo DONEDA (2006), que a revisão humana é essencial para o efetivo exercício do direito à autodeterminação informativa, concebido como direito fundamental e norteia a proteção de dados pessoais por proporcionar ao indivíduo o controle sobre suas próprias informações.

No entanto, não só as pessoas físicas podem sofrer com a ausência de previsão de revisão humana na LGPD, o setor empresarial também pode sofrer prejuízos a médio ou longo prazo, pois o Brasil tem sido um o Estado Nacional central no processo de aprovação do acordo de livre comércio entre o Mercosul e a União Europeia. Porém, esse acordo pode ser atingido com a existência de descompatibilidade entre o modelo regulatório de proteção de dados brasileiro e o europeu (LOPES, MORAES, PEREIRA, 2019, Op cit).

É importante mencionar que a atual Lei n. 13.709/2018 (LGPD) não proíbe a realização de revisão por pessoa física, mas não a obriga. Esse vácuo legislativo pode ser preenchido com a regulamentação de pontos da LGPD pela Agência Nacional de Proteção de Dados (ANPD), como é o caso das formas de sanções administrativas.

Mas, como até o presente momento a ANPD não foi implantada e como o Governo Federal vem demonstrando que a subordinará à Casa Civil (SCOFIELD, 2020), essa alternativa de regulamentação de pontos obscuros da LGPD pela ANPD - como o da revisão humana – provavelmente não passará a existir.

Portanto, resta claro que é extremamente importante que as legislações brasileiras sobre proteção de dados prevejam a obrigatoriedade de revisão humana das decisões automatizadas. O caráter é de urgência, porque, além de resguardar os direitos fundamentais das pessoas, a LGPD deve se adequar aos regulamentos dos parceiros econômicos para que o Brasil não sofra perdas significativas.

CONCLUSÃO

Como demonstrado neste trabalho, o processo de informatização do mundo vem gerando grandes impactos no modo de viver das pessoas, sobretudo, no que diz respeito à proteção de dados e ao processo de tomada de decisão, pois trata-se de matérias que estão diretamente ligadas aos direitos fundamentais da liberdade, igualdade, autodeterminação informativa e não-discriminação – direitos imprescindíveis para a realização da pessoa humana.

Mas, como verificado, a prevenção e a fiscalização desses direitos não são fáceis quando se trata do ciberespaço, pois, além da intangibilidade das informações e dos vácuos regulatórios, há dificuldade na definição de jurisdições, pois os agentes que atuam nesse campo podem estar em Estados Nacionais ou continentes diferentes. Em verdade, somente após a explosão de grandes polêmicas a respeito de assuntos políticos de extrema relevância, como o mencionado caso da Cambridge Analytica, que os países buscaram criar regulamentos mais específicos sobre proteção de dados.

Por outro lado, a inteligência artificial também vem tendo grande repercussão na vida das pessoas, vez que inúmeros sistemas preditivos baseados em técnicas de IA estão sendo utilizados, tanto no setor privado quanto no público, para cruzar informações pessoais e prolatar decisões que podem interferir na dignidade da pessoa humana. Esses sistemas, definidos como simuladores do sistema humano de aprendizagem e tomada de decisão, embora pareçam opacos e imparciais, vêm demonstrando que podem ser maculados por vieses humanos, como o preconceito. A consequência do enraizamento do preconceito construído pela sociedade e programado pelos algoritmos é a propagação da discriminação, conforme verificou-se nesta pesquisa.

Porém, em que pese haja patente fonte de informação para comprovar que esses sistemas podem ser prejudiciais às garantias fundamentais, quando enviesados pelo preconceito humano, alguns Estados como o Brasil vem optando por não reconhecer a importância da revisão humana das decisões automatizadas, sob o subterfúgio de que essa revisão inviabilizaria modelos de negócios de várias empresas e prejudicaria a análise de risco de crédito aos consumidores e os novos modelos de negócios de instituições financeiras.

Dessa forma, posta a Lei Geral de Proteção de Dados sob análise, considerando todo o exposto sobre os direitos fundamentais; a inteligência artificial; a LGPD brasileira e o regulamento europeu sobre proteção de dados (GDPR), o qual é referência sobre o assunto; ao fim desde trabalho, concluiu-se que a ausência de previsão de revisão humana na legislação brasileira pode ocasionar sérios desrespeitos aos direitos fundamentais, principalmente em relação à prática de discriminação, assim como gerar prejuízos econômicos para o país já que o regulamento brasileiro não se encontra compatível com os regulamentos de seus parceiros comerciais.

REFERÊNCIAS

BOBBIO, Norberto. A Era dos Direitos. 1 ed. 12. tir. Rio de Janeiro: Campus, 1992, p. 5..

BRASIL. Constituição (1988). Constituição da República Federativa do Brasil. Brasília, DF: Senado Federal: Centro Gráfico, 1988.

BRASIL. Lei n. 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm> Acesso em: 27 de julho de 2020.

BRASIL. Lei n. 13.853, de 8 de julho de 2019. Altera a Lei nº 13.709, de 14 de agosto de 2018, para dispor sobre a proteção de dados pessoais e para criar a Autoridade Nacional de Proteção de Dados; e dá outras providências. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/lei/l13853.htm> Acesso em: 10 de julho de 2020.

BRASIL. Mensagem Nº 288, de 8 de julho de 2019. Presidência da República.
Secretaria-Geral Subchefia para Assuntos Jurídicos. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/Msg/VEP/VEP-288.htm> Acesso em: 29 de setembro de 2020.

BRASIL. Parecer n. 1, de 2019. Congresso Nacional. Disponível em: <https://legis.senado.leg.br/sdleg-getter/documento?dm=7948833&ts=1559172281928&disposition=inline> Acesso em: 29 de setembro de 2020.

CASTELLS, M. A era da informação – economia, sociedade e cultura, Vol. I. A sociedade em rede. São Paulo: Paz e Terra, 1999.

CHAVES, Nactacha. Inteligência artificial na saúde para transformar a jornada do paciente. Pixeon, 2020. Disponível em: <https://www.pixeon.com/blog/inteligencia-artificial-na-saude-2/>. Acesso em: 3 de setembro de 2020.

CUNHA JÚNIOR, Dirley da. Curso de Direito Constitucional. 2.ed. Salvador: Juspodivm, 2008. p. 573.

DONEDA, Danilo. Da Privacidade à Proteção de Dados Pessoais. Rio de Janeiro: Renovar, 2006. P. 196.

Entenda os algoritmos do google e como atuam no seo. SEARCH LAB, 2020. Disponível em: <https://searchlab.com.br/algoritmos-do-google/>. Acesso em: 20 de agosto de 2020.

FERRAJOLI, Luigi. Derechos y garantias: la ley del más débil. Tradução para o espanhol: Perfecto Andrés Ibánez e Andrea Greppi. Madri: Editorial Trotta, 2004. P.37.

FERREIRA FILHO, Manoel Gonçalves. Curso de direito constitucional. 39.ed. São Paulo: Saraiva, 2013.

HAENLEIN, M.; KAPLAN, A., A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence. SAGE, 2019.

HIGH-LEVEL EXPERT GROUP ON AI, Bélgica, 2019, p. 1.

Inteligência Artificial: Trabalho judicial de 40 minutos pode ser feito em 5 segundos. NOTÍCIAS STF, 2018. Disponível em: <http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?idConteudo=393522>. Acesso em: 3 de setembro de 2020.

KAMARINOU, Dimitra; MILLARD, Christopher; SINGH, Jatinder. Machine Learning with Personal Data. Queen Mary School of Law Legal Studies Research Paper, n. 247, 2016.

KAUFMAN, Dora. A ética e a inteligência artificial. Valor econômico, 2017. Disponível em: <https://valor.globo.com/eu-e/noticia/2017/12/21/a-etica-e-a-inteligencia-artificial.ghtml>. Acesso em: 2 de agosto de 2020.

LOPES, Alexandra. MORAES, Thiago. PEREIRA, José. A (ausência da) intervenção humana na revisão de decisões automatizadas. Jota, 2019. Disponível em: <https://www.jota.info/opiniao-e-analise/artigos/a-ausencia-da-intervencao-humana-na-revisao-de-decisoes-automatizadas-13102019>. Acesso em: 5 de agosto de 2020.

LOPES, Alexandra. MORAES, Thiago. PEREIRA, José. Op cit.

O ‘Brexit’ não teria acontecido sem a cambridge analytica. El País, 2020.Disponível em: <https://brasil.elpais.com/brasil/2018/03/26/internacional/1522058765_703094.html> Acesso em: 22 de julho de 2020.

PEDRÓ, Francesc. Artificial intelligence in education: challenges and opportunities for sustainable development. Paris: UNESCO, 2019, p. 32-33. Disponível em: <https://unesdoc.unesco.org/ark:/48223/pf0000366994> . Acesso em: 15 de setembro de 2020.

PILLAY, Navi. A luta contra a discriminação no dia Internacional dos Direitos Humanos. United Nations Office on Drugs and Crime, 2020. Disponível em: <https://www.unodc.org/lpo-brazil/pt/frontpage/2009/12/10-a-luta-contra-a-discriminacao-no-dia-internacional-dos-direitos-humanos.html>. Acesso em: 16 de outubro de 2020.

SCOFIELD, Laura. Decreto de Bolsonaro pode deixar lei de proteção de dados na mão dos militares, diz especialista. Publica, 2020. Disponível em: <https://apublica.org/2020/09/decreto-de-bolsonaro-pode-deixar-lei-de-protecao-de-dados-na-mao-dos-militares-diz-especialista/>. Acesso em: 05 de outubro de 2020.

SEMENSATO, R. FRANCELINO, A. MALTA, S. O uso da inteligência artificial na educação à distância. Revista Cesuca Virtual: Conhecimento sem Fronteiras, 2015.

SILVA, Jorge Cesa Ferreira da. Antidiscriminação e contrato: a integração entre proteção e autonomia. 1. ed. São Paulo: Thomson Reuters Brasil, 2020.

SILVA, José Afonso. Curso de Direito Constitucional Positivo, 22.ed. São Paulo: Malheiros, 2003, p. 222.

SILVA, José Afonso. Curso de Direito Constitucional positivo. 25. ed. São Paulo: Malheiros Editores, 2005, p.178.

SILVA, Priscila. MEDEIROS, Juliana. A polêmica da revisão (humana) sobre decisões automatizadas. Its feed, 2019. Disponível em: < https://feed.itsrio.org/a-pol%C3%AAmica-da-revis%C3%A3o-humana-sobre-decis%C3%B5es-automatizadas-a81592886345>. Acesso em: 30 de setembro de 2020.

Sistema de algoritmo que determina pena de condenados cria polêmica nos EUA. BBC NEWS BRASIL, 2016. Disponível em: <https://www.bbc.com/portuguese/brasil-37677421>. Acesso em: 5 de agosto de 2020.

Tay: Twitter conseguiu corromper a IA da Microsoft em menos de 24 horas. TECMUNDO, 2016. Disponível em: <https://www.tecmundo.com.br/inteligencia-artificial/102782-tay-twitter-conseguiu-corromper-ia-microsoft-24-horas.htm>. Acesso em: 5 de agosto de 2020.

The top 500 sites on the web. Alexa Top Sites In Brazil, 2020. Disponível em: <https://www.similarweb.com/pt/website/google.com/>. Acesso em: 17 de agosto de 2020.

THE TORONTO DECLARATION: protecting the rights to equality and non-discrimination in machine learning systems. Canadá, 2018, parágrafo 16.

THE TORONTO DECLARATION: protecting the rights to equality and non-discrimination in machine learning systems. op. cit., parágrafo 26.

TURING, Alan Mathison. Computing machinery and intelligence. Mind, n. 59, 1950.