RESUMO: O presente artigo realiza uma análise sobre os riscos que podem surgir ante o aumento da utilização de inteligência artificial nos mais diversos setores da sociedade, notadamente quando essas tecnologias não são desenvolvidas sob uma perspectiva responsável voltada à prevenção de danos aos direitos dos usuários. Para tanto, o artigo analisa conceitos importantes dentro do contexto de inteligência artificial e da chamada discriminação algorítmica. Apresenta-se, ainda, exemplos em que vieses discriminatórios promoveram verdadeiras violações aos direitos humanos. Por fim, são analisadas possíveis soluções para que o desenvolvimento dessas tecnologias se dê de forma mais responsável e transparente.

PALAVRAS-CHAVE: inteligência artificial; discriminação algorítmica; direitos humanos; vieses discriminatórios.

ABSTRACT: This article performs an analysis of the risks that may arise with the increasing use of artificial intelligence in various sectors of society, particularly when these technologies are not developed with a responsible perspective aimed at preventing harm to user rights. Therefore, the article examines important concepts within the context of artificial intelligence and the so-called algorithmic discrimination. It also presents examples where discriminatory biases have led to real violations of human rights. Finally, possible solutions are analyzed to ensure the development of these technologies occurs in a more responsible and transparent manner.

KEYWORDS: Artificial intelligence; algorithmic discrimination; human rights; discriminatory biases.

1 INTRODUÇÃO

Nos últimos anos, o avanço da tecnologia tem ocasionado mudanças consideráveis em nossa sociedade, verifica-se uma busca constante pela adoção de sistemas de inteligência artificial, cada vez mais evoluídos, em diversos setores, com a perspectiva de otimização de procedimentos e de seus resultados.

Essa incessante busca por eficiência, acaba por tornar a sociedade cada vez mais estruturada em decisões e processos automatizados, gerados a partir de algoritmos criados com o pretexto de simplificar a vida humana.

A revolução tecnológica tem sido responsável por inúmeras transformações na sociedade, e a ciência jurídica não ficou imune a essas mudanças.

Contudo, através do presente artigo, pretende-se alertar para a possibilidade de que esses sistemas possam apresentar distorções, perpetuando preconceitos e desigualdades existentes em nossa sociedade.

Nesse contexto, intenta-se realizar uma reflexão acerca dos riscos que podem advir da utilização dessas tecnologias, com o intuito de discutir formas de prevenção de violações aos direitos das pessoas e a um tratamento de dados transparente quando da elaboração das dessas ferramentas.

2 A UTILIZAÇÃO DE INTELIGÊNCIA ARTIFICIAL NO SISTEMA JURÍDICO

2.1 Conceitos introdutórios

De modo geral, quando se fala em “inteligência artificial” e todos os conceitos que a circundam é comum a associação deste fenômeno a uma espécie de “pensar” humano, associando-se o aprendizado da máquina a um “raciocínio” otimizado.

Esta abordagem, corresponde ao que chamamos de “inteligência artificial geral”, o que, em linhas gerais, pode ser conceituada como a tentativa de emular a mente humana para se atingir um comportamento autônomo, independente e proativo[1].

Todavia, as tecnologias do nosso dia à dia, estão mais relacionadas ao que se denomina “inteligência artificial estreita”, mais restrita, porquanto corresponde à otimização de tarefas mais simples e corriqueiras.

Sob esta perspectiva, a impressão gerada pela ideia de que se está trabalhando com a inteligência artificial geral, no sentido de que esses mecanismos otimizadores, ao apresentar um determinado resultado, desenvolveram um raciocínio totalmente independente, encontrando a melhor solução para determinado problema é equivocada, uma vez que, de modo geral, as ferramentas disponíveis atualmente se ligam mais ao conceito da inteligência artificial estreita, reproduzindo o resultado de comandos pré-determinados.

A despeito do equívoco, há uma supervalorização dos resultados obtidos com o uso de tais ferramentas, porquanto imagina-se que estes são mais fidedignos, livres de vieses e ideologias que poderiam ser apresentados por agentes humanos, em uma mesma situação.

A ideia de uma máquina infalível e a “mágica” acaba por criar um respaldo geral de que dados e resultados apresentados por tais ferramentas são revestidos de maior confiabilidade e possuem maior precisão, acuidade e imparcialidade. 

No que diz respeito às atividades jurídicas, a busca pela celeridade das demandas judiciais, somada à atual massa de processos judiciais ativos[2], bem como à crescente demanda por tais sistemas pelo poder judiciário, torna por impulsionar a adoção de otimizações tecnológicas.

Nesse caminho de modernização, é possível imaginar uma série de ferramentas que, de fato, poderiam facilitar a atividade jurisdicional, tanto na esfera pública, quanto na privada, todavia, é necessário tomar algumas precauções e debater os limites e as necessidades de sua utilização.

Sobre o ponto, disserta Alexandre Rodrigues Atheniense[3]:

No meu entendimento, seres humanos não serão inferiores em tudo se comparados aos sistemas de inteligência artificial. Ao contrário, ambos agregarão talentos, cada um se destacando mais que o outro. Se, por um lado, os humanos se sobressaem no senso comum, moral, imaginação, abstração, dilemas, sonhos e generalização, os sistemas de inteligência artificial propiciam mais acurácia em identificação de padrões, linguagem natural, machine learning, eliminação de preconceitos e capacidade de tratamento de grandes volumes de dados.

Em outras palavras, os computadores serão capazes de guardar mais informações que os seres humanos, além de identificarteses jurídicas predominantes pelos tribunais em menortempo, mas isso não significa dizer que terão saídas mais criativas do que nós. Portanto, unir esses talentos é a verdadeira solução para se alcançar êxitos mais contundentes.

Assim, embora a substituição do profissional humano pela tecnologia seja um dos pontos de preocupação comumente levantados quando se discute o rápido avanço das inteligências artificiais, pensa-se que, ao menos em um futuro próximo, essas tecnologias ainda não serão capazes de substituir de forma integral a atuação humana na esfera jurídica, sendo utilizadas em conjunto e de modo auxiliar ao profissional jurídico.

A despeito disso, à medida em que os estímulos para a utilização de algoritmos e processamento de dados como ferramentas para tomada de decisão crescem, a discussão em torno das implicações para os indivíduos e seus riscos associados torna-se premente.

2.2 O Problema dos vieses discriminatórios: discriminação algorítmica

Quando se debate a utilização de tais tecnologias como instrumentos de auxílio ao trabalho jurídico, majoritariamente, está-se a discutir a utilização de técnicas e algoritmos computacionais que, a partir de um conjunto prévio de dados e informações, são capazes de gerar soluções aos problemas apresentados a este meio.

O termo algoritmo, de forma sintética, pode ser definido como um conjunto sequencial de passos, organizados e descritos com o intuito de completar uma determinada tarefa proposta. Sob um viés prático, um algorítimo pode ser entendido como parte de um processo de solução de um problema específico através de operações computacionais[4].

Embora o conceito abarque termos mais amplos e possa ser aplicado a situações diversas, para o propósito debatido no presente artigo, o algoritmo pode ser tratado como uma tecnologia cujo objetivo é auxiliar na solução de problemas e automatizar decisões.

Trata-se, portanto, de um conjunto de procedimentos utilizados para que, através de uma análise de dados apresentados pelo usuário, chegue-se a um determinado resultado.

No ponto, para fins didáticos e elucidar seu funcionamento, reproduzo explicação utilizada por Laura Schertel Mendes e Marcela Mattiuzo:[5]

Quando se busca, por exemplo, por voos de São Paulo para Berlim, busca-se resposta para uma pergunta. Mais ainda, o que se quer é encontrar a resposta correta para aquela questão. Aqui, novamente, nos deparamos com uma particularidade dos algoritmos: o programa será tanto mais útil quanto mais precisa a informação (ou input) fornecida, e estará correto sempre que utilizar essa informação de acordo com suas especificações. Assim, ao buscar o “melhor” voo de São Paulo para Berlim, o algoritmo precisará saber se por “melhor” queremos dizer “mais curto” ou “mais barato”. Se o algoritmo é programado para encontrar a rota mais curta, em termos de quilômetros viajados, poderá considerar que o tempo gasto em um aeroporto aguardando um voo de conexão é irrelevante, e poderia, assim, oferecer uma resposta que, apesar de incorreta com relação às nossas preferências (é razoável admitir que para a maior parte das pessoas tempo gasto em conexões é um fator relevante na decisão de rota de viagem), é correta do ponto de vista do programa. O problema, nesse caso, não é com o algoritmo em si, mas sim com as especificações a ele fornecidas.

Repisa-se, por oportuno, que o algoritmo, por si, não possui o que poderíamos chamar de “inteligência”, do ponto de vista humano, haja vista que, ao contrário do que comumente se imagina, suas respostas não partem de sua própria capacidade analítica, mas decorrem de uma análise de padrões e probabilidades a partir de dados previamente fornecidos (inputs).

Dito de outro modo, esses sistemas apenas são responsáveis por reger informações que lhes foram previamente repassadas, de acordo com o que for definido em fórmulas matematicamente destinadas ao propósito estabelecido ao programa[6].

A partir daí conclui-se que a qualidade dos resultados apresentados pelo programa está intimamente relacionada aos dados utilizados quando da elaboração de determinado programa.

Dessa forma, ao contrário da pregada neutralidade, um determinado algoritmo pode ser carregado por vieses adquiridos a partir dos dados utilizados, que podem não ser representativos da realidade, ou mesmo apresentar relações imprecisas de causalidade. Dessa forma, quando o algoritmo não for treinado para identificar e corrigir esses desbalanceamentos, e testado de forma exaustiva para anular eventuais equívocos, pode não funcionar apropriadamente, ou, de forma mais grave, reproduzir conceitos enviesados e discriminatórias.

Nesse sentido, ao falar sobre “racismo online”, Tarcízio Silva[7] chama atenção ao fato de que microagressões[8] são reproduzidas de forma algorítmica em base de dados, interfaces e dinâmicas de recomendação de conteúdo, o que reforça e facilita manifestações de racismo.

Os exemplos identificados pela comunidade são inúmeros, e os mais diversos, abrangendo desde disfunções em softwares de “saboneteiras inteligentes”[9],  anúncios de publicidade[10], mecanismos de recrutamento[11], dentre outros.

Dentro da esfera jurídica, um dos exemplos de ferramenta mais citados é o Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), criada em 1998 e utilizada nos Estados Unidos para gerenciamento de penitenciárias, apresentava uma classificação dos detentos pelo espectro de risco de forma racialmente enviesada, e era usado para determinar a sua probabilidade de reincidência, influenciando as decisões dos magistrados.

Um estudo realizado pelo ProPública[12], constatou que o score de avaliação de risco do programa apontava que pessoas negras eram avaliadas com riscos de reincidência maiores, em uma frequência superior, quando comparadas às pessoas brancas. Embora a empresa responsável pelo software tenha negado a disfunção e que a raça fosse uma variável introduzida nos dados analisados por esse algoritmo, a análise realizada pelo ProPública mostrou que os scores apresentavam um viés racial.

Alguns dos problemas citados pela utilização dos referidos mecanismos, notadamente na esfera do Direito Penal, é a potencialidade lesiva de tais decisões.

Vale dizer, a partir do momento que essas tecnologias são pensadas como uma forma de otimizar o desenvolvimento de determinada atividade padronizada, o que se busca em verdade é sua utilizadas em larga escala. Assim, eventual injutiça produzida por um software enviesado, notadamente quando aplicada em um sistema público de justiça, atingiria o direito à liberdade de uma imensurável quantidade de pessoas.

O respaldo social que os resultados eventualmente apresentados por essas tecnologias, partindo do imaginário de sua neutralidade e fidedignidade, contribuiriam para dificultar a correção dos referidos desbalanceamentos.

Um exemplo a ser citado é o caso de Eric Looms[13], ocorrido no Estado de Wisconsin, que recebeu uma sentença de seis anos de prisão em razão de ter lhe sido atribuído um alto score de risco de reincidência no programa COMPAS. Os advogados de Looms questionaram a utilização do referido sistema, ao argumento que a falta e informações acerca de seus métodos dificulta a defesa do réu, bem como que o uso da ferramenta era discriminatória e violava o direito a sentença individualizada.

A despeito dos argumentos da defesa, o recurso fora negado. O entendimento do Supremo Tribunal fora firmado no sentido de que o COMPAS é apenas uma ferramenta de auxílio à decisão judicial e, como tal, não é determinante para condenação do apenado, tendo o mesmo valor que as demais provas colacionadas aos autos.

O exemplo do COMPAS é apenas um indicativo de como esses algoritmos, quando usados de forma descriteriosa, podem violar o direito humano ao devido processo legal, conduzido de forma juta e equitativa, bem como à ampla defesa, haja vista que o acusado não consegue se defender do score atribuído.

Quando utilizamos sistemas como o COMPAS para automatizar decisões que envolvem o Direito Penal, de modo geral, colocamos a estruturação do sistema punitivo em um paradigma de análise de risco, como se esta ciência pudesse ser mensurada de forma matemática ou autorial.

O estudo do crime, longe de se tratar de uma matéria precisa, como por exemplo são as ciências naturais, abrange uma construção social, possuindo um nível de complexidade elevado.

Para além, ao contrário do que se acredita, os algoritmos não são mecanismos neutros que analisam situações, com raciocínio próprio, de forma justa e imparcial. Ao revés, quando aplicados de forma cega e negligente essas tecnologias tendem a repetir os padrões presentes na nossa sociedade, de forma a automatizar a estrutura já existente, com todas as suas disparidades.

As distorções causadas pelos vieses inseridos nesses softwares são ainda mais graves quando ocorrem no mundo jurídico, notadamente quando utilizados para predições que irão determinar a liberdade e o direito das pessoas. Em um contexto jurídico, decisões automatizadas de forma inconsequente podem reproduzir os vícios estruturais da nossa sociedade e suas realidades discriminatórias.

2.3 Design voltado à proteção dos Direitos Humanos

A despeito dos problemas apresentados, a utilização de softwares de inteligência artificial, quando desenvolvidos e testados exaustivamente a fim de corrigir eventuais inconsistências, pode, de fato, contribuir para o desenvolvimento da sociedade e, igualmente, para maior eficiência na atividade jurídica, notadamente quando aplicado ao cumprimento de tarefas simples.

Para além, não há como frear o avanço destas tecnologias, o que torna urgente a discussão acerca de formas de minimizar os riscos de sua utilização.

Uma proposta que possui alto potencial de proporcionar mudanças nesses aspectos diz respeito à incorporação de um design responsável, voltado para os Direitos Humanos, no ciclo de desenvolvimento das tecnologias.

No ponto, em 2011 com o intuito de orientar as relações entre empresas e direitos humanos, o Conselho de Direitos Humanos das Nações Unidas aprovou o Guiding Principles On Business And Human Rights^[14] ou “Princípios Orientadores entre Empresas e Direitos Humanos”, também chamados de “Princípios de Ruggie”. O documento tem como finalidade fornecer diretrizes para as empresas e setores econômicos sobre a implementação e proteção desses direitos.

Essa abordagem propõe que a criação de tais mecanismos também seja orientada por tais princípios, no sentido de que, ao criar essas tecnologias, seus desenvolvedores reflitam sobre os impactos do produto que está sendo criado, com o intuito de prevenir e mitigar danos que possam ser causados pela sua utilização.

Nesse contexto, desde a concepção da nova tecnologia, seus designers devem analisar, para além das funcionalidades técnicas que naturalmente são estudadas nessa fase, o potencial violador de direitos, tomando providências para evitar possíveis danos identificados.

Além de todas as precauções, as empresas devem elaborar mecanismos eficazes de reparação dos danos, caso Direitos Humanos sejam, de fato, violados.

Noutra via, além de uma proposta com relação à forma de pensar e construir as referidas tecnologias, é necessário que se tenha maior transparência com relação aos seus métodos, para que possam ser identificadas eventuais diretrizes enviesadas, possibilitando sua correção.

Há ainda necessidade de que o Estado desempenhe seu papel regulador, para enfrentar os interesses particulares e proteger os direitos envolvidos.

No ponto, em 2016, com a promulgação da Lei por uma República Digital^[15], na França instituiu-se o princípio da transparência dos algoritmos, de forma que um cidadão poderá demandar esclarecimentos ao poder público, quando este adotar sistemas algorítmicos para embasar suas decisões^[16].

No Brasil, a Lei Geral de Proteção de Dados possibilita ao titular dos dados o direito de solicitar a revisão de decisões tomadas com base em tratamento automatizado de dados^[17], podendo solicitar esclarecimentos com relação aos algoritmos utilizados.

Dessa forma, a LGPD também estatuí o princípio da transparência em seu corpo, possibilitando, ao menos na esfera pública, que decisões automatizadas sejam questionadas. Todavia, ainda se discute se esta regulamentação seria suficiente para combater a discriminação algorítmica, dada a sua complexidade.

3 CONSIDERAÇÕES FINAIS

A análise de dados através de sistemas de inteligência artificial voltada a proporcionar resultados mais ágeis e isentos de vieses discriminatórios, como exposto neste trabalho, perpassa a necessidade de construção de um sistema igualmente forte de prevenção de danos, voltado à preservação dos direitos humanos e à transparência.

Apesar das facilitações que, de fato, podem advir da automatização de decisões simples, a utilização de tais tecnologias quando desprovidas das precauções necessárias, podem reproduzir discriminações envolvendo classe, raça e gênero.

Somente através do entendimento de que a tecnologia não basta em si é possível que se proporcione um caminho, consistente, em direção à automatização de processos e facilitação da tomada de decisões.

Entendemos, todavia, que, embora a utilização de tais ferramentas venha a crescer, é imperioso que se mantenha nas mãos de seres humanos, a responsabilidade pela tomada de decisão, notadamente quando envolver assunto sensíveis, como a liberdade dos indivíduos e temas afetos à esfera penal.

Também, faz-se necessário garantir a possibilidade de revisão dos sistemas criados, de modo a possibilitar, através da transparência e revisão das tecnologias, uma correção ante eventuais discrepâncias discriminatórias.

REFERÊNCIAS BIBLIOGRÁFICAS

ATHENIENSE, Alexandre Rodrigues. As premissas para alavancar os projetos de inteligência artificial na justiça brasileira. In: FERNANDES, Ricardo Vieira de Carvalho; CARVALHO, Angelo Gamba Prata de (Coord.). Tecnologia jurídica & direito digital: II congresso internacional de direito, governo e tecnologia – 2018. Belo Horizonte: Fórum, 2018. p. 155-166.

CARVALHO, Camilla de Brito. Aplicabilidade da inteligência artificial como instrumento auxiliar nas varas criminais. 2020.

CASTRO, Helena Ramos de; MAMEDE, Alex Jordan Soares. Normalidade da Exceção: Uma Análise Quanto à Importância da Gestão da Informação no Direito Penal Brasileiro. Actas Completas Jornada Virtual Internacional Em Pesquisa Científica: Direito, Justiça E Cidadania.

DIAS, Felipe da Veiga. Algoritmos De Predição No Sistema Penal: As Profecias Tecnopolíticas que se Autorrealizam no Século XXI. Revista Brasileira de Ciências Criminais, v. 183, n. 2021, p. 99-124, 2021.

DOMINGOS, P. The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake our World. New York: Basic Books, 2015

ELIAS, Paulo Sá. Algoritmos. Inteligência Artificial e o Direito. Conjur, v. 20, 2017. Acessado em: https://www.conjur.com.br/2017-nov-20/paulo-sa-elias-inteligencia-artificial-requer-atencao-direito

FRANÇA JÚNIOR, Francisco de Assis de; SANTOS, Bruno Cavalcante Leitão; NASCIMENTO, Felipe Costa Laurindo do. Aspectos Críticos Da Expansão Das Possibilidades de Recursos Tecnológicos na Investigação Criminal: A Inteligência Artificial no Âmbito do Sistema de Controle e de Punição. Revista Brasileira de Direito Processual Penal, v. 6, n. 1, p. 211-246, 2020.

FRAZÃO, Ana; MULHOLLAND, Caitlin. Inteligência Artificial e Direito. 2020.

GLESS, Sabine. Policiamento preditivo: em defesa dos "verdadeiros-positivos". Tradução de Heloisa Estellita e Miguel Lima Carneiro. Revista Direito GV, v. 16, n. 1, jan./abr. 2020

INOCÊNCIO JÚNIOR, Ronaldo Lopes; SILVEIRA, Leonardo; FARIA, Victor Castro Nacif de; LORENA, Ana Carolina. Justiça nas previsões de modelos de Aprendizado de Máquina: um estudo de caso com dados de reincidência criminal. In: ENCONTRO NACIONAL DE INTELIGÊNCIA ARTIFICIAL E COMPUTACIONAL (ENIAC), 19. , 2022, Campinas/SP. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2022 . p. 636-647. ISSN 2763-9061. DOI: https://doi.org/10.5753/eniac.2022.227610.

Law Society Commission on the Use of Algorithms in the Justice System and The Law Society of England and Wales. (2019). Algorithms in the Criminal Justice System, June 2019. The Law Society of England and Wales. Acessado em: https://www.lawsociety.org.uk/support-services/research-trends/algorithm-use-in-the-criminal-justice-systemreport/

LOURENÇO, Reysa Taline Frois; MARIRINK, Carlos Henrique Passos; DE ALMEIDA, Gustavo Henrique. Inteligência artificial e Direito. LIBERTAS: Revista de Ciênciais Sociais Aplicadas, v. 10, n. 2, p. 126-164, 2020.

MATTIUZZO, Marcela. Concorrência e corrupção–programas de compliance no debate jurídico-institucional brasileiro. Revista de Defesa da Concorrência, v. 5, n. 1, p. 5-20, 2017.

MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação algorítmica: conceito, fundamento legal e tipologia. Direito Público, v. 16, n. 90, 2019.

MENDES, Laura Schertel; MATTIUZZO, Marcela. Algorithms and discrimination: the case of credit scoring in Brazil. In: Personality and Data Protection Rights on the Internet: Brazilian and German Approaches. Cham: Springer International Publishing, 2022. p. 407-443.

PATRICIO, Caio Villas Bôas. Direito 4.0: ferramentas de inteligência artificial para aprimorar o poder judiciário. 2021. 104 f. Trabalho de Conclusão de Curso (Bacharelado em Direito) - Faculdade Nacional de Direito, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2021.

PRADO, Marcello Henrique de Carvalho. "Smart Prisons-Prisões Inteligentes: Possíveis Otimizações Na Execução Penal." Direito e tecnologia: Discussões para o século XXI (2020): 11 – Erechim: Deviant, 2020.

RUSSELL, Stuart J.; NORVIG, Peter. Inteligência artificial. Elsevier, 2013.

SANTOS, Edson Luiz Ferreira dos; MEIRELES, Magali Rezende Gouvêa. Utilização De Tecnologias Para Descoberta De Conhecimento Na Base De Dados Prisional do Estado de Minas Gerais. PISTA: Periódico Interdisciplinar [Sociedade Tecnologia Ambiente], v. 3, n. 1, p. 228-252, 2021.

SILVA, Tarcízio. Racismo algorítmico. Edições Sesc SP. Edição do Kindle.

SPERANDIO, Henrique Raimundo do Carmo. Desafios da inteligência artificial para a profissão jurídica. 2018. Disponível em: https://bibliotecadigital.fgv.br/dspace/bitstream/handle/10438/23977/Disserta%C3%A7%C3%A3o%20Henrique%20Sperandio%20%20May%202018.pdf

VEALE, Michael;VAN KLEEK, Max; BINNS, Reuben. Fairness and accountability design needs for algorithmic support in high-stakes public sector decision-making (April 21, 2018). Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (CHI’18). Disponível em: https://ssrn.com/ abstract=3175424.Acesso em: 12 fev. 2023.

VIEIRA, Leonardo Marques. A problemática da inteligência artificial e dos vieses algorítmicos: caso COMPAS. In: Brazilian Technology Symposium. 2019.