MARCUS TONETE DE ARAGÃO^[1]

(coautor)

RESUMO: Aborda-se a crescente integração de algoritmos no sistema de justiça penal, fenômeno conhecido como algoritmocracia, que se refere à predominância dos algoritmos nas decisões sociais e políticas. A pesquisa investiga as implicações dessa integração, destacando como os algoritmos podem otimizar processos e reduzir custos, mas também como podem perpetuar preconceitos e comprometer a transparência e a equidade nas decisões judiciais. A análise concentra-se em diversos casos e revisões de literatura para avaliar as consequências da utilização de algoritmos, especialmente no que se refere à reprodução de preconceitos raciais, de gênero e sociais. Propõe-se a criação de estratégias éticas e práticas para assegurar que o avanço tecnológico contribua de forma positiva para o sistema de justiça, sem exacerbar as desigualdades existentes. Metodologicamente, adotou-se uma abordagem variada, analisando documentos jurisprudenciais de cortes europeias, norte-americanas e brasileiras, bem como estudos teóricos e aplicações práticas. Isso permite uma compreensão abrangente dos desafios e perspectivas para a justiça penal no contexto da algoritmocracia, enfatizando a necessidade de uma participação mais ampla da sociedade civil para garantir transparência e justiça nas aplicações tecnológicas.

Palavras-chave: Algoritmocracia. Preconceito epistêmico. Justiça penal algorítmica.

ABSTRACT: The increasing integration of algorithms in the criminal justice system, a phenomenon known as algorithmocracy, which refers to the predominance of algorithms in social and political decisions, is addressed. The research investigates the implications of this integration, highlighting how algorithms can optimize processes and reduce costs, but also how they can perpetuate biases and compromise transparency and fairness in judicial decisions. The analysis focuses on various cases and literature reviews to assess the consequences of using algorithms, especially regarding the reproduction of racial, gender, and social prejudices. The creation of ethical and practical strategies is proposed to ensure that technological advancement positively contributes to the justice system without exacerbating existing inequalities. Methodologically, a varied approach is adopted, analyzing jurisprudential documents from European, North American, and Brazilian courts, as well as theoretical studies and practical applications. This allows for a comprehensive understanding of the challenges and perspectives for criminal justice in the context of algorithmocracy, emphasizing the need for broader civil society participation to ensure transparency and justice in technological applications.

Key word: Algorithmocracy. Epistemic prejudice. Algorithmic criminal justice.

INTRODUÇÃO

Nos últimos anos, a integração da tecnologia no sistema de justiça penal, particularmente através do uso de algoritmos, tem ganhado destaque como uma forma de otimizar processos e reduzir custos operacionais. Contudo, essa algoritmização do campo penal não está isenta de controvérsias, especialmente no que tange à perpetuação de preconceitos e à garantia de transparência e equidade nas decisões judiciais. O conceito de algoritmocracia, que se refere à predominância dos algoritmos nas decisões sociais e políticas, sugere uma reflexão crítica sobre como esses sistemas são concebidos e executados. O problema central diz respeito a como os algoritmos, ao serem empregados nessa esfera, podem reproduzir ou mesmo exacerbar preconceitos existentes, além de influenciar significativamente os custos sociais e econômicos do sistema judicial.

A justificativa para investigar esse problema apresenta dupla faceta: primeiro, há uma necessidade urgente de garantir que os avanços tecnológicos contribuam para uma sistematização mais íntegra e eficiente, e não o contrário; segundo, é fundamental abordar os desafios éticos e operacionais para mitigar o risco de erros judiciais que podem afetar profundamente a vida das pessoas e a percepção pública sobre a justiça. Este trabalho tem como objetivo principal explorar a aplicação e as implicações dos algoritmos no sistema penal, analisando casos específicos e revisões de literatura existentes para avaliar como os preconceitos e erros podem ser mitigados. Além disso, o estudo busca propor frameworks^[2] éticos e práticos para a efetivação responsável de tecnologias algorítmicas.

Para alcançar esses objetivos, empregou-se metodologia multidisciplinar, incluindo a análise de documentos jurisprudenciais de cortes europeias, norte-americanas e brasileiras, bem como a revisão de estudos teóricos e aplicações práticas documentadas em artigos científicos. Essa abordagem permitirá uma compreensão abrangente dos desafios e das perspectivas para uma justiça penal algorítmica, considerando tanto a eficácia quanto os riscos éticos envolvidos, destacando a importância da transparência e da participação da sociedade civil nesta discussão. Como a tecnologia de algoritmos pode reforçar preconceitos raciais, de gênero e sociais, é crucial que diferentes perspectivas sejam consideradas no desenvolvimento e na instalação de tais sistemas. Através de uma abordagem ampla, incluindo a do Direito, princípios morais e ciência da computação, procura-se desenvolver um quadro ético robusto que não apenas enderece questões de eficiência, mas também promova a paridade entre os cidadãos.

Por fim, considerando que os algoritmos aprendem continuamente a partir de novos dados, é essencial que existam processos para atualizar e refinar constantemente estes modelos à medida que mais informações se tornam disponíveis e as circunstâncias sociais evoluem. Isso requer uma colaboração contínua entre cientistas da computação, especialistas em ética, juristas e a comunidade mais ampla para garantir que os sistemas não perpetuem preconceitos ou injustiças. Portanto, busca-se contribuir para o debate sobre este tema, propondo caminhos para que a tecnologia seja utilizada de forma proba e justa, garantindo um equilíbrio entre inovação tecnológica e os princípios fundamentais.

ALGORITMOCRACIA: CONCEITUAÇÃO E APLICAÇÃO

Algoritmocracia é uma nomenclatura que alude à aplicação de algoritmos nos mecanismos de deliberação, particularmente em esferas sociais e políticas. Tal concepção insinua que os algoritmos podem desempenhar um papel preponderante na gestão e estruturação da sociedade, exercendo influência desde a distribuição de recursos até a formulação de diretrizes governamentais. A governança algorítmica, que se refere ao uso de algoritmos para tomar decisões e regular comportamentos, está se tornando cada vez mais prevalente em diversos contextos sociais. Embora os algoritmos possam oferecer eficiência e precisão, podem levar a resultados problemáticos, como a reprodução de preconceitos e a falta de transparência. (PETERSEN, VESTERGAARD e ANDERSEN, 2017).

Essa abordagem dentro do contexto de transparência levanta questões sensíveis sobre a accountability dos sistemas automatizados e o potencial de reforço de desigualdades existentes, pois existe a complexidade e a importância deste conceito no Brasil. A dificuldade em traduzir o termo para o português reflete a ausência não apenas linguística, mas também da prática de responsabilização no país. Percebe-se que é fundamental para a democracia, sendo que sua efetividade depende de transparência e participação cidadã. Os desafios culturais e políticos, como a centralização do estado e a passividade cidadã impedem o desenvolvimento de uma governança responsável no Brasil. Com isso, há necessidade de promover uma cidadania ativa e fortalecer as instituições democráticas para estabelecer efetivamente a accountability, garantindo que os algoritmos sejam justos, imparciais e alinhados com os valores éticos da sociedade. (CAMPOS, 1990).

A possibilidade do uso dos algoritmos no contexto jurídico refere-se ao uso de técnicas computacionais avançadas, como inteligência artificial e aprendizado de máquina, para auxiliar no processo de tomada de decisões judiciais e pesquisas jurisprudenciais. Essas tecnologias podem ser empregadas em diversas áreas do direito, como análise de precedentes, previsão de resultados de casos, gestão de documentos e otimização de processos.

No Brasil, o uso de algoritmos no contexto jurídico ainda está em fase inicial, a exemplo do que ocorre com o sistema Victor do Supremo Tribunal Federal. A finalidade desta engenharia automatizada, no STF, é o auxílio na decisão acerca da repercussão geral^[3] (RG) nos processos. Para tanto, descortinam-se vários procedimentos - como ocerização^[4] de documentos e determinação de temas de RG - que exigem algoritmo com nível próprio de IA. Examinam-se 5 peças dos autos - acórdão recorrido, juízo de admissibilidade do recurso extraordinário (RE), petição do RE, sentença e agravo no RE - segundo 27 temas de RG (TOLEDO e PESSOA, 2023).

Existe o desenvolvimento de um modelo de inteligência artificial que visa facilitar a busca de jurisprudência no âmbito do Superior Tribunal de Justiça, ainda dentro do contexto brasileiro. Esse modelo, desenvolvido pelo Conselho Nacional de Justiça (CNJ) em parceria com a Universidade de Brasília (UnB) no contexto do Programa Justiça 4.0, é capaz de buscar decisões judiciais de casos concretos realizadas anteriormente em instâncias superiores e listar precedentes qualificados em ordem decrescente de similaridade. A ferramenta, denominada PEDRO (Plataforma de Extração e Descoberta de Precedentes dos Tribunais), foi integrada ao modelo com mais de 300 precedentes qualificados e tem o potencial de agilizar a análise de processos judiciais afetados pelo sistema manual de precedentes qualificados, aumentando a segurança jurídica e otimizando a gestão processual​ (PNUD, 2023).

Nos Estados Unidos, existe o sistema Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), da Northpointe, que utiliza métodos contemporâneos de análise de dados e aprendizado de máquina (ML) para prever o risco de criminosos condenados reincidirem. Ele analisa históricos criminais, dados da ofensa atual, riscos/necessidades do infrator, objetivos de tratamento, decisões de sentença, tratamentos/programas aplicados e monitoramento de resultados e produz um perfil com pontuações para várias características. Este perfil é utilizado para tomar decisões em todo o sistema de justiça criminal dos Estados Unidos por agências que incluem unidades de liberação pré-julgamento, prisões, penitenciárias, agências de liberdade condicional e de condicional, e provedores de tratamento, sendo cuidadosamente introduzido nos tribunais. O principal algoritmo COMPAS processa um questionário contendo 137 perguntas, mas o algoritmo e o questionário são modificados para diferentes localidades. Por exemplo, a variação NYCOMPAS no Estado de Nova York inclui noventa e cinco perguntas (THOMAS, 2023).

A União Europeia também desenvolveu o motor de busca European Case Law Identifier (ECLI). A sua interface de pesquisa é um serviço público criado pela Comissão Europeia com a ajuda de vários colaboradores que trabalham com leis. Esse serviço foi criado para tornar mais fácil o acesso à justiça entre países, permitindo que tanto cidadãos quanto profissionais da justiça da União Europeia encontrem decisões judiciais usando um código chamado ECLI. Isso está de acordo com as recomendações do Conselho da UE para que se use esta ferramenta e um formato padrão de informações básicas sobre as decisões judiciais. Com isso, percebe-se que à medida que a tecnologia da informação avança e se integra cada vez mais ao sistema de justiça, os algoritmos, especialmente aqueles baseados em inteligência artificial e aprendizado de máquina, estão transformando a maneira como as decisões são tomadas em diversas etapas. E isto também vem ocorrendo marcadamente no âmbito do processo penal.

A polícia de Santa Cruz, Califórnia, desenvolveu um sistema que analisa dados históricos de crimes para prever onde e quando crimes semelhantes podem ocorrer no futuro. Esse método, chamado de policiamento preditivo, ajuda a alocar recursos policiais de maneira mais eficiente e a reduzir a taxa de criminalidade (RUDIN e SLOAN, s.d.). A evolução das ferramentas de avaliação de risco no contexto criminal evidencia uma crescente conscientização sobre a necessidade de abordagens diferenciadas para infratores de diferentes gêneros. Em particular, o instrumento The Level of Service/Case Management Inventory (LS/CMI) representa um marco significativo nesse desenvolvimento, oferecendo um mecanismo robusto e cientificamente fundamentado para a avaliação de riscos, necessidades e responsividades (RNR) específicas ao gênero, principalmente feminino (ANDREWS, BONTA e WORMITH, 2004).

Esta questão tem se tornado cada vez mais relevante devido ao aumento notável no número de mulheres entrando no sistema de justiça criminal. O LS/CMI oferece uma avaliação RNR informada por gênero, com validade comprovada para infratoras, aplicável em diversos contextos (liberdade condicional, liberdade vigiada, prisão/detenção) sem a necessidade de formulários específicos por gênero. O inventário é notável por sua capacidade de prever a reincidência em infratores femininas com eficácia, oferecendo uma das mais fortes previsões de reofensas femininas na literatura de avaliação de riscos de infratores. A pesquisa sugere que o LS/CMI é altamente confiável tanto para mulheres quanto para homens, sem evidências de viés de gênero na consistência interna, acordo entre avaliadores ou predição de reincidência (ANDREWS, BONTA e WORMITH, 2004).

Embora ofereçam vantagens significativas, os algoritmos empregados especialmente na justiça penal suscitam questões tormentosas sobre a sua transparência e a forma como são controlados, particularmente quando influenciam decisões cruciais relacionadas à liberdade das pessoas. João Paulo Lordelo (2021) aborda a problemática do uso de algoritmos de inteligência artificial pelo Poder Público, especialmente no campo da persecução penal, destacando o caso do assassinato de Marielle Franco em 2018 no Rio de Janeiro. A investigação utilizou técnicas cibernéticas, incluindo a requisição de dados ao Google para identificar usuários que buscaram informações sobre a vítima antes do crime. Essa abordagem levantou questões jurídicas sobre a abrangência da medida e a privacidade dos dados.

Destaca-se, portanto, o crescimento do uso de técnicas de data matching^[5] e data mining^[6] para fins preventivos, como a identificação de fraudes e padrões criminosos. Essas técnicas, no entanto, podem trazer riscos de discriminação, especialmente quando consideram variáveis como raça, gênero e posição social como preditivas. Aborda-se ainda os vieses cognitivos e heurísticos que influenciam as decisões humanas, incluindo decisões judiciais. Estudos demonstram que fatores aparentemente irrelevantes, como o momento do dia ou as vestimentas dos advogados, podem afetar o julgamento dos juízes. O uso de algoritmos decisórios, como o COMPAS nos EUA, pode reforçar esses vieses implícitos, resultando em decisões discriminatórias (LORDELO, 2021).

Existe também uma preocupação premente com o viés nos algoritmos: decisões potencialmente discriminatórias podem surgir se o conjunto de dados para treinamento dos algoritmos não for adequadamente diversificado ou contiver distorções, comprometendo assim a justiça do processo penal. Embora a IA seja vista como uma ferramenta objetiva para melhorar a investigação criminal e a tomada de decisões judiciais, ela pode, na verdade, reproduzir e legitimar sistemas opressivos. Isso ocorre porque os algoritmos de machine learning são treinados em dados históricos que contêm desigualdades raciais e socioeconômicas. A transparência nos algoritmos é essencial para uma crítica sólida de seu funcionamento. No entanto, muitos desses softwares, desenvolvidos por empresas privadas, funcionam como caixas pretas, dificultando a responsabilização. A partir disso, questiona-se se é possível desenvolver programas de machine learning livres de preconceitos e se as novas tecnologias no processo penal são realmente eficazes ou apenas perpetuam velhas injustiças (SILVA e LIMA, 2017).

A EPISTEME DO PRECONCEITO: ALGORITMOS E VIESES

O preconceito algorítmico refere-se à tendência de sistemas baseados em algoritmos de reproduzirem ou exacerbarem os preconceitos já existentes na sociedade. Esses vieses podem surgir de diversas fontes, incluindo dados tendenciosos, suposições incorretas na modelagem ou na interpretação dos resultados. Com isso, discute-se a importância de considerar a justiça e as abstrações em sistemas sociotécnicos, que incluem algoritmos e suas interações com contextos sociais. A maneira como se abstraem e se modelam problemas em sistemas algorítmicos pode levar a injustiças, especialmente se não levarmos em conta o contexto social mais amplo. Destaca-se, portanto, a necessidade de abordagens multidisciplinares para discussão dessas questões de justiça em sistemas algorítmicos. (SELBST, 2019).

A compreensão desses conceitos pré-estabelecidos é crucial para mitigar seus efeitos adversos e garantir a equidade nos sistemas algorítmicos. O preconceito algorítmico pode se formar de várias maneiras, a exemplo, tem-se os dados tendenciosos: algoritmos de análise facial automatizada podem discriminar com base em características como raça e gênero. Eles apresentam uma abordagem para avaliar o viés presente em algoritmos e conjuntos de dados de análise facial automatizada em relação a subgrupos fenotípicos, utilizando o sistema de classificação de tipo de pele de Fitzpatrick^[7] aprovado por dermatologistas. O estudo revela que os conjuntos de dados analisados são predominantemente compostos por indivíduos de pele mais clara e introduz um novo conjunto de dados de análise facial equilibrado por gênero e tipo de pele. (BUOLAMWINI e GEBRU, 2018).

E a interpretação e uso indevidos: mesmo que um algoritmo seja projetado de forma neutra, sua interpretação e uso inadequados podem levar a resultados tendenciosos. Se um algoritmo de avaliação de risco é usado de maneira inapropriada em decisões judiciais, ele pode contribuir para a discriminação contra certos grupos. O relatório The Perpetual Line-Up: Unregulated Police Face Recognition in America realizado pelo Centro de Privacidade e Tecnologia da Georgetown Law, oferece uma análise abrangente sobre o uso da tecnologia de reconhecimento facial pelas forças policiais nos Estados Unidos e os riscos associados à privacidade, liberdades civis e direitos civis. Também, tem-se o uso generalizado: cerca de 64 milhões de americanos estão sujeitos ao uso da tecnologia de reconhecimento facial pela polícia, sem terem conhecimento ou controle sobre isso; e precisão e viés racial: o reconhecimento facial é menos preciso do que a impressão digital, especialmente quando usado em tempo real ou em grandes bancos de dados. Além disso, há preocupações de que a tecnologia possa ser menos precisa para pessoas negras, aumentando o risco de erros e discriminação.

Lado outro, as consequências do preconceito algorítmico podem ser significativas. Especialmente no contexto penal, indivíduos podem ser injustamente julgados ou penalizados com base em preconceitos incorporados nos algoritmos. Angwin et al. investiga o uso de algoritmos de avaliação de risco na justiça criminal nos Estados Unidos e descobre que o software utilizado para prever futuros criminosos é tendencioso contra negros. Revelou-se que os negros eram quase duas vezes mais propensos do que os brancos a serem rotulados como um risco mais alto, mas não mais propensos a cometer um crime. Essa descoberta destaca as condenações injustas e a injustiça que podem ocorrer quando preconceitos são incorporados em algoritmos utilizados no sistema de justiça penal (ANGWIN et al., 2016).

De mais a mais, tem-se a discriminação: grupos marginalizados podem ser desproporcionalmente afetados por decisões baseadas em algoritmos enviesados. Pesquisas no Google envolvendo nomes tipicamente associados a afro-americanos tinham mais chances de resultar em anúncios sugerindo que a pessoa tinha um registro criminal, em comparação com nomes tipicamente associados a brancos. Esse tipo de discriminação algorítmica pode levar a impactos negativos desproporcionais em grupos marginalizados (SWEENY, 2013); Perda de confiança: a percepção de preconceito nos sistemas judiciais pode levar à perda de confiança nas instituições. O modelo HART é um sistema algorítmico usado pela polícia de Durham para avaliar o risco de reincidência de indivíduos e tomar decisões sobre como gerenciar esse risco (OSWALD, et al., 2018).

O modelo classifica os indivíduos em categorias de risco com base em dados históricos e variáveis preditivas. Enfatiza-se a necessidade de transparência na utilização de modelos algorítmicos para manter a confiança pública nas instituições de aplicação da lei. A falta de transparência pode levar à percepção de preconceito e injustiça, prejudicando a confiança nas instituições. Recomenda-se que para o uso responsável de modelos de avaliação de risco algorítmicos, incluindo o desenvolvimento de diretrizes éticas, a realização de avaliações de impacto e a promoção da transparência e da responsabilidade (OSWALD, et al., 2018).

Sistemas de avaliação de risco: algoritmos utilizados para avaliar o risco de reincidência podem perpetuar preconceitos raciais se forem baseados em dados históricos enviesados. Instrumentos atuariais são projetados para estimar a probabilidade de que um infrator criminal masculino ou um paciente psiquiátrico forense seja acusado de pelo menos um novo crime violento dentro de um período de 7 ou 10 anos. Estes instrumentos coletam dados baseados na frequência de eventos passados em indivíduos semelhantes para calcular a probabilidade de recorrência de crimes violentos. Os principais itens do VRAG incluem características pré-liberação dos infratores, como traços psicopáticos, desajuste escolar, histórico de abuso de substâncias, entre outros. Estas características são correlacionadas com a reincidência violenta ou sexual (QUINSEY, 2019).

O VRAG-R foi desenvolvido para simplificar o sistema de pontuação do VRAG e inclui itens como viver com ambos os pais até os 16 anos, problemas com álcool ou drogas, e histórico de comportamento antissocial, que são pontuados com base em sua relação com a reincidência violenta. Destaca-se também que, embora existam tratamentos que demonstram reduzir a recidiva criminal, nenhum mostrou eficácia convincente em reduzir a recidiva violenta ou sexual entre infratores de alto risco a ponto de influenciar metodologias preditivas atuariais (QUINSEY, 2019).

Reconhecimento facial: tecnologias de reconhecimento facial têm sido criticadas por taxas de erro mais altas em indivíduos de certos grupos étnicos, o que pode levar a acusações injustas. Os sistemas de reconhecimento facial frequentemente apresentam taxas mais altas de erro para pessoas de pele escura, o que pode levar a uma maior probabilidade de serem paradas, investigadas ou presas injustamente. Além disso, o uso dessas tecnologias pode intensificar a auto-identificação racial entre os grupos historicamente discriminados, como as pessoas negras, aumentando assim sua exposição a tratamentos discriminatórios e estressantes, que podem ter sérias implicações para a saúde. Devido a isso, não basta desenvolver tecnologias sem considerar o contexto social em que são implementadas. As agências de aplicação da lei e as empresas de software precisam estar cientes dos efeitos discriminatórios das tecnologias de reconhecimento facial e trabalhar ativamente para mitigar esses vieses. Isso inclui a realização de testes de precisão regulares e ajustes nos algoritmos para garantir que não reforcem as disparidades raciais existentes (BACCHINI e LORUSSO, 2019).

Sentenças e liberdade condicional: algoritmos que recomendam sentenças ou determinam a elegibilidade para liberdade condicional podem perpetuar preconceitos se não forem cuidadosamente monitorados e ajustados. Fazel et al. (2012), realiza uma revisão sistemática sobre a eficácia das ferramentas de avaliação de risco usadas no processo de sentença criminal. A análise incluiu 36 estudos envolvendo um total de 597.665 participantes, com 27 desses estudos sendo independentes e abrangendo 177.711 indivíduos. Os resultados da revisão sugerem que o desempenho preditivo dessas ferramentas varia, sendo classificado de pobre a moderado. Foi observado que o desempenho das ferramentas muitas vezes é superestimado em estudos menores ou naqueles onde os desenvolvedores das ferramentas estão envolvidos como coautores. A conclusão principal do artigo é a necessidade de mais estudos de validação independentes e robustos para assegurar a eficiência e equidade das ferramentas de avaliação de risco usadas nas decisões de sentença. Isso ajudaria a melhorar a confiança nas decisões judiciais e a assegurar que os recursos sejam alocados de maneira mais eficaz e justa.

Com esses cenários, percebe-se que os problemas associados ao uso de algoritmos no sistema penal refletem e contribuem significativamente para a perpetuação dos preconceitos existentes nesse sistema. Em exemplo derradeiro, tem-se o instituto do tribunal do júri, que é uma instituição jurídica que envolve a participação de cidadãos comuns na administração da justiça em casos de crimes dolosos contra a vida. A preexistência de preconceitos epistêmicos no contexto do tribunal do júri refere-se à influência de crenças e preconcepções que os jurados podem trazer para o julgamento, preconceitos estes que são potencializados exponencialmente pelo uso dos algoritmos que podem ser baseados em estereótipos sociais, raciais, de gênero, entre outros.

Eugenio Pacelli (2021) comenta que a aparência do réu e a forma como ele se comporta durante o julgamento podem exercer influência significativa sobre os jurados. Isso é particularmente preocupante em um sistema como o brasileiro, onde a decisão do júri não necessita ser fundamentada, abrindo espaço para decisões influenciadas por preconceitos pessoais. No contexto americano, Bryan Stevenson (2014), advogado de direitos civis e autor de Just Mercy, aborda como a aparência e a raça dos réus frequentemente influenciam os resultados dos julgamentos, especialmente no Sul dos Estados Unidos. Ele discute casos onde a aparência dos réus negros foi utilizada para criar uma narrativa de culpabilidade, independentemente das evidências apresentadas. Lord Devlin (1979), uma influente figura jurídica no Reino Unido, argumentou que o tribunal do júri é um pequeno parlamento, onde preconceitos, embora indesejáveis, muitas vezes se manifestam. Ele observava que os jurados podem inconscientemente julgar com base em aparências e estereótipos sociais, o que levanta questões sobre a equidade do julgamento por júri. Portanto, estas pré-concepções podem comprometer a imparcialidade do julgamento, uma vez que influenciam a maneira como os fatos são interpretados e as decisões são tomadas.

DESAFIOS E PERSPECTIVAS PARA A JUSTIÇA PENAL ALGORÍTMICA

A justiça penal algorítmica introduz complexidades econômicas significativas. Primeiramente, há o custo de desenvolvimento e execução de sistemas algorítmicos, que requer investimentos substanciais em tecnologia e treinamento.  Ademais, deve-se considerar o impacto econômico da potencial redução na reincidência criminal, resultado esperado da aplicação mais precisa e personalizada das penas. O caso norte-americano do software COMPAS é usado como exemplo. Este sistema é empregado por vários estados dos EUA para avaliar o risco de reincidência de réus, influenciando decisões judiciais sobre a manutenção da prisão ou a aplicação de penas alternativas. As análises estatísticas mostram que ajustar o modelo para reduzir desigualdades pode exigir mudanças nas configurações de limiar que diferenciam entre grupos raciais, o que levanta dilemas jurídicos e éticos. Com isso, apesar dos desafios, é preciso considerar se o abandono completo da inteligência artificial seria benéfico, ou se deve buscar formas de melhorar a equidade e a precisão desses sistemas para evitar os riscos associados ao julgamento humano, que também está sujeito a inconsistências e preconceitos (RIBEIRO, 2022).

No entanto, esses benefícios econômicos devem ser ponderados com os custos sociais de erros judiciários potencializados por falhas algorítmicas, que podem acarretar custos indiretos significativos, como perda de confiança no sistema judicial e estigmatização social de indivíduos erroneamente penalizados. Essas práticas podem interagir e reforçar erros, levando paradoxalmente a um acertamento do caso penal baseado em presunções de que esses erros serão corrigidos nas instâncias superiores do sistema judicial. Há uma preocupação com a qualidade da memória e a confiabilidade dos depoimentos testemunhais, referenciando casos e critérios dos Estados Unidos sobre avaliação de testemunhos. No Brasil, recentes decisões do Superior Tribunal de Justiça reforçaram a necessidade de seguir rigorosamente o art. 226 do Código de Processo Penal para garantir reconhecimentos pessoais válidos e evitar o reconhecimento fotográfico (CANI e NUNES, 2022).

A partir destes erros em potencial, critica-se a dependência de tecnologias como algoritmos de reconhecimento facial, apontando para falhas significativas e riscos de identificações errôneas. A aplicação de sistemas tecnológicos, como o controverso sistema de pontuação social na China, é vista com ceticismo devido ao potencial para abusos e violações de direitos. Portanto, há o risco de sistemas de identificação facial reforçarem erros judiciários, principalmente quando adotados sem as salvaguardas adequadas (CANI e NUNES, 2022).

O uso de algoritmos no processo penal suscita importantes questões éticas. Tem-se que a substituição do julgamento humano por decisões baseadas em algoritmos levanta preocupações sobre justiça, equidade e respeito aos direitos fundamentais, como a privacidade e a não discriminação. A consumação de algoritmos também deve considerar o risco de perpetuação e amplificação de preconceitos existentes no banco de dados utilizado para seu treinamento. Com isso, fica evidente que as decisões não são neutras, pois refletem valores morais e escolhas feitas por seus criadores humanos. Esse viés pode ser observado em diversos contextos, como na discriminação racial em ferramentas como o Google Fotos. Algoritmos podem influenciar ou mesmo coagir o comportamento humano, comprometendo a liberdade individual ao moldar decisões com base em interesses de terceiros, a exemplo da influência dos algoritmos de redes sociais nas decisões dos usuários. Portanto, é crucial reconhecer e abordar os vieses algorítmicos para garantir que as tecnologias reflitam valores éticos justos e promovam decisões equitativas. (ROSSETTI e ANGELUCI, 2021)

Para enfrentar o preconceito algorítmico, é necessário traçar múltiplas estratégias. Uma abordagem é o aprimoramento dos métodos de coleta e análise de dados, assegurando a representatividade e a equidade. Sugere-se que uma maior inclusão de grupos marginalizados no desenvolvimento tecnológico e algorítmico pode ajudar a mitigar esses problemas. Além disso, existe uma importante relevância em educar as novas gerações sobre racismo e tecnologia para promover uma mudança social duradoura. Por isso, há necessidade de revisão e crítica constante dos sistemas tecnológicos para assegurar que eles promovam a equidade e não perpetuem discriminações (NYLAND, 2023). A auditoria regular dos algoritmos por entidades independentes podem avaliar e corrigir desvios e vieses não intencionais. Ademais, é crucial desenvolver frameworks jurídicos^[8] e éticos que regulem a aplicação e a correção de sistemas algorítmicos, garantindo que estes promovam justiça e não apenas eficiência. Além disso, medidas como autoavaliação, mitigação de riscos, comunicação de incidentes graves, e requisitos de cibersegurança são enfatizadas para assegurar a confiabilidade das aplicações de IA (EUROPEAN COMMISSION, 2024).

O direito tem um papel fundamental na regulação dos algoritmos utilizados no processo penal. É necessário desenvolver legislações específicas que contemplem os desafios e peculiaridades da justiça penal algorítmica. Estas leis devem garantir transparência, responsabilidade e direitos de recurso efetivos contra decisões automatizadas. Além disso, o direito deve promover um equilíbrio entre os benefícios da automação e a proteção dos direitos, estabelecendo limites claros para o uso de tecnologia na tomada de decisões judiciais. Então, enfatiza-se a importância de regulamentações que contemplem tanto os avanços tecnológicos quanto os aspectos sociais e legais. Apesar da tecnologia permitir um novo tipo de interação social, as atividades online não devem estar livres de regulação legal, visto que podem envolver riscos de danos graves (GARCIA, s.d.).

Por fim, enquanto esperam-se ajustes legais mais efetivos, operadores do direito utilizam-se de interpretação progressiva para adaptar normas existentes às novas realidades tecnológicas, destacando a importância de atualizar constantemente o direito para refletir os desafios sociais e tecnológicos emergentes. Com isso, visa-se aprofundar a compreensão dos desafios e das potencialidades da justiça penal algorítmica, propondo caminhos para que a tecnologia seja utilizada de forma ética e justa, garantindo um equilíbrio entre inovação e respeito aos princípios fundamentais do direito penal.

CONCLUSÃO

A intersecção de algoritmos e justiça penal, embora promissora na otimização de processos e potencial redução de custos operacionais, carrega intrínsecas problemáticas éticas e operacionais que merecem análise e consideração cuidadosa. A incorporação de algoritmos na justiça penal pode parecer um avanço, mas não sem o risco de reforçar preconceitos existentes e perpetuar desigualdades. Os sistemas algorítmicos, conforme discutido em diversas análises, têm mostrado uma tendência de reproduzir vieses socioculturais presentes nos dados que os alimentam. Isso se evidencia na discriminação de minorias raciais e na perpetuação de estereótipos, como os estudos destacaram que o uso de algoritmos de avaliação de risco injustamente categorizaram indivíduos negros como de maior risco​​. Através da análise de documentos jurisprudenciais da corte europeia, norte-americana e brasileira, estudos teóricos em diversos artigos científicos que discorrem sobre a temática, evidenciando a complexidade e os desafios inerentes à aplicação de algoritmos na justiça penal. O sistema algorítmico, embora prometa eficiência e otimização dos processos judiciais, enfrenta análises substanciais devido à perpetuação de preconceitos e à falta de transparência.

As respostas encontradas para esses desafios devem ser observadas dentro de um maior cenário possível, levando em consideração todas as situações que poderão se esquadrinhar. Primeiro, a instalação de um quadro ético robusto que governa o desenvolvimento e a aplicação de tecnologias algorítmicas no sistema penal é crucial. Este quadro deve incluir diretrizes claras para a mitigação de viés, avaliações de impacto social regulares e mecanismos de revisão e contestação acessíveis aos afetados pelas decisões automatizadas. Além disso, a educação e o treinamento contínuos dos profissionais jurídicos e dos operadores do sistema penal sobre as potencialidades e as limitações dos sistemas algorítmicos são essenciais para uma concretização consciente e responsável. A cooperação internacional e a troca de melhores práticas também podem facilitar o desenvolvimento de soluções mais justas e equitativas​​​​. Também é imperativo que haja uma participação mais ampla da sociedade civil na discussão e na regulação dos sistemas de justiça penal baseados em IA. O envolvimento de grupos de direitos civis, acadêmicos e o público em geral assegurará que múltiplas perspectivas sejam consideradas e que os sistemas algorítmicos sejam utilizados de maneira que respeite os direitos humanos e promova uma sociedade mais justa e equitativa​​.

Neste contexto, enquanto se exploram as capacidades da inteligência artificial e da tecnologia algorítmica, devem-se também aprofundar em valores éticos e sociais, assegurando que o avanço tecnológico seja um vetor para a justiça e não um instrumento de desigualdade. Portanto, o futuro da justiça penal algorítmica dependerá fundamentalmente da capacidade de integrar essas tecnologias de forma que ampliem a equidade, a transparência e a accountability. É crucial que se criem estruturas que garantam que as decisões tomadas por sistemas algorítmicos sejam tão justas — ou mais justas — do que aquelas tomadas exclusivamente por humanos. Isso inclui garantir que tais sistemas sejam auditáveis e que suas metodologias e decisões possam ser questionadas e compreendidas tanto pelos indivíduos diretamente afetados quanto pela sociedade em geral. Isso sublinha a necessidade de um quadro ético robusto que governa o uso de IA na justiça penal, assegurando que os sistemas não apenas ampliem a eficiência, mas também promovam a equidade e a justiça.

Além disso, como ficou evidenciado que os algoritmos aprendem continuamente a partir de novos dados, é essencial que existam processos para atualizar e refinar constantemente estes modelos à medida que mais informações se tornam disponíveis e as circunstâncias sociais evoluem. Isso requer uma colaboração contínua entre cientistas da computação, especialistas em ética, juristas e a comunidade mais ampla para garantir que os sistemas não perpetuem preconceitos ou injustiças. Adicionalmente, a introdução de um diálogo mais abrangente sobre a função e os impactos da tecnologia na sociedade é imperativa. Este diálogo deve incluir discussões sobre quem tem o poder de desenvolver e controlar essas tecnologias, e como as liberdades e direitos são protegidos em um ambiente cada vez mais digital e automatizado. Essa conscientização e engajamento cívico são fundamentais para assegurar que a evolução da justiça penal com o auxílio de algoritmos ocorra de maneira que beneficie a todos, e não apenas uma elite tecnológica ou econômica.

A necessidade de regulamentações claras e robustas não pode ser subestimada. As leis devem ser formuladas não só para lidar com as transgressões, mas também para fornecer um quadro que guie o desenvolvimento e uso responsável das tecnologias de IA. Tais regulamentações devem ser flexíveis o suficiente para se adaptar ao rápido avanço tecnológico, enquanto garantem que todos os desenvolvimentos sejam realizados com uma consideração cuidadosa de suas implicações éticas e sociais. Por fim, a justiça algorítmica, se bem aplicada, tem o potencial de transformar positivamente o sistema penal, tornando-o mais eficiente, justo e imparcial. Observa-se a dualidade de impactos econômicos e sociais, ponderando o potencial de redução na reincidência contra os custos de erros judiciais potencializados por falhas algorítmicas​​. Esses desafios ressaltam a importância de uma vigilância constante e de um compromisso com a integridade moral e justiça, garantindo que a tecnologia sirva à humanidade de forma justa e equitativa. Alcança-se uma compreensão mais profunda dos desafios éticos, legais e sociais que circundam a prática de tecnologias algorítmicas no sistema de justiça penal. Demonstrou-se que, embora exista um potencial significativo para melhorias na eficiência e na precisão das decisões judiciais, tais avanços não devem ser perseguidos à custa da equidade e da transparência. Portanto, o futuro da justiça penal algorítmica dependerá fundamentalmente da capacidade de toda a sociedade de equilibrar inovação tecnológica com os princípios fundamentais de justiça e equidade, de modo a assegurar que o avanço tecnológico seja um vetor para a justiça e não um instrumento de desigualdade.

REFERÊNCIAS BIBLIOGRÁFICAS

ANDREWS, D. A., BONTA, J., & WORMITH, J. S. O Inventário de Nível de Serviço/Gestão de Casos (LS/CMI): um sistema de avaliação de infratores que facilita abordagens individualizadas e abrangentes para a gestão de infratores. [s.l.]. 31(4), p. 474-497. 2004. DOI: 10.1177/0093854804267112.

ANGWIN, J. et al. Viés na Máquina: Há softwares usados em todo o país para prever futuros criminosos. E eles são tendenciosos contra negros. ProPublica, [s.l.], maio. 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 10 de abril de 2024.

BACCHINI, F. LORUSSO, L. Raça, novamente. Como a tecnologia de reconhecimento facial reforça a discriminação racial. Revista de Informação, Comunicação e Ética na Sociedade. ISSN 1477-996X.  [s.l.]. P. 321-335. 2019. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/JICES-05-2018-0050/full/html. Acesso em 12 de abril de 2024.

BRASIL. Regimento Interno do Supremo Tribunal Federal. Brasília, DF. 2021. Disponível em: https://www.stf.jus.br/arquivo/cms/legislacaoRegimentoInterno/anexo/RISTF.pdf. Acesso em: 09 de abril de 2024.

BUOLAMWINI, Joy; GEBRU, Timnit. Nuances de Gênero: disparidades de precisão interseccional em classificação de gênero comercial. Conferência sobre Equidade, Responsabilidade e Transparência. 1., Proceedings of Machine Learning Research. New York. 2018. p. 1-15. Disponível em: https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf. Acesso em: 10 de abril de 2024.

CAMPOS, Anna Maria. Accountability: Quando Podemos Traduzi-la para o Português? Revista de Administração Pública, Rio de Janeiro, v. 24, n. 2, p. 30-50, fev./abr. 1990. Acesso em 09 de abril de 2024.

CANI, L. E. NUNES, J. A. Erros judiciários em tempos de digital surveillance: os algoritmos de reconhecimento facial em questão. [s.l.]. Revista Brasileira de Direito Processual Penal. ISSN: 2525-510X. V. 8. N. 2. P. 679-712. mai-ago. 2022.

CENTER ON PRIVACY & TECHNOLOGY AT GEORGETOWN LAW. A Escalação Perpétua: reconhecimento facial policial não regulamentado na América.  [s.l.]. 2016. Disponível em: https://www.perpetuallineup.org/sites/default/files/2016-12/The%20Perpetual%20Line-Up%20-%20Center%20on%20Privacy%20and%20Technology%20at%20Georgetown%20Law%20-%20121616.pdf. Acesso em: 10 abr. 2024.

CETAX. Data Mining: O que é, conceito e definição. [s.l.]. [s.d.].  Disponível em:https://cetax.com.br/data-mining/. Acesso em 12 de abril de 2024. 

Classificação dos fototipos de pele. Sociedade Brasileira de Dermatologia. Rio de Janeiro. [s.d.]. Disponível em: https://www.sbd.org.br/cuidados/classificacao-dos-fototipos-de-pele/. Acesso em 12 de abril de 2024.

DATTOS. Preparação de dados. Data Matching: o que é e porque você precisa saber mais sobre isso. [s.i.]. [s.d.]. Disponível em: https://www.dattos.com.br/blog/data-matching/. Acesso em 12 abr. 2024.

DEVLIN, Patrick Baron. O Juiz. Oxford: Editora da Universidade de Oxford, 1979. 207 p. ISBN 0192159496.

European Justice. Motor de Busca ECLI. União Europeia. [s.d.]. Disponível em: https://e-justice.europa.eu/content_ecli_search_engine-430-en.do. Acesso em: 09 abr. 2024.

FAZEL, S. et al.  O desempenho preditivo das ferramentas de avaliação de risco criminal usadas na sentença: Revisão sistemática dos estudos de validação. Revista de Justiça Criminal. Oxford. Vol. 81. jul-ago. 2022. Disponível em: https://www.sciencedirect.com/science/article/pii/S0047235222000228?via%3Dihub. Acesso em 12 de abril de 2024.

GARCIA, F. C. O. Ciberespaço: formas de regulamentação. [s.l.] [s.d.]. Disponível em: https://egov.ufsc.br/portal/sites/default/files/anexos/6101-6093-1-PB.pdf. Acesso em 17 de abril de 2024.

Lei de IA. European Commission. União Europeia. 2024. Disponível em: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai. Acesso em 17 de abril de 2024.

LORDELO, J. P. Algoritmos e direitos fundamentais: riscos, transparência e accountability no uso de técnicas de automação decisória. Revista Brasileira de Ciências Criminais. [s.l.]. Vol. 186/2021. p. 205 - 236. Dez. 2021. DTR\2021\47752.

NYLAND, J. J. A. O. L. Racismo algorítmico: uma revisão de literatura. Pesquisa, Sociedade e Desenvolvimento. ISSN 2525-3409. V. 12, n. 2. 2023.

Ocerização de documentos. FLEXDOC. [s.d.]. Brasília. Disponível em: https://flexdoc.com.br/glossario/glossario-o/ocerizacao-de-documentos/. Acesso em: 9 abr. 2024.

OLIVEIRA, Eugenio Pacelli. Curso de processo penal. 25. ed. São Paulo: Atlas, 2021.

OSWALD, M. et al. Modelos de Avaliação de Risco Algorítmico em Policiamento: Lições do Modelo HART de Durham e da 'Proporcionalidade Experimental'. Information & Communications Technology Law, v. 27, n. 2, p. 223-250, 2018. Disponível em: https://www.tandfonline.com/doi/full/10.1080/13600834.2018.1458455. Acesso em: 10 de abril de 2024.

Parceria com a UnB desenvolve modelo de IA de verificação automática de precedentes. United Nations Development Programme (UNDP). [s.l.]. 2023. Disponível em: https://www.undp.org/pt/brazil/news/parceria-com-unb-desenvolve-modelo-de-ia-de-verificacao-automatica-de-precedentes. Acesso em 09 de abril de 2024.

PETERSEN, S. B., VESTERGAARD, A., & ANDERSEN, K. N. Inteligência Coletiva e Governança Algorítmica: Uma Estrutura e Agenda de Pesquisa. AVATARES de la comunicación y la cultura. [s.l.]. N. 15. junho, 2018. ISSN 1853-5925. Disponível em: https://publicaciones.sociales.uba.ar/index.php/avatares/article/view/4891/4024. Acesso em 09 de abril de 2024.

PONTOTEL. O que é um framework? Disponível em: https://www.pontotel.com.br/framework/#:~:text=Acompanhe%20o%20artigo!-,O%20que%20%C3%A9%20um%20framework%3F,resultados%20atrav%C3%A9s%20de%20abordagens%20prontas. Acesso em: 17 abr. 2024.

QUINSEY, V. L. Guia de Avaliação de Risco de Violência (VRAG) e Guia de Avaliação de Risco de Violência Revisado (VRAG-R). A Enciclopédia SAGE de Psicologia Criminal. Califórnia. p. 1637-1640. 2019. Disponível em: https://www.researchgate.net/publication/346354974_Violence_Risk_Appraisal_Guide_VRAG_and_the_Violence_Risk_Appraisal_Guide-Revised_VRAG-R. Acesso em 12 de abril de 2024.

RIBEIRO, F. P. Conceito e análise da repercussão geral. Jusbrasil. 2011. Disponível em: https://www.jusbrasil.com.br/artigos/conceito-e-analise-da-repercussao-geral/121816449. Acesso em 09 de abril de 2024.

RIBEIRO, R. S. Inteligência artificial, Direito e equidade algorítmica. RIL Brasília a. 59 n. 236 p. 29-53 out./dez. 2022.

ROSSETI, R. ANGELUCI, A. Ética algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. São Paulo. Galáxia. ISSN: 1982-2553. Nº 46. pp.1-18. 2021.

RUDIN, C. SLOAN, M. Policiamento Preditivo: Usando Aprendizado de Máquina para Detectar Padrões de Crime. WIRED. [s.d.]. [s.l.]. Disponível em: https://www.wired.com/insights/2013/08/predictive-policing-using-machine-learning-to-detect-patterns-of-crime/. Acesso em 09 de abril de 2024.

SELBST, A. et al. Equidade e abstração em sistemas sociotécnicos. FAT* 19: Anais da conferência sobre equidade, responsabilidade e transparência. Association for computing machinery (ACM). Atlanta, GA, USA, ACM, New York, NY.  jan. 2019. p. 59-68. Disponível em: https://dl.acm.org/doi/10.1145/3287560.3287598. Acesso em 10 de abril de 2024.

SILVA, R. C. da; LIMA, R. S. de. Velhos preconceitos mascarados de verdade. Congresso Brasileiro de Direito e Tecnologia, 1., 2017, Campinas. Anais. Campinas: CBSoft, 2017. p. 89-94.

STEVENSON, Bryan. Luta por Justiça: Uma História de Justiça e Redenção. Spiegel & Grau, 2014.

SWEENEY, L. Discriminação na Entrega de Anúncios Online. ACM Digital Library, [s.l.], 2013. Disponível em: https://dl.acm.org/doi/10.1145/2460276.2460278. Acesso em: 10 de abril de 2024.

THOMAS, S. A falácia da equidade: Northpointe e o algoritmo de previsão de reincidência COMPAS. Seminário de Tese sobre Direitos Humanos. Colômbia. 2023. Disponível em: https://doi.org/10.7916/ab13-jf83. Acesso em 12 de abril de 2024.

TOLEDO, C. PESSOA, D. O uso de inteligência artificial na tomada de decisão judicial. Revista de Investigações Constitucionais. Paraná. Vol. 10. N. 1. Jan/Abr, 2023. ISSN 2359-5639. Disponível em: https://revistas.ufpr.br/rinc/article/view/e237. Acesso em 09 de abril de 2024.