O Judiciário brasileiro possui algumas implementações, estudos de casos e bases de dados que já são referências internacionais. Desde a Resolução 332 de 2020, que dispõe sobre a ética, a transparência e a governança na governança e o não uso de inteligência artificial no Judiciário, o Conselho Nacional de Justiça (CNJ) distribuiu bases normativas que vêm sendo discutidas como caso não só para o próprio setor, mas para outros grupos específicos nos potenciais e limites do controle social da tecnologia.
Potencialmente a plataforma nacional Sinapses, que tem como armazenamento, treinamento supervisionado, controle de versionamento, distribuição e auditoria dos modelos de IA usados pelo Judiciário brasileiro, fortalece também a abordagem de transparência por outros setores.
Um contexto de desconfiança
Em um contexto em que o brasileiro ainda demonstra, com razões, desconfiança em relação à IA [1] , a paixão disruptiva do Judiciário tem sido repetidamente verificada. O recém-publicado relatório de pesquisa O uso da inteligência artificial generativa no Poder Judiciário brasileiro [2] mostrou que quase 50% dos magistrados e servidores já utilizam tecnologia com alguma frequência de uso. Um dado alarmante é que a maioria absoluta utiliza soluções desenvolvidas pelas big tech, nomeadamente OpenAI, Microsoft e Google.
Nesse contexto, que ganhou mais urgência com a disseminação dos grandes modelos de linguagem (LLM), o Grupo de Trabalho sobre Inteligência Artificial no Poder Judiciário (GTIA) revisou a resolução. Dois pontos me parecem particularmente interessantes na minuta [3] postada à escrutínio público em setembro: a inclusão de capítulo dedicado a IA generativa e LLMs; e o direcionamento a uma harmonização com o PL 2338/23, a proposta mais avançada de regulação de IA que não temos no Legislativo.
Participação social ampla e multidisciplinar
Na audiência pública realizada no final de setembro no CNJ [4], juristas, especialistas convidados e participantes apresentaram uma miríade de posições sobre abordagens de uso, cuidados sobre contratação, potenciais e impactos da IA no judiciário. Acredito que alguns pontos parecem essenciais para o uso da inteligência artificial centralizada em direitos em uma área tão nevrálgica para a inovação responsável.
O primeiro ponto trata do papel da participação social ampla e multidisciplinar na análise de potenciais e impactos da IA nos Poderes Públicos. Parte dos convidados defendeu que a participação representativa (Cap. VIII) seja aperfeiçoada e ampliada, considerando o grande potencial de impacto.
A demanda é especialmente relevante se considerarmos que os estudos sobre impactos algorítmicos demonstraram uma enorme dificuldade sobre responsabilização e transparência devido à assimetria de poder entre big techs, startups impulsionadas pelo capital financeiro e o resto da população. Assim, tanto para fins republicanos de controle social quanto para fins de qualidade epistêmica do desenvolvimento, reforçamos também o apelo pela inclusão de mecanismos de participação social.
Abordagens de justificação e confiança zero
Parte da pesquisa crítica sobre inteligência a artificial generativa até rechaça o termo, preferindo alternativas como, no meu caso, "sistemas algorítmicos derivativos" para considerar que são sistemas desenvolvidos em grande medida sobre enormes bases de dados, extraídas de ambientes online, em sua maioria sem autorização ou consentimento dos autores. Além disso, grande parte dos grandes jogadores da área lançou sistemas sem os testes necessários para competir em um mercado caótico.
Quanto aos grandes modelos de linguagem, algumas notícias e títulos dos artigos podem dar uma noção sobre as questões em jogo desde que o atual boom da chamada IA generativa acelerou a competição entre o oligopólio das big techs. Alguns exemplos: "Grandes modelos de linguagem propagam pensando racistas na medicina", publicado na Nature [5]; "Sistema da OpenAI discrimina currículos a partir de nomes", investigação da Bloomberg [6]; e um preferido meu: "Como uma pedra por dia e bote cola na sua pizza: como a AI da Google se descolou da realidade" [7], reportado por vários veículos.
A partir dos acúmulos sobre impactos algorítmicos, alguns juristas e ativistas têm se aproximado de abordagens de justificação e de confiança zero para governança de inteligência artificial. Um segundo ponto então é que a participação representativa social também gerou o direcionamento para postura ainda mais cuidadosa sobre o uso de IA, como por exemplo a abordagem de justificação.
Nesse panorama, a explicabilidade é considerada insuficiente. A maioria das abordagens de explicabilidade oferece uma perspectiva limitada por ser intrínseca e descritiva, focada em análises internas sem levar em conta fatores institucionais.
A justificativa move a agulha para uma abordagem normativa sistêmica. Pasquale e Malgieri [9], por exemplo, entendem uma abordagem de justificação como indo além de apenas transparência sobre a tecnologia e seus processos, mas de fato uma justificação sobre a legalidade, justiça, necessidade, precisão e legitimidade de certas decisões automatizadas antes de qualquer uso ou contratação quando for de alto risco ou grande escala.
Do ponto de vista da sociedade civil, podemos citar a proposta de "confiança zero". As organizações que defendem a postura [10] consideram que os custos sociais da corporativa pela supremacia da IA já estão se acumulando à medida que as empresas apressam sistemas inseguros para o mercado – como chatbots investem a vomitar mentiras com confiança – integrando-os de forma imprudente em produtos e serviços essenciais.
As organizações defendem que em vez de confiar na boa vontade das empresas, cobrando as instituições estatais com recursos insuficientes ou os utilizadores afetados de provar e prevenir danos, ou de confiar em processos de auditoria pós-comercialização, as empresas devem provar que as suas ofertas de IA não são danosos.
Avaliação de discriminação indireta
Um terceiro ponto de sugestão é a adição mais explícita de considerações sobre avaliação de discriminação indireta durante os processos de avaliação, auditoria e análise de impactos, como no Art. 7º e art. 8º C. A Convenção Americana contra o Racismo, a Discriminação Racial e Formas Correlatas de Intolerância [11] estabelece que os Estados devem "realizar pesquisas sobre a natureza, as causas e as manifestações do racismo, da discriminação racial e formas correlatas de intolerância; comunidade, compilar e divulgar dados sobre a situação de grupos ou indivíduos que são vítimas do racismo, da discriminação racial e de formas correlatas de intolerância".
A convenção, que já possui status de emenda constitucional, considera discriminação indireta:
Aquilo que ocorre, em qualquer esfera da vida pública ou privada, quando um, prático ou aparentemente neutro tem a capacidade de causar uma manobra particular para pessoas pertencentes a um grupo específico ou como coloca em manobra, a menos que esse dispositivo, prático ou tenhamos um objetivo ou justificativa razoável e razoável.
Mencionando o histórico de casos de impactos contratados e a tendência de sistemas algorítmicos reforçados discriminação indireta, o relatório Discriminação racial e tecnologias digitais emergentes [12] produzido pela então relatora especial da ONU Tendayi Achiume recomendou que "tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas.
Estas avaliações de impacto devem incorporar oportunidades especiais para codedesign e co-implementação com representantes de grupos étnico-raciais marginalizados".
Segurança de dados e soberania digital
Finalmente, considerando questões de segurança de dados e de soberania digital, parece que o ótimo caput do artigo art. 8º-E que define que o LLM "poderão ser usados individualmente pelos magistrados e pelos servidores do Poder Judiciário como ferramentas de auxílio em suas respectivas atividades, desde que o seu acesso seja habilitado, fornecido e monitorado pelos tribunais" vá além, nos termos de segurança.
Hoje é plenamente possível que modelos de linguagem sejam rodados localmente, a partir de tecnologias abertas e seguras. Há muitos desenvolvedores no mundo todo que têm buscado abordagens que possam prescindir de apresentar as big techs com todos os nossos dados e poder de invejar, epistemicamente, decisões e ideologias.
