Duas das qualidades mais difíceis de equilibrar no mundo do aprendizado de máquina são justiça e precisão. Algoritmos otimizados para precisão podem perpetuar involuntariamente o preconceito contra grupos específicos, enquanto aqueles que priorizam a justiça podem comprometer a precisão ao classificar incorretamente alguns pontos de dados. Com esse desafio em mente, uma equipe do CSAIL assumiu a liderança na criação de uma estrutura que permite uma abordagem mais diferenciada para equilibrar essas qualidades.
Uma Estrutura Inovadora
Em vez de forçar uma decisão binária ao rotular todos os pontos de dados como "bons" ou "ruins", sua estrutura usa o algoritmo de Classificação de Opções de Rejeição (ROC), que atribui uma terceira categoria de "amostras rejeitadas", permitindo identificar instâncias em que o modelo pode ser menos certo ou em que as previsões podem levar à injustiça. Ao rejeitar essas instâncias, a estrutura pode reduzir a probabilidade de resultados injustos para certos grupos (por exemplo, por idade ou gênero) sem sacrificar drasticamente a precisão geral.
As instâncias "rejeitadas" também podem ser analisadas mais a fundo para entender potenciais fontes de viés nos dados ou no modelo. Essas informações, por sua vez, podem ser usadas para melhorar o modelo e o processo de coleta de dados para mitigar viés futuro.
Justiça Individual e de Grupo
O desenvolvimento da estrutura foi liderado pelo pesquisador do MIT e ex-professor Amar Gupta, juntamente com o pesquisador afiliado Rashmi Nagpal e o estudante de MEng Ariba Khan. Gupta diz que os sistemas existentes geralmente se concentram em otimizar apenas para "justiça de grupo", garantindo a não discriminação entre grupos protegidos. Em contraste, sua estrutura integra tanto a justiça de grupo quanto a justiça individual, o que envolve tratar usuários individuais comparáveis de forma semelhante.
Por exemplo, digamos que um modelo de aprendizado de máquina esteja sendo usado para prever a probabilidade de aprovação de empréstimo para indivíduos solicitando uma hipoteca. "Justiça de grupo" requer que o modelo preveja aprovação de empréstimo em taxas semelhantes para homens e mulheres, garantindo tratamento equitativo entre gêneros. Em contraste, "justiça individual" significa que o modelo forneceria previsões semelhantes para indivíduos com qualificações comparáveis, independentemente de sua idade, gênero ou etnia.
Resultados Promissores
A análise experimental da equipe comparando sua estrutura baseada em ROC a sistemas similares demonstrou sua capacidade de atingir alta precisão e imparcialidade. Em um conjunto de dados de pontuações de crédito alemãs, ele atingiu uma precisão de mais de 94%, o que significa que o modelo deve fornecer previsões semelhantes para indivíduos com qualificações e circunstâncias comparáveis, independentemente de características sensíveis como idade, gênero ou etnia.
Gupta diz que a maioria dos estudos existentes que foram feitos nessa área envolveram conjuntos de dados públicos, mas a equipe queria explorar mais conjuntos de dados privados para melhorar a aplicabilidade da eliminação de vieses dos algoritmos que são usados tão amplamente em tantos setores diferentes da indústria.
Aplicações em Diversos Setores
"Esses problemas de equidade e justiça não se limitam a uma organização ou indústria, nem a apenas um fator isolado", diz Gupta. "Uma ferramenta como o ROC poderia realmente ser usada em qualquer lugar que você precise fazer julgamentos criteriosos sobre dados que você tem, de finanças a assistência médica."
A equipe apresentou sua estrutura como parte de um artigo publicado em uma edição especial da Machine Learning and Knowledge Extraction. Um segundo artigo relacionado ("Otimizando justiça e precisão: uma abordagem ótima de Pareto para tomada de decisão") também foi publicado no início deste ano no periódico AI and Ethics.
Abordagem de Otimalidade de Pareto
No segundo artigo, os pesquisadores trabalharam em estreita colaboração com colegas da Ernst and Young e outras empresas afiliadas da CSAIL para investigar uma abordagem de tomada de decisão fundamentada no conceito econômico de otimalidade de Pareto. Essa abordagem busca um estado de alocação de recursos em que melhorar um aspecto de um conjunto de soluções (ou seja, precisão) não pode ocorrer sem degradar outro aspecto (justiça).
Os pesquisadores desenvolveram especificamente uma extensão de uma estrutura chamada "Minimax Pareto Fairness" (MMPF), que usa uma função de perda multiobjetivo que, novamente, combina elementos de justiça individual e de grupo para atingir a otimização de Pareto.
A equipe testou sua estrutura em vários conjuntos de dados de código aberto, incluindo os conjuntos de dados Adult Census Income, COMPAS e German Credit, e mostrou uma redução significativa na compensação entre precisão e justiça em vários recursos sensíveis.
Próximos Passos
A nova estrutura foca em equilibrar justiça e desempenho usando duas métricas de justiça, com planos de explorar mais no futuro. Os pesquisadores visam combinar métodos de treinamento com estratégias de pré ou pós-processamento para melhorar os resultados. Nagpal diz que os próximos passos incluem o ajuste fino de compensações de justiça usando pesos diferenciais e o refinamento do processo de repesagem de Pareto para atribuir pesos individuais a pontos de dados para melhor otimização.
Com essa abordagem inovadora, a equipe do CSAIL está liderando o caminho para equilibrar com precisão a justiça e a precisão no aprendizado de máquina, abrindo caminho para aplicações mais éticas e equitativas em uma ampla gama de setores.
