Já se sabe que dados e algoritmos tendenciosos distorcem a tomada de decisão automatizada de uma forma que prejudica os grupos minoritários e de renda baixa. Por exemplo, o software usado por bancos para prever se alguém vai ou não pagar dívidas de cartão de crédito geralmente favorece os candidatos brancos mais abastados. Vários investigadores e startups estão a tentar consertar o problema, tornando esses algoritmos mais justos.
Contudo, no maior estudo sobre dados reais de hipotecas já feito, os economistas Laura Blattner, da Universidade de Stanford, e Scott Nelson, da Universidade de Chicago, mostram que as diferenças na aprovação de hipotecas entre grupos minoritários e majoritários não se devem apenas à parcialidade, mas ao fato de que grupos minoritários e de baixa renda têm menos dados nos seus históricos de crédito.
Isso significa que, quando esses dados são usados para calcular uma pontuação de crédito e essa pontuação é usada para calcular o índice de inadimplência do empréstimo, essa previsão será menos precisa. É essa falta de precisão que leva à desigualdade, não apenas à parcialidade.
As implicações são gritantes: algoritmos mais justos não resolverão o problema.
“É um resultado realmente impressionante”, diz Ashesh Rambachan, que estuda machine learning e economia na Universidade de Harvard, mas que não esteve envolvido no estudo. Os registos de crédito tendenciosos e desiguais têm sido questões importantes há algum tempo, mas este é o primeiro experimento em grande escala que analisa os pedidos de empréstimo de milhões de pessoas reais.
As pontuações de crédito compõem uma variedade de dados socioeconómicos, como histórico de empregos, registos financeiros e hábitos de compra, num único número. Além de decidir sobre pedidos de empréstimo, as pontuações de crédito agora são usadas para tomar muitas decisões que mudam vidas, incluindo decisões sobre seguro, contratação e moradia.
Para descobrir por que os grupos minoritários e majoritários eram tratados de forma diferente pelos credores hipotecários, Blattner e Nelson recolheram relatórios de crédito de 50 milhões de consumidores americanos anónimos. Então, vincularam cada um desses consumidores aos seus detalhes socioeconômicos retirados de um conjunto de dados de marketing, os seus títulos de propriedade e transações hipotecárias, além de dados sobre os credores hipotecários que lhes concederam os empréstimos.
Um dos motivos pelos quais este é o primeiro estudo desse tipo é que esses conjuntos de dados geralmente são privados e não estão disponíveis publicamente para os investigadores. “Fomos a uma agência de crédito e basicamente tivemos que pagar muito dinheiro para fazer isso”, disse Blattner.
Dados ruidosos
Após isso, experimentaram diferentes algoritmos preditivos para mostrar que as pontuações de crédito não eram simplesmente tendenciosas, mas “ruidosas”, um termo estatístico para dados que não podem ser usados para fazer previsões precisas. Consideremos um candidato minoritário com uma pontuação de crédito de 620. Num sistema tendencioso, podemos esperar que essa pontuação sempre estime em alta o risco desse requerente e que uma pontuação mais precisa seria de 625, por exemplo. Em teoria, essa tendência poderia ser corrigida por meio de alguma forma de ação afirmativa algorítmica, como a redução do limite de aprovação para aplicações de minorias.
Mas Blattner e Nelson mostram que o ajuste para parcialidade não teve efeito. Descobriram que a pontuação de 620 de um requerente minoritário era, de facto, um indicador insatisfatório de sua capacidade de crédito, mas que isso acontecia porque o erro poderia ocorrer para mais ou para menos: um 620 poderia ser 625 ou 615.
Essa diferença pode parecer sutil, mas é importante. Como a imprecisão vem do ruído nos dados, e não da parcialidade na forma como os dados são usados, não pode ser corrigida criando algoritmos melhores.
“É um ciclo que se autoperpetua”, diz Blattner. “Nós concedemos empréstimos às pessoas erradas e uma parte da população nunca tem a chance de acumular os dados necessários para receber um empréstimo no futuro”.
Blattner e Nelson tentaram medir a dimensão do problema. Construíram a sua própria simulação da ferramenta de previsão de um credor hipotecário e estimaram o que teria acontecido se os candidatos limítrofes, que haviam sido aceitos ou rejeitados por causa de pontuações imprecisas, tivessem suas decisões revertidas. Para fazer isso, usaram uma variedade de técnicas, como comparar candidatos rejeitados com outros semelhantes que haviam sido aceitos ou examinar outras linhas de crédito que os candidatos rejeitados haviam recebido, como empréstimos para compra de automóveis.
Juntando tudo isso, colocaram essas hipotéticas decisões “precisas” de empréstimo em sua simulação e mediram a diferença entre os grupos novamente. Descobriram que quando as decisões sobre candidatos de minorias e de baixa renda eram consideradas tão precisas quanto aquelas para os candidatos mais abastados e brancos, a disparidade entre os grupos caiu em 50%. Para candidatos de minorias, quase metade desse ganho veio da remoção de erros onde o candidato deveria ter sido aprovado, mas não foi. Os candidatos de baixa renda viram um ganho menor porque foi compensado pela remoção de erros que ocorreram no sentido contrário: candidatos que deveriam ter sido rejeitados, mas não foram.
Blattner aponta que lidar com essa imprecisão beneficiaria tanto os credores quanto os requerentes mal atendidos. “A abordagem económica nos permite quantificar os custos dos algoritmos ruidosos de uma forma significativa”, diz ela. “Podemos estimar o quanto de má alocação de crédito ocorre por causa disso”.
Corrigindo erros
Mas resolver o problema não será fácil. Há muitos motivos para os grupos minoritários terem dados de crédito ruidosos, afirma Rashida Richardson, advogada e investigadora que estuda tecnologia e raça na Northeastern University. “Existem consequências sociais complexas, onde certas comunidades podem não buscar o crédito tradicional por desconfiarem das instituições bancárias”, refere. Qualquer correção terá que lidar com as causas estruturais. Reverter gerações de danos exigirá inúmeras soluções, incluindo novas regulamentações bancárias e investimentos em comunidades minoritárias: “As soluções não são simples porque devem abordar uma variedade de políticas e práticas ruins”.
Uma opção de curto prazo seria o governo pressionar os credores a aceitar o risco de conceder empréstimos a requerentes de minorias rejeitados por seus algoritmos. Isso permitiria aos credores começar a coletar dados precisos sobre esses grupos pela primeira vez, o que beneficiaria tanto os requerentes quanto os credores a longo prazo.
Alguns credores menores já estão a começar a fazer isso, diz Blattner: “Se os dados existentes não dizem muito, saia e conceda vários empréstimos e aprenda sobre as pessoas”. Rambachan e Richardson também veem isso como um primeiro passo necessário. Mas Rambachan acredita que será necessária uma mudança cultural para os grandes credores. Segundo este, a ideia faz muito sentido para o pessoal da ciência de dados. No entanto, quando fala com as equipas dentro dos bancos, admitem que não é uma visão convencional. “Eles suspiram e dizem que não há como explicar isso para a equipe de negócios”, diz ele. “E não sei qual é a solução para isso”.
Blattner também acha que as pontuações de crédito devem ser complementadas com outros dados sobre os candidatos, como transações bancárias. Comemorou o anúncio recente de um grupo de bancos, incluindo o JPMorgan Chase, de que começaram a partilhar dados sobre as contas bancárias de seus clientes como fonte adicional de informações para indivíduos com histórico de crédito mau. Mas serão necessárias mais pesquisas para ver que diferença isso fará na prática. E os fiscalizadores precisam garantir que um maior acesso ao crédito não seja acompanhado por um comportamento predatório dos credores, diz Richardson.
Muitas pessoas agora estão cientes dos problemas com algoritmos tendenciosos, diz Blattner. Quer que as pessoas também comecem a falar sobre algoritmos ruidosos. O foco na parcialidade – e a crença de que ela tem uma solução técnica – significa que os investigadores podem estar negligenciando um problema mais amplo.
Richardson teme que os legisladores sejam persuadidos de que a tecnologia tem as respostas, quando não as tem. “Dados incompletos são preocupantes porque detectá-los exigirá uma compreensão bastante diferenciada das desigualdades sociais por parte dos investigadores”, diz ela. “Se quisermos viver em uma sociedade igualitária, da qual todos se sintam parte e sejam tratados com dignidade e respeito, precisamos começar a ser realistas sobre a gravidade e o panorama dos problemas que enfrentamos”.
MIT Technology Review