O “apagamento da participação” pode ser a próxima moda passageira perigosa no machine learning

A comunidade de Inteligência Artificial (IA) está finalmente a acordar para o facto de que o machine learning pode causar danos desproporcionais a grupos já oprimidos e desfavorecidos. Temos ativistas e militantes a agradecer por isso. Agora, investigadores e académicos de machine learning estão a procurar maneiras de tornar a IA mais justa, responsável e transparente – mas também mais participativa.

Um dos eventos mais empolgantes e com boa participação da International Conference on Machine Learning em julho foi chamado de “Abordagens Participativas de Machine Learning”. Este workshop aproveitou o interesse da comunidade de construir sistemas algorítmicos mais democráticos, cooperativos e equitativos, incorporando métodos participativos no seu design. Esses métodos trazem para o processo de design aqueles que interagem e são afetados por um sistema algorítmico – por exemplo, pedir a enfermeiras e médicos para ajudar a desenvolver uma ferramenta de detecção de sepse.

Esta é uma intervenção muito necessária no campo de machine learning, que pode ser excesivamente hierárquica e homogénea. Mas não é uma solução milagrosa: na verdade, o “apagamento da participação” pode tornar-se a próxima moda perigosa da área.

Isso é o que eu, e os meus co-autores Emanuel Moss, Olaitan Awomolo e Laura Forlano, argumentamos no nosso artigo recente “A participação não é uma correção de design para o machine learning“.

Ignorar padrões de opressão e privilégio sistémico leva a incontáveis sistemas de machine learning ​​que são profundamente injustos e pouco transparentes. Esses padrões têm permeado a área nos últimos 30 anos. Enquanto isso, o mundo assistiu ao crescimento exponencial da desigualdade de riqueza e às mudanças climáticas causadas pelos combustíveis fósseis. Esses problemas estão enraizados numa dinâmica chave do capitalismo: extração. A participação também é frequentemente baseada na mesma lógica extrativa, especialmente quando se trata de machine learning.

A participação não é gratuita

Vamos começar com esta observação: a participação já é uma grande parte do machine learning, mas de maneiras problemáticas. Uma delas é a participação como trabalho.

Independentemente do seu trabalho ser reconhecido ou não, muitos participantes desempenham um papel importante na produção de dados que são usados ​​para treinar e avaliar modelos de machine learning. Fotos que alguém tirou e publicou são retiradas da web, e trabalhadores com baixos salários em plataformas como Amazon Mechanical Turk tomam nota dessas fotos para transformá-las em dados de formação. Os utilizadores comuns de sites também fazem essa anotação ao preencher um reCAPTCHA. E há muitos exemplos do que é conhecido como trabalho fantasma – termo da antropóloga Mary Gray para todo o trabalho nos bastidores que faz com que sistemas aparentemente automatizados funcionem. Grande parte dessa participação não é devidamente compensada e, em muitos casos, nem mesmo reconhecida.

A participação como consultoria, por sua vez, é uma tendência observada em áreas como o design urbano e, cada vez mais, no machine learning também. Mas a eficácia dessa abordagem é limitada. Geralmente é de curta duração, sem nenhum plano para estabelecer parcerias significativas de longo prazo. As preocupações com a propriedade intelectual tornam difícil examinar verdadeiramente essas ferramentas. Como resultado, esta forma de participação é muitas vezes meramente performativa.

Mais promissora é a ideia de participação como justiça. Aqui, todos os membros do processo de design trabalham juntos em relações estreitamente integradas com comunicação frequente. A participação como justiça é um compromisso de longo prazo que se concentra no design de produtos guiados por pessoas de diversas origens e comunidades, incluindo a comunidade de deficientes, que há muito desempenha um papel de liderança neste ponto. Este conceito tem importância social e política, mas as estruturas de mercado capitalistas tornam quase impossível uma boa implementação.

O machine learning estende as prioridades mais amplas do setor de tecnologia, que se concentram em escala e extração. Isso significa que o machine learning participativo é, por enquanto, um paradoxo. Por padrão, a maioria dos sistemas de machine learning tem a capacidade de vigiar, oprimir e coagir (inclusive no local de trabalho). Esses sistemas também têm maneiras de “manipular” consentimento – por exemplo, exigindo que os utilizadores optem por sistemas de vigilância para usar certas tecnologias, ou implementando configurações padrão que os desencorajam de exercer o seu direito à privacidade.

Diante disso, não é surpresa que o machine learning deixe de levar em consideração a dinâmica de poder existente e adote uma abordagem extrativa para a colaboração. Se não tivermos cuidado, o machine learning participativo pode seguir o caminho da ética da IA ​​e tornar-se apenas mais um modismo usado para legitimar a injustiça.

Uma maneira melhor

Como podemos evitar esses perigos? Não existe uma resposta simples. Mas aqui estão quatro sugestões:

Reconhecer a participação como trabalho. Muitas pessoas já usam sistemas de machine learning no decorrer do seu dia. Muito desse trabalho mantém e melhora esses sistemas e, portanto, é valioso para os seus proprietários. Para reconhecer isso, todos os utilizadores devem ser solicitados a consentir e receber formas de optar por sair de qualquer sistema. Se escolherem participar, devem receber uma compensação em retorno. Fazer isso pode significar esclarecer quando e como os dados gerados pelo comportamento de um utilizador serão usados ​​para fins de treinamento (por exemplo, um banner no Google Maps ou uma notificação opt-in). Significaria também fornecer apoio apropriado para moderadores de conteúdo, compensando de forma justa os trabalhadores fantasmas e desenvolver sistemas de recompensa monetária ou não monetária para compensar os usuários por seus dados e trabalho.

Façamos um contexto de participação específico. Em vez de tentar usar uma abordagem única para todos, os especialistas devem estar cientes dos contextos específicos em que operam. Por exemplo, ao desenvolver um sistema para prever a violência juvenil e de gangues, devem reavaliar continuamente as maneiras como se baseiam na experiência vivida e no conhecimento do domínio, e colaborarem com as pessoas para as quais projetam. Isto é particularmente importante visto o contexto de um projeto muda com o tempo. Documentar até mesmo pequenas mudanças no processo e no contexto pode formar uma base de conhecimento para uma participação efetiva a longo prazo. Por exemplo, apenas médicos devem ser consultados num sistema de machine learning para atendimento clínico, ou enfermeiros e pacientes também devem ser incluídos? Deixar claro porque e como certas comunidades foram envolvidas tornam tais decisões e relacionamentos transparentes, responsáveis ​​e práticos.

Planeie uma participação a longo prazo desde o início. As pessoas são mais propícias a permanecer envolvidas nos processos ao longo do tempo se forem capazes de compartilhar e obter conhecimento, em oposição a ter que extraí-lo deles. Isso pode ser difícil de alcançar no machine learning, especialmente para casos de designs patenteados. Aqui, vale a pena reconhecer as tensões que complicam a participação a longo prazo no machine learning e reconhecer que a cooperação e a justiça não se expandem sem atrito. Esses valores exigem manutenção constante e devem ser articulados continuamente em novos contextos.

Aprender com os erros do passado. Mais erros podem ser causados ​​ao replicar as maneiras de pensar que originalmente produziram tecnologia prejudicial. Nós, como investigadores, precisamos aumentar a nossa capacidade de pensamento lateral em aplicações e profissões. Para facilitar isso, a comunidade de machine learning e design pode desenvolver um banco de dados pesquisável para destacar as falhas de participação (como o projeto da enseada do Sidewalk Labs em Toronto). Essas falhas, por sua vez, podem ser cruzadas com conceitos sócio-estruturais (como questões relativas à desigualdade racial). Esse banco de dados deve cobrir projetos de design em todos os setores e domínios, não apenas aqueles em machine learning, e reconhecer explicitamente as ausências e exceções. Esses casos extremos são frequentemente aqueles com os quais podemos aprender mais.

É emocionante ver a comunidade de machine learning abraçar as questões de justiça e equidade. Mas as respostas não devem basear-se apenas na participação. O desejo por uma solução milagrosa tem atormentado a comunidade de tecnologia há muito tempo. É hora de abraçar a complexidade que vem com o desafio da lógica capitalista extrator do machine learning.

Artigo de Mona Sloane,Autor – MIT Technology Review EUA