Timnit Gebru nunca pensou que um artigo científico lhe causaria tantos problemas. Em 2020, como co-líder da equipa de ética da IA do Google, Gebru se associou à Emily Bender, uma professora de linguística na Universidade de Washington, e as duas decidiram colaborar na investigação sobre a direção preocupante que a inteligência artificial estava a tomar. Gebru queria identificar os riscos apresentados por grandes modelos de linguagem, uma das descobertas recentes mais impressionantes na pesquisa de IA. Os modelos são algoritmos treinados em quantidades surpreendentes de texto. Sob as condições certas, eles podem compor o que parecem passagens de prosa convincentes.
Por alguns anos, as empresas de tecnologia correram para construir versões maiores e integrá-las em produtos de consumo. O Google, que inventou a técnica, já estava a usar uma para melhorar a relevância dos resultados de busca. A OpenAI anunciou o maior deles, chamado GPT-3, em junho de 2020 e o licenciou exclusivamente para a Microsoft alguns meses depois.
Gebru estava preocupada com a rapidez com que a tecnologia estava a ser implantada. No artigo que acabou por escrever com Bender e cinco outras pessoas, detalhou os possíveis perigos. Os modelos eram extremamente caros de criar — tanto no âmbito ambiental (exigem grandes quantidades de poder computacional) quanto financeiramente; com frequência, eram treinados no dialeto tóxico e abusivo da Internet; e viriam a dominar a pesquisa em linguagem de IA substituindo outras alternativas promissoras.
Assim como outras técnicas de IA existentes, os modelos não entendem realmente a linguagem humana. Mas, como podem manipulá-las para recuperar informações baseadas em texto para os utilizadores ou gerar conversas naturais, podem ser incluídos em produtos e serviços que rendem muito dinheiro às empresas de tecnologia.
Em novembro daquele ano, Gebru submeteu o artigo a uma conferência. Logo depois, os executivos do Google pediram que ela se retratasse e, quando recusou, demitiram-na. Dois meses depois, também demitiram a sua co-autora Margaret Mitchell, a outra líder da equipa ética de IA.
O desmantelamento dessa equipa gerou uma das maiores controvérsias no mundo da IA na memória recente. Os defensores do Google argumentaram que a empresa tem o direito de supervisionar os seus próprios investigadores. Mas para muitos outros, solidificou temores sobre o grau de controlo que os gigantes da tecnologia agora têm sobre o campo. A Big Tech é agora o principal empregador e financiador de investigadores de IA incluindo, de forma um tanto irónica, muitos daqueles que avaliam os seus impactos sociais.
Entre as empresas mais ricas e poderosas do mundo, Google, Facebook, Amazon, Microsoft e Apple tornaram a IA parte central dos seus negócios. Avanços na última década, particularmente numa técnica de IA chamada deep learning, permitiram que monitorassem o comportamento dos utilizadores; recomendassem notícias, informações e produtos para eles; e, acima de tudo, segmentá-los com anúncios. No ano passado, o aparelho de publicidade do Google gerou uma receita superior a US $140 mil milhões. O Facebook gerou US $84 mil milhões.
As empresas investiram pesadamente na tecnologia que lhes trouxe tanta riqueza. A empresa matriz do Google, a Alphabet, adquiriu o laboratório de inteligência artificial DeepMind, com sede em Londres, por US $600 milhões em 2014 e gasta centenas de milhões por ano para apoiar as suas pesquisas. A Microsoft assinou um acordo de US $1 bilião com a OpenAI em 2019 pelos direitos de comercialização dos seus algoritmos.
Ao mesmo tempo, os gigantes da tecnologia tornaram-se grandes investidores em pesquisas de IA feitas em universidades, influenciando fortemente as suas prioridades científicas. Com o passar dos anos, cada vez mais cientistas ambiciosos passaram a trabalhar para gigantes da tecnologia em tempo integral ou adotaram uma dupla afiliação. De 2018 a 2019, 58% dos artigos mais citados nas duas principais conferências de IA tiveram pelo menos um autor afiliado a um gigante da tecnologia, em comparação com apenas 11% uma década antes, de acordo com um estudo realizado por investigadores da Radical AI Network, um grupo que busca desafiar a dinâmica de poder em IA.
O problema é que a agenda corporativa para IA se concentrou em técnicas com potencial comercial, ignorando em grande parte as pesquisas que poderiam ajudar a enfrentar desafios como desigualdade económica e mudanças climáticas. Na verdade, tornou esses desafios piores. O impulso para automatizar tarefas custou empregos e levou ao aumento de atividades entediantes, como limpeza de dados e moderação de conteúdo. O impulso para criar modelos cada vez maiores fez com que o consumo de energia da IA explodisse. A deep learning também criou uma cultura na qual os nossos dados são constantemente copiados, muitas vezes sem consentimento, para treinar produtos como sistemas de reconhecimento facial. E os algoritmos de recomendação exacerbaram a polarização política, enquanto os grandes modelos de linguagem não conseguiram limpar a desinformação.
É essa situação que Gebru e um movimento crescente de académicos com ideias semelhantes querem mudar. Nos últimos cinco anos, procuraram mudar as prioridades do campo de simplesmente enriquecer as empresas de tecnologia, expandindo quem pode participar do desenvolvimento da tecnologia. O seu objetivo não é apenas mitigar os danos causados pelos sistemas existentes, mas também criar uma IA nova, mais equitativa e democrática.
“Um olá da Timnit”
Em dezembro de 2015, Gebru sentou-se para redigir uma carta aberta. Na metade do seu doutoramento em Stanford, compareceu à conferência Neural Information Processing Systems, o maior encontro anual de pesquisa em IA. Dos mais de 3.700 investigadores lá, Gebru contou apenas um punhado de negros.
Outrora uma pequena reunião sobre um assunto de nicho académico, o NeurIPS (como é conhecido agora) estava rapidamente a tornar-se o maior sucesso anual de empregos em IA. As empresas mais ricas do mundo se reuniram para realizar demonstrações, dar festas extravagantes e preencher cheques gordos para as pessoas mais raras de Silicon Valley: investigadores de IA habilidosos.
Naquele ano, Elon Musk chegou a anunciar o empreendimento sem fins lucrativos, a OpenAI. Musk, o então presidente da Y Combinator, Sam Altman, e o cofundador do PayPal, Peter Thiel, investiram US $1 bilião para resolver o que acreditavam ser um problema existencial: a perspectiva de que uma superinteligência pudesse um dia dominar o mundo. A solução deles: construir uma superinteligência ainda melhor. Dos 14 conselheiros ou membros da equipa técnica que formou, 11 eram homens brancos.
Enquanto Musk estava a ser celebrizado, Gebru estava a lidar com humilhação e assédio. Numa festa de conferência, um grupo de homens bêbados com camisas de pesquisa do Google cercou-a, e sujeitou-a a abraços indesejados, um beijo na bochecha e uma foto.
Gebru escreveu uma crítica contundente do que havia observado: o espetáculo, a adoração como um culto de celebridades da IA e, acima de tudo, a homogeneidade avassaladora. A cultura desse clube de homens, ela escreveu, já havia expulsado do campo as mulheres talentosas. Também estava a levar toda a comunidade a uma concepção perigosamente estreita de inteligência artificial e o seu impacto no mundo.
O Google já havia implantado um algoritmo de visão computacional que classificava os negros como gorilas, observou. E a sofisticação cada vez maior dos drones não tripulados estava a colocar os militares dos EUA no caminho das armas autónomas letais. Mas não houve menção a essas questões no grande plano de Musk para impedir que a IA dominasse o mundo em algum cenário futuro teórico. “Não precisamos projetar o futuro para ver os potenciais efeitos adversos da IA”, escreveu Gebru. “Já está a acontecer”.
Gebru nunca publicou a sua reflexão. Mas percebeu que algo precisava mudar. A 28 de janeiro de 2016, enviou um e-mail com o assunto “Um olá da Timnit” para cinco outros investigadores negros de IA. “Sempre fiquei triste com a falta de pessoas de cor na IA”, escreveu. “Mas agora encontrei 5 de vocês :) e pensei que seria bom se começássemos um grupo de negros em IA ou pelo menos nos conhecêssemos”.
O e-mail gerou uma discussão. O facto de ser negra importava para a sua pesquisa? Para Gebru, o seu trabalho era muito mais um produto de sua identidade; para outros, não. Mas depois de se encontrarem, concordaram: se a IA ia desempenhar um papel maior na sociedade, precisavam de mais investigadores negros. Caso contrário, o campo produziria ciência mais fraca — e as suas consequências adversas poderiam ficar muito piores.
Uma agenda voltada para o lucro
Enquanto o Black in AI estava apenas a começar a formar-se, a IA estava a atingir o seu ritmo comercial. Naquele ano de 2016, os gigantes da tecnologia gastaram cerca de US $20 a US $30 mil milhões no desenvolvimento da tecnologia, de acordo com o McKinsey Global Institute.
Aquecido pelo investimento corporativo, o campo deformou-se. Outros milhares de investigadores começaram a estudar IA, mas a maioria deles queria trabalhar com algoritmos de deep learning, como os que estão por trás de grandes modelos de linguagem. “Como um jovem estudante de doutoramento que deseja conseguir um emprego numa empresa de tecnologia, percebe que todas as empresas envolvem deep learning”, diz Suresh Venkatasubramanian, professor de ciência da computação que agora atua no Escritório de Política Científica e Tecnológica da Casa Branca. “Então muda toda a sua pesquisa para a deep learning. E assim, o próximo aluno de doutoramento que chega olha em volta e diz: ‘Todos estão a fazer um deep learning. Provavelmente deveria fazer isso também’”.
Mas a deep learning não é a única técnica na área. Antes do seu boom, havia uma abordagem diferente de IA conhecida como raciocínio simbólico. Enquanto a aprendizagem profunda usa grandes quantidades de dados para ensinar algoritmos sobre relacionamentos significativos em informações, o raciocínio simbólico concentra-se em codificar explicitamente o conhecimento e a lógica com base na experiência humana.
Alguns investigadores agora acreditam que essas técnicas devem ser combinadas. A abordagem híbrida tornaria a IA mais eficiente no uso de dados e energia, e daria a ela o conhecimento e a capacidade de raciocínio de um especialista, bem como a capacidade de se atualizar com novas informações. Mas as empresas têm pouco incentivo para explorar abordagens alternativas quando a maneira mais certa de maximizar seus lucros é construir modelos cada vez maiores.
No seu artigo, Gebru e Bender aludiram a um custo básico dessa tendência de se ater à deep learning: os sistemas de IA mais avançados de que precisamos não estão a ser desenvolvidos e problemas semelhantes continuam a repetir-se. O Facebook, por exemplo, depende muito de grandes modelos de linguagem para moderação automatizada de conteúdo. Mas, sem realmente entender o significado por trás do texto, esses modelos geralmente falham. Regularmente retiram publicações inócuas, ao mesmo tempo em que evitam o discurso de ódio e a desinformação.
Os sistemas de reconhecimento facial baseados em IA sofrem do mesmo problema. São treinados em grandes quantidades de dados, mas veem apenas padrões de pixels — não têm uma compreensão de conceitos visuais como olhos, bocas e narizes. Isso pode desarmar esses sistemas quando são usados em indivíduos com um tom de pele diferente das pessoas cujas quais foram treinados para reconhecer. No entanto, a Amazon e outras empresas venderam esses sistemas para a aplicação da lei. Nos Estados Unidos, causaram três casos conhecidos de policiais a prender a pessoa errada — todos homens negros — no ano passado.
Por anos, muitos na comunidade de IA concordaram amplamente com o papel das Big Techs em moldar o desenvolvimento e o impacto dessas tecnologias. Enquanto alguns expressaram desconforto com a aquisição corporativa, muitos outros acolheram com agrado a grande fonte de financiamento do setor.
Mas, à medida que as deficiências da IA de hoje se tornaram mais evidentes — tanto o seu fracasso em resolver os problemas sociais quanto os exemplos crescentes de que pode agravá-los — a fé na Big Tech enfraqueceu. A expulsão de Gebru e Mitchell pelo Google estimulou ainda mais a discussão, revelando o quanto as empresas priorizam o lucro em vez do auto policiamento.
No rescaldo imediato, mais de 2.600 funcionários do Google e 4.300 outros assinaram uma petição denunciando a demissão de Gebru como “censura de pesquisa sem precedentes”. Meio ano depois, grupos de pesquisa ainda rejeitam o financiamento da empresa, investigadores recusam a participar das suas oficinas de conferências e funcionários estão a sair em protesto.
Ao contrário de cinco anos antes, quando Gebru começou a levantar essas questões, existe agora um movimento bem estabelecido questionando o que a IA deveria ser e a quem deveria servir. Isso não é uma coincidência. É muito mais um produto da própria iniciativa da Gebru, que começou com o simples ato de convidar mais investigadores negros para o campo.
É necessária uma conferência
Em dezembro de 2017, o novo grupo Black in AI sediou seu primeiro workshop no NeurIPS. Enquanto organizava o workshop, Gebru abordou Joy Buolamwini, uma investigadora do MIT Media Lab que estava a estudar sistemas comerciais de reconhecimento facial para possíveis vieses. Buolamwini começou a testar esses sistemas depois que um deles falhou em detectar o seu próprio rosto, a menos que colocasse uma máscara branca. Ela apresentou os seus resultados preliminares no workshop.
Deborah Raji, então uma investigadora de graduação, foi outra participante inicial. Raji ficou chocada com a cultura que observara no NeurIPS. O workshop se tornou no seu refúgio. “Passar de quatro ou cinco dias para um dia inteiro de pessoas que se parecem comigo falando sobre ter sucesso neste espaço — foi um incentivo muito importante para mim”, diz.
Buolamwini, Raji e Gebru trabalhariam juntas em dois estudos inovadores sobre sistemas discriminatórios de visão computacional. Buolamwini e Gebru foram coautoras de Gender Shades, que mostrou que os sistemas de reconhecimento facial vendidos pela Microsoft, IBM e a gigante chinesa da tecnologia Megvii tinham taxas de falha notavelmente altas em mulheres negras, apesar do desempenho quase perfeito em homens brancos. Raji e Buolamwini então colaboraram num acompanhamento chamado Auditoria Actionable, que descobriu o mesmo para o Rekognition da Amazon. Em 2020, a Amazon concordaria com uma moratória de um ano nas vendas policiais de seu produto, em parte por causa desse trabalho.
No primeiro workshop de Black in AI, entretanto, esses sucessos eram possibilidades distantes. Não havia outra agenda a não ser construir uma comunidade e produzir pesquisas com base nas suas perspectivas dolorosamente deficientes. Muitos espectadores não entendiam por que esse grupo precisava existir. Gebru lembra-se de comentários desdenhosos de alguns membros da comunidade de IA. Mas para outros, Black in AI apontou um novo caminho a seguir.
Isso foi verdade para William Agnew e Raphael Gontijo Lopes, ambos homens queer conduzindo pesquisas em ciência da computação, que perceberam que poderiam formar um grupo queer em IA. (Outros grupos que tomaram forma incluem Latinx in AI, {Dis} Ability in AI e Muslim in ML.) Para Agnew, em particular, ter tal comunidade parecia uma necessidade urgente. “Era difícil até mesmo me imaginar tendo uma vida feliz”, revela, refletindo sobre a falta de modelos queer na área. “Tem o Turing, mas ele suicidou-se. Então isso é deprimente. E a parte queer dele é simplesmente ignorada”.
Nem todos os membros do grupo de afinidade veem uma conexão entre a sua identidade e sua pesquisa. Ainda assim, cada grupo estabeleceu conhecimentos específicos. Black in AI tornou-se o centro intelectual para expor a discriminação algorítmica, criticar a vigilância e desenvolver técnicas de IA eficientes em dados. Queer in AI se tornou um centro para contestar as formas como os algoritmos violam a privacidade das pessoas e os classificam em categorias delimitadas por padrão.
Venkatasubramanian e Gebru também ajudaram a criar a conferência Equidade, Responsabilidade e Transparência (FAccT, em inglês) para criar um fórum de pesquisa sobre as implicações sociais e políticas da IA. Ideias e rascunhos de documentos discutidos em workshops de grupos de afinidade NeurIPS geralmente se tornam a base para artigos publicados na FAccT, que então mostra essa pesquisa para um público mais amplo.
Foi depois da apresentação de Buolamwini no primeiro workshop Black in AI, por exemplo, que a FAccT publicou Gender Shades. Junto com a Auditoria Actionable, alimentou várias campanhas importantes de educação e defesa para limitar o uso do reconhecimento facial pelo governo. Quando a Amazon tentou minar a legitimidade das pesquisas de Buolamwini e Raji, dezenas de investigadores de IA e organizações da sociedade civil se uniram para defendê-las, prenunciando o que mais tarde fariam pela Gebru. Esses esforços acabaram contribuindo para a moratória da Amazon, que em maio a empresa anunciou que se estenderia indefinidamente.
A pesquisa também desencadeou uma cascata de regulamentação. Mais de uma dúzia de cidades proibiram o uso de reconhecimento facial pela polícia, e Massachusetts agora exige que a polícia obtenha a permissão de um juiz para usá-lo. Tanto os EUA quanto a Comissão Europeia propuseram regulamentação adicional.
“Primeiro, tínhamos que apenas estar lá”, diz Gebru. “E em algum ponto, o que Black in AI começa a tornar-se importante. E o que todos esses grupos juntos dizem torna-se importante. Tem que nos ouvir agora”.
Siga o dinheiro
Após a demissão de Gebru e Mitchell, a área está a lutar novamente com uma velha questão: É possível mudar o status quo trabalhando de dentro? Gebru ainda acredita que trabalhar com gigantes da tecnologia é a melhor maneira de identificar os problemas. Mas também acredita que os investigadores corporativos precisam de proteções legais mais fortes. Se notarem práticas de risco, devem ser capazes de partilhar publicamente as suas observações sem prejudicar as suas carreiras.
Depois, há a questão do financiamento. Muitos investigadores querem mais investimentos do governo dos Estados Unidos para apoiar trabalhos que sejam críticos para o desenvolvimento de IA comercial e para o avanço do bem-estar público. No ano passado, destinaram-se “apenas” US $1 bilião em pesquisas de IA não relacionadas à defesa. O governo Biden agora está a pedir ao Congresso que invista US $180 mil milhões adicionais em tecnologias emergentes, com IA como prioridade.
Esse financiamento poderia ajudar pessoas como Rediet Abebe, professora assistente de ciência da computação na Universidade da Califórnia, Berkeley. Abebe, que também fundou o Black in AI, veio para a área de IA com a ideia de usá-la para promover a igualdade social. Mas, quando começou o seu doutoramento em Cornell, ninguém se dedicava a fazer essa pesquisa.
No outono de 2016, como estudante de doutoramento em Cornell, começou um pequeno grupo de leitura com um colega estudante de pós-graduação para estudar tópicos como instabilidade habitacional, acesso a cuidados de saúde e desigualdade. Ela então embarcou num novo projeto para ver se as suas habilidades computacionais poderiam apoiar os esforços para aliviar a pobreza.
Eventualmente, encontrou o estudo Poverty Tracker, um conjunto de dados detalhados sobre os choques financeiros — despesas inesperadas como contas médicas ou multas de estacionamento — vividos por mais de 2.000 famílias de Nova Iorque. Ao longo de muitas conversas com os autores do estudo, assistentes sociais e organizações sem fins lucrativos que atendem a comunidades marginalizadas, aprendeu sobre as suas necessidades e disse-lhes como poderia ajudar. Abebe então desenvolveu um modelo que mostrava como a frequência e o tipo de choques afetam a situação econômica de uma família.
Cinco anos depois, o projeto ainda está em andamento. Agora está a colaborar com organizações sem fins lucrativos para melhorar o seu modelo e trabalhando com legisladores por meio do California Policy Lab para usá-lo como uma ferramenta para prevenir a falta de moradia. O seu grupo de leitura também cresceu em uma comunidade de 2.000 pessoas e está a realizar a sua conferência inaugural ainda este ano.
Abebe vê isso como uma forma de incentivar mais investigadores a mudar as normas da IA. Enquanto as conferências tradicionais de ciência da computação enfatizam o avanço das técnicas computacionais com o simples objetivo de fazê-lo, a nova irá publicar um trabalho que primeiro busca compreender profundamente uma questão social. O trabalho não é menos técnico, mas constrói a base para o surgimento de IA socialmente mais significativa.
“Essas mudanças pelas quais estamos a lutar não são apenas para grupos marginalizados”, diz. “Na verdade, são para todos”.
Artigo de Karen Hao – Autor, MIT Technology Review EUA
MIT Technology Review