A Humane Intelligence, uma organização focada em avaliar sistemas de IA, está a lançar uma competição, que desafia desenvolvedores a criar um modelo de visão computacional capaz de rastrear propaganda de ódio baseada em imagens na internet. Organizado em parceria com o grupo nórdico de contraterrorismo Revontulet, o programa de recompensas foi aberto dia 26 de setembro. Qualquer pessoa com 18 anos ou mais pode participar e concorrer aos prémios de US$ 10 mil destinados aos vencedores.
Este é o segundo de uma série planeada de 10 programas de “recompensas por viés algorítmico” da Humane Intelligence, uma organização sem fins lucrativos que investiga o impacto social da IA. A entidade foi lançada pela proeminente investigadora de IA, Rumman Chowdhury, em 2022 e conta com o apoio do Google.org, ramo filantrópico do Google.
“O objetivo dos nossos programas de recompensas é, em primeiro lugar, ensinar as pessoas a fazer avaliações algorítmicas,” diz Chowdhury, “mas também, em segundo lugar, resolver, de facto, um problema urgente na área.”
O primeiro desafio da série pediu aos participantes que avaliassem lacunas em conjuntos de dados que podem ser usados para treinar modelos — lacunas que podem, especificamente, gerar resultados factualmente imprecisos, tendenciosos ou enganosos.
O segundo desafio lida com o rastreamento de imagens odiosas na internet — um problema incrivelmente complexo. A IA generativa permitiu uma explosão desse tipo de conteúdo, e a própria IA é utilizada para manipular essas imagens de forma que não sejam removidas das redes sociais. Por exemplo, grupos extremistas podem usar IA para alterar ligeiramente uma imagem que já foi banida por uma plataforma, criando rapidamente centenas de cópias diferentes que não são facilmente identificadas pelos sistemas de deteção automatizada. Redes extremistas também podem usar IA para embutir padrões em imagens que são indetetáveis ao olho humano, mas confundem e fogem aos sistemas de deteção. Isso criou, essencialmente, um jogo do gato e do rato entre grupos extremistas e plataformas online.
O desafio exige dois modelos diferentes. O primeiro, para participantes com competências intermédias, deve identificar imagens de ódio; o segundo, considerado um desafio avançado, deve ser um modelo capaz de enganar o primeiro. “Que realmente imita como as coisas funcionam no mundo real,” diz Chowdhury. “As pessoas do bem criam uma abordagem, e então os vilões criam outra.” O objetivo é envolver investigadores de aprendizagem automática no tema de mitigação do extremismo, o que pode levar à criação de novos modelos capazes de filtrar eficazmente imagens de ódio.
Um dos grandes desafios do projeto é que a propaganda baseada em ódio pode depender muito do contexto. E alguém que não tenha um entendimento profundo de certos símbolos ou significados pode não conseguir identificar o que qualifica uma imagem como propaganda de um grupo nacionalista branco, por exemplo.
“Se [o modelo] nunca vir um exemplo de uma imagem de ódio de uma parte do mundo, não será eficaz em detetá-la,” diz Jimmy Lin, professor de ciência da computação na Universidade de Waterloo, que não está associado ao programa de recompensas.
Esse efeito é amplificado à volta do mundo, já que muitos modelos não têm um vasto conhecimento de contextos culturais. Por isso, a Humane Intelligence decidiu associar-se a uma organização fora dos EUA para este desafio específico. “A maioria destes modelos são, geralmente, ajustados para exemplos dos EUA, e por isso, é importante estarmos a trabalhar com um grupo nórdico de contraterrorismo,” diz Chowdhury.
Lin, no entanto, alerta que resolver estes problemas pode exigir mais do que mudanças algorítmicas. “Temos modelos que geram conteúdo falso. Bem, podemos desenvolver outros modelos que detetem conteúdo falso gerado? Sim, esta é certamente uma abordagem,” ele afirma. “Mas acredito que, a longo prazo, esforços de formação, literacia e educação terão mais benefícios e um impacto mais duradouro. Pois não estaremos sujeitos a este jogo do gato e do rato.”
O desafio decorrerá aberto até dia 7 de novembro de 2024. Serão selecionados dois vencedores, um para o desafio intermédio e outro para o avançado; eles irão receber prémios de US$ 4.000 e US$ 6.000, respetivamente. A Revontulet vai avaliar os modelos dos participantes, podendo escolher integrá-los no seu conjunto de ferramentas para combater o extremismo.
Scott J Mulligan