A empresa proprietária do Facebook está a convidar investigadores a analisar e identificar as falhas na sua versão do GPT-3.
O laboratório de Inteligência Artificial (IA) da Meta criou um novo e massivo modelo de linguagem que possui tanto as habilidades notáveis quanto as falhas prejudiciais da pioneira rede neural GPT-3 da OpenAI. E, num movimento sem precedentes para a Big Tech, a empresa está a distribuir a tecnologia aos investigadores, juntamente a detalhes sobre como foi construída e treinada.
“Acreditamos firmemente que uma parte importante da pesquisa seja a possibilidade de permitir que outros examinem o seu trabalho. Nós queremos esse tipo de colaboração”, diz Joelle Pineau, defensora de longa data da transparência no desenvolvimento de tecnologia, que agora é diretora administrativa da Meta AI.
A decisão da Meta marca a primeira vez que um modelo de linguagem grande e totalmente treinado estará disponível para qualquer investigador que queira estudá-lo. A notícia foi bem recebida por muitos especialistas que se preocupavam com o facto de pequenas equipas estarem a construir essa poderosa tecnologia atrás das portas.
“Aplaudo a transparência”, diz Emily M. Bender, linguista computacional da Universidade de Washington (EUA) e crítica frequente da forma como os modelos de linguagem são desenvolvidos e implementados.
“É uma grande jogada”, diz Thomas Wolf, cientista-chefe da Hugging Face, a startup de IA por trás da BigScience, um projeto no qual mais de 1.000 voluntários em todo o mundo estão a colaborar num modelo de linguagem open-source. “Quanto mais modelos abertos, melhor”, diz.
Grandes modelos de linguagem, programas poderosos que podem gerar parágrafos de texto e imitar conversas humanas, tornaram-se uma das principais tendências em IA nos últimos dois anos. Mas têm falhas graves, como repetir como papagaios de desinformação, preconceitos e linguagens tóxicas.
Em teoria, colocar mais pessoas para trabalhar no problema deve ajudar. No entanto, como os modelos de linguagem exigem grandes quantidades de dados e poder de computação para serem treinados, continuam a ser projetos para empresas ricas de tecnologia. A comunidade de pesquisa geral, incluindo especialistas em ética e cientistas sociais preocupados com o seu uso indevido, teve que assistir dos bastidores.
A Meta AI diz que quer mudar isso. “Muitos de nós foram investigadores universitários”, diz Pineau. “Conhecemos a lacuna que existe entre as universidades e a indústria na capacidade de construir esses modelos. Tornar este disponível para os investigadores foi uma escolha fácil”. Espera que outros se debrucem sobre o seu trabalho e o desenvolvam. Avanços vêm mais rápido quando mais pessoas estão envolvidas, afirma.
A Meta está a disponibilizar o seu modelo, chamado Open Pretrained Transformer (OPT), para uso não comercial. Também está disponibilizar o seu código e um diário de bordo documentando o processo de formação. O diário de bordo contém atualizações diárias dos membros da equipa sobre os dados de formação: como foi adicionado ao modelo e quando, o que funcionou e o que não funcionou. Em mais de 100 páginas de notas, os investigadores registam todos os bugs, falhas e reinicializações num processo de formação de três meses que ocorreu continuamente de outubro de 2021 a janeiro de 2022.
Com 175 mil milhões de parâmetros (os valores numa rede neural que são ajustados durante a formação), o OPT é do mesmo tamanho que o GPT-3. Isso foi planeado, diz Pineau. A equipa construiu o OPT para corresponder com o GPT-3 tanto na sua precisão em tarefas de linguagem quanto na sua toxicidade. A OpenAI disponibilizou o GPT-3 como um serviço pago, mas não partilhou o próprio modelo ou o seu código. A ideia era fornecer aos investigadores um modelo de linguagem semelhante para estudar, diz Pineau.
A OpenAI recusou um convite para comentar o anúncio da Meta.
O Google, que está a explorar o uso de grandes modelos de linguagem nos seus produtos de pesquisa, também foi criticado por falta de transparência. A empresa gerou controvérsia em 2020, quando forçou a demissão de membros importantes de sua equipe de ética em IA depois de realizarem um estudo que destacou problemas com a tecnologia.
Choque cultural
Por que está a Meta a fazer isto? Afinal, Meta é uma empresa que falou pouco sobre como os algoritmos por trás do Facebook e do Instagram funcionam e tem a reputação de esconder descobertas desfavoráveis de suas próprias equipas de pesquisa internas. Uma grande razão para a abordagem diferente da Meta AI é a própria Pineau, que vem a pressionar por mais transparência em IA há vários anos.
Pineau ajudou a mudar a forma como as pesquisas são publicadas em várias das maiores conferências, apresentando uma lista de verificação de coisas que os investigadores devem enviar junto com os seus resultados, incluindo código e detalhes sobre como as experiências são executadas. Desde que ingressou na Meta (então Facebook) em 2017, defendeu essa cultura no seu laboratório de IA.
“Esse compromisso com a ciência aberta é o motivo de estar aqui”, diz. “Eu não estaria aqui em outros termos”.
Acima de tudo, Pineau quer mudar a forma como julgamos a IA. “O que chamamos de tecnologia de ponta hoje não pode ser de ponta apenas em relação a desempenho”, diz ela. “Tem que ser de ponta também em termos de responsabilidade”.
Ainda assim, disponibilizar um grande modelo de linguagem é uma jogada ousada para a Meta. “Não posso dizer que não há risco de esse modelo produzir uma linguagem da qual não nos orgulhamos”, diz Pineau. “Ela o fará”.
Pesando os riscos
Margaret Mitchell, uma das investigadoras de ética em IA que o Google expulsou em 2020, que agora está no Hugging Face, vê o lançamento do OPT como um movimento positivo. Mas acha que há limites para a transparência. O modelo de linguagem foi testado com rigor suficiente? Os benefícios previsíveis superam os danos previsíveis, como a geração de desinformação ou linguagem racista e misógina?
“Colocar um grande modelo de linguagem no mundo, onde um grande público provavelmente o usará ou será afetado pelos seus resultados, traz responsabilidades”, refere. Mitchell observa que esse modelo será capaz de gerar conteúdo prejudicial não apenas por si mesmo, mas por meio das aplicações que os investigadores constroem em cima.
A Meta AI auditou o OPT para remover alguns comportamentos prejudiciais, mas o objetivo é lançar um modelo com o qual os investigadores possam aprender, expondo todos os prós e os contras, diz Pineau.
“Houve muitas conversas sobre como fazer isso de uma maneira que nos permita dormir à noite, pois sabemos que há riscos em termos de reputação e de danos”, afirma. Descarta a ideia de que não deve lançar um modelo só porque é muito perigoso, que é a razão que a OpenAI deu para não lançar o antecessor do GPT-3, o GPT-2. “Eu entendo as fraquezas desses modelos, mas esse não é o espírito de uma pesquisa”.
Bender, coautor do estudo que desencadeou a disputa do Google com Mitchell, também está preocupado com a forma como os possíveis danos serão tratados. “Uma coisa que é realmente importante para mitigar os riscos de qualquer tipo de tecnologia de machine learning é basear avaliações e explorações em casos de uso específicos”, conta. “Para que será usado o sistema? Quem o usará e como os resultados do sistema serão apresentadas a eles? ”
Alguns investigadores questionam por que grandes modelos de linguagem estão a ser construídos, dado o seu potencial de dano. Para Pineau, essas preocupações devem ser atendidas com mais exposição, não menos. “Acredito que a única maneira de construir confiança é a transparência extrema”, diz ela.
“Temos opiniões diferentes ao redor do mundo sobre qual discurso é apropriado, e a IA faz parte dessa conversa”, diz ela. Não espera que os modelos de linguagem digam coisas com as quais todos concordam. “Mas como lidamos com isso? Precisa de muitas vozes nessa discussão”.
MIT Technology Review