Redes programadas diretamente no hardware dos chips conseguem identificar imagens mais rapidamente e consumir muito menos energia do que as redes neurais tradicionais que suportam a maior parte dos sistemas modernos de IA. Esta conclusão foi apresentada na conferência Neural Information Processing Systems (NeurIPS) em Vancouver.
As redes neurais, como o GPT-4 e o Stable Diffusion, são construídas ligando perceptrons, simulações extremamente simplificadas de neurónios cerebrais. Apesar de serem muito potentes em larga escala, consomem enormes volumes de energia — tanto que a Microsoft chegou a estabelecer um acordo para reabrir a central nuclear de Three Mile Island para alimentar os seus avanços em IA.
Parte do problema reside no facto de os perceptrons serem abstrações de software. Executar uma rede neural numa GPU requer traduzir essas redes para o “idioma” do hardware, o que consome tempo e energia. Construir redes diretamente a partir de componentes físicos elimina muitos desses custos e, no futuro, estas redes poderão ser integradas em chips utilizados em smartphones e outros dispositivos, reduzindo drasticamente a necessidade de enviar dados para servidores.
Felix Petersen, ex-investigador de pós-doutoramento na Universidade de Stanford, desenvolveu redes compostas por portas lógicas, os blocos básicos dos chips de computador. Cada porta lógica é formada por alguns transístores que aceitam dois bits (0s ou 1s) como entrada e, dependendo da configuração, geram um único bit como saída. Tal como os perceptrons, estas portas podem ser ligadas em redes, mas o seu funcionamento é muito mais barato, rápido e simples. Durante a sua apresentação na NeurIPS, Petersen afirmou que redes baseadas em portas lógicas consomem centenas de milhares de vezes menos energia do que redes tradicionais baseadas em perceptrons.
Embora estas redes ainda apresentem um desempenho inferior às redes neurais tradicionais em tarefas como rotulagem de imagens, a sua velocidade e eficiência tornam a abordagem promissora, segundo Zhiru Zhang, professor de engenharia elétrica e de computação na Universidade de Cornell. “Se conseguirmos reduzir esta diferença, isso poderá abrir muitas possibilidades para aplicações de machine learning em dispositivos,” afirma Zhang.
O desenvolvimento das redes de portas lógicas surgiu do interesse de Petersen em “relaxações diferenciáveis”, uma abordagem matemática para resolver problemas complexos com cálculo diferencial. O treino destas redes não pode ser realizado diretamente com backpropagation, o algoritmo que tornou o deep learning possível, pois as portas lógicas operam apenas com 0s e 1s. Para contornar isto, Petersen criou funções que imitam o comportamento das portas lógicas, mas permitem respostas intermédias, possibilitando o uso de backpropagation.
Contudo, treinar redes relaxadas é um processo lento e intensivo. Cada nó pode assumir uma de 16 configurações possíveis de portas lógicas, o que exige monitorização e ajustes constantes de probabilidades, consumindo muito tempo e energia computacional. Mesmo com acesso a GPUs em Stanford e na Universidade de Konstanz, Petersen admite que o esforço torna a investigação extremamente desafiante.
Uma vez treinadas, porém, as redes tornam-se extremamente económicas de operar. Petersen testou as suas redes utilizando chips programáveis conhecidos como FPGAs, que simulam diferentes padrões de portas lógicas. Estas demonstraram uma eficiência comparável a outras redes ultraeficientes, como as redes neurais binárias, na classificação de imagens no conjunto de dados CIFAR-10 — e com muito menos componentes. Implementar estas redes em chips ASIC, que são projetados para tarefas específicas, poderia reduzir ainda mais os custos.
Farinaz Koushanfar, professora de engenharia elétrica e de computação na Universidade da Califórnia, em San Diego, acredita que redes de portas lógicas enfrentam desafios em cenários mais complexos. “É uma ideia interessante, mas não sei como se escalaria,” alerta. A aproximação usada para treinar estas redes pode falhar à medida que estas crescem, um problema que ainda não foi enfrentado, mas que poderá surgir no futuro.
Apesar disso, Petersen mantém ambições ousadas. Planeia criar um “modelo de fundação em hardware” — uma rede de portas lógicas poderosa e de uso geral que poderia ser produzida em massa diretamente nos chips de computadores e integrada em dispositivos como telemóveis. Esta abordagem poderia trazer enormes benefícios em termos de economia de energia. Redes deste tipo poderiam reconstruir fotos e vídeos a partir de informações de baixa resolução, reduzindo significativamente a quantidade de dados enviados entre servidores e dispositivos pessoais.
Embora reconheça que as redes de portas lógicas nunca irão competir com as redes neurais tradicionais em termos de desempenho, Petersen afirma que este não é o seu objetivo. Para ele, criar algo funcional e eficiente já é suficiente. “Não será o modelo mais poderoso,” diz. “Mas será o mais barato.”
Grace Huckins