O machine learning automatizado promete acelerar o processo de desenvolvimento de modelos de Inteligência Artificial e tornar a tecnologia mais acessível.
Os investigadores de machine learning tomam muitas decisões ao projetar novos modelos, como quantas camadas incluir nas redes neurais e quanto peso dar às entradas em cada nó da rede. O resultado de toda essa tomada de decisão humana é o de que modelos complexos acabam sendo “projetados por intuição” em vez de sistematicamente, segundo Frank Hutter, diretor do laboratório de machine learning da Universidade de Freiburg, na Alemanha.
Um campo em crescimento chamado machine learning automatizado, ou autoML, visa eliminar as suposições. A ideia é fazer com que os algoritmos assumam as decisões que os investigadores atualmente precisam tomar ao projetar modelos. Basicamente, essas técnicas podem tornar o machine learning mais acessível.
Embora o machine learning automatizado exista há quase uma década, os investigadores ainda estão a trabalhar para aprimorá-lo. No início de agosto, uma conferência ocorreu em Baltimore (EUA) onde foram demonstrados os esforços para melhorar a precisão do autoML e otimizar seu desempenho. Os organizadores descreveram este encontro como a primeira conferência internacional sobre o assunto.
Há um grande interesse no potencial do autoML para simplificar o machine learning. Algumas empresas como a Amazon e o Google já oferecem ferramentas de machine learning simplificadas que aproveitam as técnicas de autoML. Se essas técnicas se tornarem mais eficientes, poderão acelerar a pesquisa e facilitar o uso de mais pessoas.
A ideia é chegar a um ponto em que as pessoas possam fazer qualquer pergunta a uma ferramenta de autoML e receberem o resultado desejado. Esse objetivo é o “Santo Graal da ciência da computação”, refere Lars Kotthoff, organizador da conferência e professor assistente de ciência da computação na Universidade de Wyoming (EUA). “Você especifica o problema e o computador descobre como resolvê-lo, simples assim”.
Mas primeiro, os investigadores terão que descobrir como tornar essas técnicas mais eficientes em termos de tempo e energia.
O que é autoML?
À primeira vista, o conceito de autoML pode parecer redundante – afinal, machine learning já significa automatizar o processo de extração de insights a partir de dados. Mas como os algoritmos de autoML operam num nível de abstração acima dos modelos de machine learning básicos, contando apenas com os resultados desses modelos como guias, podem economizar tempo e poder computacional. Os investigadores podem aplicar técnicas de autoML a modelos pré-treinados para obter novos insights sem desperdiçar poder computacional repetindo pesquisas existentes.
Por exemplo, o investigador Mehdi Bahrami e os seus coautores da Fujitsu Research of America apresentaram um trabalho recente sobre como usar um algoritmo BERT-sort com diferentes modelos pré-treinados para adaptá-los a novos propósitos. O BERT-sort é um algoritmo que pode descobrir o que é conhecido como “ordem semântica” quando treinado em conjuntos de dados. Por exemplo, ao usar dados sobre críticas de filmes, sabe que filmes “ótimos” têm classificação superior a filmes “bons” e “maus”.
Com as técnicas de autoML, a ordem semântica aprendida também pode ser expandida para classificar coisas como diagnósticos de cancro ou mesmo texto no idioma coreano, reduzindo tempo e cálculos.
“BERT leva meses de computação e é muito caro, cerca de um milhão de dólares, para gerar o modelo e repetir esses processos”, diz Bahrami. “Então, se toda a gente quer fazer a mesma coisa, seria extremamente caro e não seria energeticamente eficiente. Não é bom para o mundo”.
Embora o campo seja promissor, os investigadores ainda estão a procurar maneiras de tornar as técnicas de autoML mais eficientes computacionalmente. Por exemplo, métodos como a pesquisa de arquitetura neural atualmente constroem e testam muitos modelos diferentes para encontrar o que melhor se ajusta, e a energia necessária para concluir todas essa iteração pode ser significativa.
As técnicas de AutoML também podem ser aplicadas a algoritmos de machine learning que não envolvem redes neurais, como criar florestas de decisão aleatórias ou máquinas de vetor de suporte para classificar dados. A pesquisa nessas áreas está mais avançada, com muitas bibliotecas de codificação já disponíveis para pessoas que desejam incorporar técnicas de autoML nos seus projetos.
O próximo passo é usar o autoML para quantificar a incerteza e abordar questões de confiabilidade e justiça nos algoritmos, diz Hutter, organizador da conferência. Nesse sentido, os padrões de confiabilidade e justiça seriam semelhantes a quaisquer outras restrições de machine learning, como precisão. E o autoML pode capturar e corrigir automaticamente os vieses encontrados nesses algoritmos antes de serem lançados.
A procura continua
Mas para ser como o deep learning, o autoML ainda tem um longo caminho a percorrer. Os dados usados para treinar modelos de deep learning, como imagens, documentos e áudio gravado, geralmente são densos e complicados. É preciso imenso poder computacional para lidar com eles. O custo e o tempo para treinar esses modelos podem ser proibitivos para qualquer pessoa que não seja investigador em empresas privadas de grande porte.
Uma das competições da conferência pediu aos participantes que desenvolvessem algoritmos alternativos com eficiência energética para pesquisa de arquitetura neural. É um desafio considerável porque esta técnica tem exigências computacionais enormes e, consequentemente, infames. Percorre automaticamente inúmeros modelos de deep learning para ajudar os investigadores a escolher o caminho certo para a sua aplicação, mas o processo pode levar meses e custar mais de um milhão de dólares.
O objetivo desses algoritmos alternativos, chamados proxies de pesquisa de arquitetura neural de custo zero, é tornar a pesquisa de arquitetura neural mais acessível e ecológica, reduzindo significativamente o seu apetite por computação. O resultado leva apenas alguns segundos, em vez de meses. Essas técnicas ainda estão nos estágios iniciais de desenvolvimento e geralmente não são confiáveis, mas os investigadores de machine learning preveem que têm o potencial de tornar o processo de seleção de modelos muito mais eficiente.
MIT Technology Review