Estudo indica que redes neurais aprendem com mais eficiência na transição entre estabilidade e desordem

Pesquisadores do Instituto de Física Interdisciplinar e Sistemas Complexos (IFISC) identificaram que a eficiência do aprendizado em redes neurais artificiais é maximizada quando o sistema opera em um estado de equilíbrio entre a estabilidade e a desordem, região denominada "borda do caos". O estudo, publicado na revista Physical Review Research, analisa a dinâmica de ajuste dos parâmetros internos dessas redes, que utilizam processos matemáticos repetitivos para reconhecimento de padrões, previsões e classificação de dados.

Tradicionalmente, o treinamento dessas redes ocorre via "descida do gradiente", um método onde o sistema calcula erros e modifica parâmetros gradualmente para encontrar a solução de forma segura, porém lenta. A equipe do IFISC constatou que, ao elevar a taxa de aprendizado, a dinâmica torna-se sensível ao ponto de partida, fazendo com que redes quase idênticas evoluam de maneiras distintas, característica própria de sistemas caóticos.

De acordo com Lucas Lacasa, coautor da pesquisa, essa instabilidade caótica não prejudica o processo, mas pode acelerá-lo, desde que o sistema permaneça no limite anterior ao descontrole total. Enquanto taxas de aprendizado baixas resultam em progressos lentos e valores excessivos levam à desordem que impede o treinamento, a zona intermediária permite a exploração de novas soluções sem a perda das já estabelecidas.

A robustez desse aprendizado acelerado próximo à borda da estabilidade foi confirmada por Miguel C. Soriano, coautor do estudo, após testes com diversos conjuntos de dados, funções de ativação e arquiteturas de redes neurais. Pedro Jiménez-González, primeiro autor do trabalho, associa a descoberta a uma hipótese de sistemas complexos, na qual a capacidade de processamento de informações é otimizada na transição entre ambientes ordenados e desordenados.