Red neuronal residual
Arquitectura de red neuronal profunda que añade la entrada de cada bloque a su salida mediante conexiones de salto, lo que permite entrenar redes de cientos de capas.
- Año
- 2015
- Protagonistas
- Kaiming He
- Sección
- Informática
Historia
Las redes residuales, o ResNet, son una arquitectura de aprendizaje profundo en la que cada grupo de capas aprende una función residual, es decir, la diferencia entre lo que debería producir y su propia entrada. Para ello, la entrada se suma directamente a la salida mediante una conexión de salto que realiza un mapeo de identidad. Esta sencilla idea permite que la información y el gradiente de error fluyan sin obstáculos a través de muchas capas, y es la clave de que una red pueda tener decenas o cientos de ellas sin perder precisión.
Antes de 2015, las redes profundas se enfrentaban a un problema conocido como degradación: al apilar más capas, la precisión del entrenamiento empeoraba, algo que no debería ocurrir en teoría, porque una red más profunda podría copiar a una más somera limitándose a dejar pasar la señal. AlexNet, de 2012, tenía 8 capas, y las redes del Visual Geometry Group de Oxford, de 2014, llegaron a unas 19. Las conexiones de salto no eran nuevas: aparecían en los perceptrones multicapa de Frank Rosenblatt en 1961, en trabajos de finales de los años ochenta y en las redes LSTM de 1997, cuyas celdas de memoria funcionan de forma parecida. Lo nuevo fue usarlas de forma sistemática en redes convolucionales muy profundas.
Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, del equipo de investigación de Microsoft, desarrollaron el modelo y lo presentaron en 2015. Probaron distintos métodos para entrenar redes más profundas hasta llegar a esta arquitectura. Con ella ganaron el concurso ImageNet de ese año, y el trabajo se difundió rápidamente. Posteriormente aparecieron variantes como los bloques de cuello de botella, que reducen y restauran la dimensión con convoluciones de 1x1 y dan lugar a ResNet-50, ResNet-101 y ResNet-152, y los bloques de preactivación, que permitieron entrenar modelos de más de mil capas.
La influencia de esta idea llega hoy mucho más allá de la visión por ordenador. Los transformadores, base de modelos de lenguaje como BERT o GPT, incluyen conexiones residuales, y sin ellas los modelos muy profundos no podrían entrenarse. También aparecen en sistemas como AlphaGo Zero, AlphaStar o AlphaFold. Además, se ha interpretado que una red residual se parece a la discretización de una ecuación diferencial, una analogía matemática que ha inspirado las redes de ecuaciones diferenciales neuronales, aunque no son equivalentes en sentido estricto.
Cronología
- 1961Frank Rosenblatt describe un perceptrón multicapa con conexiones de salto.
- 1997Las redes LSTM emplean una memoria con un mecanismo parecido a una conexión residual.
- 2012AlexNet, con 8 capas, se impone en el concurso ImageNet.
- 2014Las redes VGG de Oxford alcanzan unas 19 capas y aparece el problema de la degradación.
- 2015Kaiming He y su equipo presentan las redes residuales y ganan el concurso ImageNet.
- 2017Los transformadores, que incluyen conexiones residuales, se convierten en la base de los modelos de lenguaje modernos.
Curiosidades y anécdotas
Un nombre sencillo
El término residual alude a que cada bloque aprende solo la diferencia respecto a su entrada, no la salida completa.
Un modelo de insectos
Un estudio publicado en Science en 2023 describió atajos multicapa en el cerebro de una larva de mosca de la fruta que recuerdan a las conexiones de salto de estas redes.