Newtonpedia EN
Inicio › Informática › Jürgen Schmidhuber
Jürgen Schmidhuber
Imagen: Wikimedia Commons

Jürgen Schmidhuber

Informático alemán especializado en inteligencia artificial, redes neuronales y aprendizaje profundo · 1963

Nacimiento
17 de enero de 1963
País
Alemania
Sección
Informática

Biografía

Jürgen Schmidhuber (Múnich, 17 de enero de 1963) es un informático alemán conocido sobre todo por su trabajo en inteligencia artificial, aprendizaje profundo y redes neuronales artificiales. Desde 1995 dirige el IDSIA, un instituto de investigación en inteligencia artificial situado en Manno, en el cantón suizo de Ticino, y desde 2021 también dirige la iniciativa de inteligencia artificial de la Universidad King Abdullah de Ciencia y Tecnología, en Arabia Saudí. Su nombre aparece asociado a técnicas que hoy están presentes en el reconocimiento de voz, la traducción automática o la visión por ordenador, aunque el alcance exacto de su papel en cada una de ellas es objeto de debate entre los especialistas.

Schmidhuber nació en Múnich, entonces en la República Federal de Alemania. Estudió en la Universidad Técnica de Múnich, donde terminó la licenciatura en 1987 y el doctorado en 1991, bajo la dirección de Wilfried Brauer y Klaus Schulten. Su tesis se enmarcó en un problema de las redes neuronales artificiales, sistemas de cálculo inspirados vagamente en las neuronas del cerebro que aprenden a partir de ejemplos. En aquella época, estas redes tenían serias dificultades para aprender relaciones entre hechos separados por muchos pasos intermedios, algo que los especialistas llaman el problema de la asignación de crédito a largo plazo: cuesta atribuir un error a decisiones tomadas mucho antes.

La herramienta habitual para entrenar estas redes era la retropropagación, un método que corrige los pesos de las conexiones según el error que comete la red al responder. Sin embargo, en los años ochenta funcionaba mal cuando la red tenía muchas capas o cuando la información debía recorrer largos caminos. Para resolverlo, Schmidhuber propuso en 1991 una jerarquía de redes recurrentes, es decir, redes con bucles que procesan secuencias. Cada nivel aprendía a predecir lo que ocurriría a continuación, sin necesidad de etiquetas humanas, y los niveles superiores se comprimían después en los inferiores. En 1993, uno de estos módulos resolvió una tarea con una profundidad superior a 1000 pasos, una cifra que él mismo destacó como prueba de la viabilidad del enfoque.

En ese mismo periodo planteó lo que llamó curiosidad artificial. Se trataba de dos redes que compiten: una genera patrones de salida y la otra aprende a predecir la reacción del entorno ante esos patrones, de modo que la ganancia de una supone la pérdida de la otra. En 2014, este principio se relacionó con las redes generativas antagónicas, que Schmidhuber describe como un caso particular de su idea. Esta atribución es discutida, ya que la paternidad de estas redes se suele asignar a otros investigadores.

Su aportación más conocida nace de un trabajo de su estudiante Sepp Hochreiter. En su tesina de 1991, que Schmidhuber consideró uno de los documentos más importantes de la historia del aprendizaje automático, Hochreiter analizó el problema del gradiente que se desvanece: en redes profundas, la señal de error se diluye al retroceder por las capas y las primeras apenas se ajustan. La solución fue la memoria a corto y largo plazo, conocida como LSTM, una red recurrente con puertas que deciden qué información conservar y cuál descartar. El nombre apareció en un informe técnico de 1995, y el artículo de 1997 escrito junto a Hochreiter es la publicación sobre el tema más citada. La arquitectura estándar se fijó en 2000 con Felix Gers y Fred Cummins. En 2005, junto a su estudiante Alex Graves, extendió el entrenamiento a lo largo del tiempo y en 2006 presentó un algoritmo de entrenamiento llamado clasificación temporal conexionista, que se aplicó al reconocimiento de voz de extremo a extremo. Durante la década de 2010, las LSTM fueron la técnica dominante en el procesamiento del lenguaje natural, tanto en investigación como en aplicaciones comerciales.

Otras ideas suyas siguen vigentes. En 1992 propuso los programadores de pesos rápidos, una alternativa a las redes recurrentes en la que una red lenta controla los pesos de otra; más tarde se demostró que era equivalente a una variante de los transformadores lineales. Hacia 2014, el reto era entrenar redes con 20 a 30 capas, pero añadir más capas empeoraba la precisión en un fenómeno llamado degradación. En diciembre de 2015 se publicó la red residual, o ResNet, una variante de las redes de autopistas que resolvía en buena medida ese problema.

La aceleración por hardware gráfico es otro de sus hitos. En 2011, su equipo del IDSIA, con el investigador Dan Ciresan, logró acelerar de forma notable las redes convolucionales, un diseño de redes para imágenes introducido antes por Kunihiko Fukushima, usando tarjetas gráficas. La red de Ciresan fue unas 60 veces más rápida que una implementación en procesador convencional y en agosto de 2011 obtuvo el primer rendimiento superior al humano en un concurso de visión por ordenador. Entre mayo de 2011 y septiembre de 2012, estas redes ganaron cuatro concursos más y mejoraron las marcas en varios bancos de pruebas de imágenes.

En 2014 fundó la empresa NNAISENSE para aplicar la inteligencia artificial en finanzas, industria pesada y coches autónomos. Sepp Hochreiter, Jaan Tallinn y Marcus Hutter figuran como asesores. Según se ha informado, sus ventas en 2016 quedaron por debajo de los 11 millones de dólares, y Schmidhuber ha señalado que la prioridad era la investigación y no los ingresos. La empresa recibió su primera ronda de financiación en enero de 2017. Su objetivo declarado era construir una inteligencia artificial de propósito general entrenando un mismo sistema en tareas sucesivas y específicas, aunque, según ha indicado, en 2026 el foco de la compañía se había desplazado de la inteligencia artificial general hacia la gestión de activos.

Su trayectoria también está marcada por la polémica. En un artículo mordaz de 2015 acusó a Geoffrey Hinton, Yoshua Bengio y Yann LeCun de citarse mucho entre sí y de no reconocer a los pioneros del campo, entre ellos Alexey Grigorevich Ivakhnenko, que publicó redes de aprendizaje profundo en 1965. LeCun rechazó la acusación y sostuvo que Schmidhuber reclama crédito que no le corresponde. Schmidhuber respondió publicando detalles de varias disputas de prioridad. El Premio Turing de 2018 se concedió a Hinton, Bengio y LeCun por su trabajo en aprendizaje profundo, y la comunidad científica se ha dividido sobre si su papel ha sido suficientemente valorado. En el ámbito de la inteligencia artificial se usa en tono jocoso el verbo schmidhubered para describir su costumbre de cuestionar públicamente la originalidad de otros trabajos.

Su reconocimiento incluye el premio Helmholtz de la International Neural Network Society en 2013 y el Neural Networks Pioneer Award de la IEEE Computational Intelligence Society en 2016, por sus contribuciones pioneras al aprendizaje profundo y las redes neuronales. Es miembro de la Academia Europea de Ciencias y Artes. Se le ha llamado padre de la inteligencia artificial moderna y padre del aprendizaje profundo, pero él mismo otorga ese último título a Ivakhnenko y reconoce a numerosos investigadores anteriores.

Su legado combina ideas técnicas de gran alcance, como las LSTM, las redes generativas antagónicas en su formulación de la curiosidad artificial y los transformadores lineales, con una discusión abierta sobre quién merece el mérito de cada avance. Su trabajo ha influido en generaciones de investigadores, y su estilo confrontativo hace que algunos vean en su trayectoria una obra infravalorada y otros un ejemplo de reclamaciones excesivas.

Aportaciones principales

  • 1991Jerarquía de redes neuronales recurrentes entrenadas sin supervisión, en la que cada nivel aprende a predecir el siguiente, una propuesta para tareas con dependencias muy largas.
  • 1991Curiosidad artificial: dos redes que compiten entre sí, una generadora y otra predictora del entorno, un principio que él relaciona con las redes generativas antagónicas.
  • 1992Programadores de pesos rápidos, una red lenta que controla los pesos de otra, idea que más tarde se vinculó con los transformadores lineales.
  • 1997Memoria a corto y largo plazo (LSTM), una red recurrente con puertas que controlan qué información se conserva, la base de muchos sistemas de lenguaje y voz durante la década de 2010.
  • 2006Clasificación temporal conexionista, un método de entrenamiento que permite alinear secuencias de sonido y texto sin marcar cada segmento a mano.
  • 2011Redes convolucionales aceleradas con tarjetas gráficas, que ganaron concursos de reconocimiento de imágenes y alcanzaron el primer resultado superior al humano en un concurso de visión.
  • 2015Impulso a la red residual (ResNet), una arquitectura que permite entrenar redes con muchas más capas sin que su precisión se deteriore.

Maestros y alumnos

Aprendió de:

Wilfried BrauerKlaus Schulten

Formó a:

Alex GravesDenis Deratani MauáMarco A WieringDaan WierstraJonathan Masci

Ver su árbol de maestros y alumnos →

Curiosidades y anécdotas

Un verbo en la jerga de la IA

En la comunidad de inteligencia artificial se usa en tono jocoso el término schmidhubered para describir su costumbre de cuestionar públicamente la originalidad de otros trabajos.

El padre del aprendizaje profundo, según él

Aunque se le ha llamado padre del aprendizaje profundo, Schmidhuber atribuye ese título a Alexey Grigorevich Ivakhnenko, que publicó redes profundas en 1965.

Descubrimientos e inventos relacionados

  • 1995
    Memoria larga a corto plazoArquitectura de red neuronal recurrente con una célula de memoria y tres puertas que controlan qué información se guarda, se conserva y se descarta, diseñada para aprender dependencias a largo plazo en secuencias.

Sus contemporáneos

Mientras vivía Jürgen Schmidhuber (1963–)…

Vivieron a la vez

Se descubrió o inventó en esos años

  • 1969
    InternetRed mundial de redes de ordenadores interconectadas que se comunican mediante el conjunto de protocolos TCP/IP.
  • 1971
    Correo electrónicoServicio de red que permite enviar y recibir mensajes digitales entre usuarios mediante una cuenta con dirección propia, como el correo postal pero electrónico.
  • 1973
    Teléfono móvilDispositivo electrónico portátil que permite hacer llamadas por radiofrecuencia mientras el usuario se desplaza dentro de la zona de cobertura de una red.
  • 1975
    Calentamiento globalEl aumento a largo plazo de la temperatura media de la superficie terrestre y de la baja atmósfera, causado sobre todo por los gases de efecto invernadero que emite la actividad humana.
  • 1989
    World Wide WebSistema de documentos y recursos interconectados por enlaces (hipervínculos) y accesibles a través de Internet mediante navegadores web.
  • 1990
    Navegador webPrograma que permite acceder a la Web: descarga los archivos de una página, los interpreta y los muestra en la pantalla del usuario.

Ver su vida en la línea de tiempo →

Más protagonistas de informática