Thomas Dietterich: «la colaboración entre enfoques tradicionales y avanzados de IA es crucial»

Thomas G. Dietterich es profesor emérito de informática en la Universidad Estatal de Oregón, pionero en el campo del aprendizaje automático y ha participado en cofundación del Journal of Machine Learning Research. En el ValgrAI Scientific Council Forum 2024, un evento celebrado en Valencia y dedicado a los últimos avances e innovaciones en la investigación de inteligencia artificial (IA) ha abordado cómo el aprendizaje automático puede mejorar la seguridad en los sistemas críticos.

Durante la mayor parte de 2023, Dietterich ha investigado el rol de la maquinaria en sistemas críticos de seguridad, junto a su grupo de estudios de la Academia Nacional de Ciencias e Ingeniería de Estados Unidos. Su trabajo ha demostrado cómo el aprendizaje automático puede mejorar la seguridad de los sistemas. A su vez, plantea que «la combinación del aprendizaje automático con la ingeniería de seguridad tradicional pueden conducir a sistemas más seguros y resilientes», capaces de adaptarse a riesgos existentes y nuevos. En ese sentido, sostiene que «la colaboración entre enfoques tradicionales y avanzados de IA es crucial».

Tras identificar los riesgos, el modelo en el que ha trabajado su equipo desarrolla estrategias de mitigación, en las que se divide el sistema en subsistemas y se establecen requisitos de seguridad para cada uno. Thomas Dietterich propone «recolectar datos de entrenamiento que cubran el dominio operacional», al tiempo que se «mide la incertidumbre epistémica y aleatoria», todo ello, a través de funciones de adquisición. De esa forma «podemos probar puntos de máxima incertidumbre y recolectar datos para mejorar nuestros modelos». El proceso iterativo ayuda a identificar y corregir fallos en los modelos, lo que asegura una cobertura razonable de todos los estados posibles.

El experto ha citado al respecto el libro Engineering a Safer World: Systems Thinking Applied to Safety, de Nancy Leveson, profesora de Aeronáutica y Astronáutica en el MIT y especialista en seguridad de sistemas y software,. «Un sistema, incluidas las organizaciones humanas, puede ser descompuesto en subsistemas para resolver problemas de control», según Thomas Dietterich, se trata de un enfoque «crucial» para detectar y responder frente a nuevos riesgos, y habilita la capacidad de «utilizar IA avanzada para proporcionar apoyo automático en las tareas».

«La IA puede desempeñar un papel importante en el diagnóstico y reparación automatizados» y por «un proceso de rediseño continuo». Los sistemas «pueden ser robustos ante peligros conocidos, pero frágiles ante peligros desconocidos». El equilibrio entre robustez y fragilidad se logra con la «optimización con restricciones», donde los sistemas se ajustan al límite de la región factible, a menudo sin considerar peligros imprevistos.

En entornos complejos, como los servicios web de Amazon, la combinación de factores «novedosos» pueden llevar a «fallos catastróficos», por ello, es necesaria «una lógica adecuada y una comunicación efectiva dentro de las organizaciones» para anticipar y mitigar esos riesgos.

«El aprendizaje automático y la ingeniería de seguridad deben evolucionar para gestionar peligros conocidos y nuevos», añade Dietterich. Destaca también la importancia de emplear simulaciones de alta fidelidad y gemelos digitales, una cuestión «vital». Subraya la necesidad de «desarrollar metodologías para verificar la calidad de los modelos de aprendizaje automático y asegurar una garantía independiente de la distribución de la calidad de estos sistemas».

En Europa, la Ley de Resiliencia Cibernética idea establecer diferentes niveles de capacidades de IA en equipos, para competir con otros mercados emergentes, algo que Thomas Dietterich califica como «un requisito clave».