El 'test de la madre' para los agentes de IA

Un amigo del fundador de OpenClaw, una empresa de asistentes virtuales de código abierto (claw) diseñados para actuar como agentes de IA autónomos, Peter Steinberger, encontró un uso muy particular para su agente personal. Su madre siempre se quejaba de que tardaba mucho tiempo en responder a sus llamadas y mensajes. Así que construyó un claw para resolverlo. Lo chocante es que ella se dio cuenta enseguida de que no era su hijo quien contestaba, precisamente porque… ¡respondía demasiado rápido!

Este ‘test de la madre’ es algo más que una anécdota chistosa y doméstica. Debe hacernos reflexionar sobre los límites evidentes del nuevo ciclo de la IA generativa y sobre los riesgos que asumimos si no los tenemos en cuenta. Steinberger contó también en VivaTech París que uno de sus amigos tiene un claw personal y otro en el trabajo. Este último sacó todas las reuniones de la semana y consultó al agente personal para obtener sus niveles de azúcar en sangre por hora. Al final, los dos agentes acabaron hablando de qué persona estresaba más al amigo de Steinberger.

Sentado junto a él en el escenario de VivaTech, podríamos decir que Yann LeCun elaboró la explicación científico-tecnológica del ‘test de la madre’. Es uno de los grandes nombres de la IA. El reconocimiento mundial llegó con el Premio Turing de 2018 por su labor como pionero del deep learning y ha sido científico jefe de IA de Meta, puesto que abandonó abruptamente para fundar su propia compañía, AMI Labs, que ya ha captado más de 10.000 millones de dólares de inversión.

“Los sistemas de aprendizaje automático no son un camino hacia la inteligencia a nivel humano, pero son útiles”, sostiene, “sucede con muchos productos, incluidos los informáticos y los sistemas de IA”. Los modelos más grandes se entrenan con al menos con la totalidad de todo el texto disponible públicamente en Internet, es decir, unos 20 billones de palabras, equivalentes a 30 billones de tokens, cada uno de los cuales ocupa tres bytes. “Hagan los cálculos: son unos 10¹⁴ bytes”. ¿Mucha información? “Esta es la cantidad de datos que un niño de 4 años ha visto a través de la vista durante toda su vida”. Leer todo ese texto, en cambio, nos costaría 400.000 años.

“Hay muchísimos más datos procedentes de la entrada sensorial, como la vista, el tacto o cualquier otra cosa, que los que proceden del lenguaje”. Yann LeCun define el lenguaje como “una descripción muy aproximada, reducida, cuantificada y simplificada del mundo”. Los sistemas de gestión del lenguaje “solo pueden manejar secuencias discretas de símbolos”, pero el mundo es “mucho más complejo que el lenguaje humano”.

La paradoja de Moravic es un concepto muy conocido en informática. Dice que los ordenadores pueden realizar tareas que parecen complicadas para los humanos, como resolver ecuaciones, calcular integrales e incluso aprobar exámenes de abogacía, pero cuando se trata de algo tan simple como agarrar un objeto sin romperlo, la cosa se complica mucho más. “Por eso tenemos sistemas que pueden demostrar, pero no tenemos robots domésticos, ni siquiera tenemos coches autónomos de nivel 5”.

Lidiar con el mundo real es muy complicado. ¿Qué es un modelo del mundo? “Dada una idea del estado del mundo en el tiempo y dada una acción que imaginas tomar, ¿cuál será el estado del mundo en el tiempo t+1 después de haber tomado esta acción?”, dice LeCun. Esa capacidad de anticipación es la aportación de valor clave.

“Como humanos, usamos el poder de nuestra corteza prefrontal, que es un modelo del mundo, para predecir lo que va a suceder como consecuencia de nuestras acciones. Eso es lo que nos permite planificar y vivir en el mundo”, continúa LeCun. Aprendemos a conducir en unas pocas horas de práctica cuando somos adolescentes. ¿Cómo es posible que un joven de 17 años aprenda a conducir en unas pocas horas de práctica? “Si el joven de 17 años conduce cerca de un precipicio, su modelo mental, el conocimiento del mundo, le dice que si gira el volante a la derecha, el coche se precipitará. Nada bueno va a salir de esto, ¿verdad? Así que no lo hace”.

“La capacidad de predecir el efecto de nuestras acciones es lo que nos permite aprender rápidamente y también realizar nuevas tareas para las que nunca nos han entrenado. Lograr eso es esencial no solo para el futuro de la IA, sino incluso para construir sistemas de agentes. No puedo imaginar cómo es posible construir sistemas de agentes que sean confiables a menos que puedan predecir las consecuencias de sus acciones. Los LLM simplemente no lo hacen, pueden aplicar recetas, pero a ciegas”. El amigo de Steinberger debió imaginar que su madre le pillaría, su claw no iba a hacerlo de ningún modo.

May Habib, fundadora y CEO de Writer, la tercera en liza sobre el escenario, aterriza estos conceptos. Habla de la “brecha entre lo que los modelos pueden hacer, cuáles son sus capacidades y en qué pueden confiar las empresas para implementarlos en producción. Especialmente ahora, con los sistemas agénticos, las empresas desean autonomía, pero quieren que esté controlada, no sin supervisión”.

Junto a los modelos, “es necesario construir los arneses alrededor de ellos que nos permiten recopilar el conocimiento que existe en toda la empresa y, lo que es más importante, todos esos casos excepcionales que se encuentran en la mente de las personas”. Gran parte del trabajo de Writer para el Fortune 500 “es iterar e innovar en sistemas de memoria que permiten a los agentes recopilar nueva información mientras operan en un contexto altamente controlado, seguro y regulado”.

No hay que olvidar que la explosión de agentes de IA está disparando el coste de los tokens, porque requieren “mil veces los presupuestos de tokens de los chatbots”, añade May Habib. Además de garantizar la eficiencia, “los arneses envían tokens al modelo correcto basado en la tarea, en el ROI”.

De modo que sí, debemos integrar el ‘test de la madre’ en la forma de aproximar la IA a nuestras organizaciones. La precisión en la respuesta no es suficiente para validar lo que los agentes artificiales pueden aportar a nuestros equipos y a nuestros clientes. Hay que ir más allá, integrar la cultura y considerar las consecuencias. Captar la diferenciación, lo que hace que el amigo de Steinberger sea alguien especial para su madre y no un interlocutor más, está mucho más allá de lo que pueden darnos los datos y el lenguaje como sistema.