Bernardino Romera (DeepMind): “El mundo busca crear grandes modelos de IA y no tanto empezar a resolver ya problemas”

Eugenio Mallol.-Leyendo tu página web, se diría que la escritora Julia Donaldson ha compendiado toda la inteligencia artificial (IA) en sus libros infantiles.

Bernardino Romera.-No creo que Julia Donaldson estuviese pensado en esto, pero es curioso, existe un cierto paralelismo. Aunque lo puse en mi web sin pensar mucho, realmente no creo que sea como para tomarlo muy en serio.

Eugenio Mallol.-Habéis demostrado que, por primera vez, un modelo de lenguaje extenso produce información original, nueva, al resolver un problema matemático. Eso es muy tremendo.

Bernardino Romera.-Sí, es así. El sistema FunSearch se basa precisamente en modelos de lenguaje extenso para hacer búsquedas en el espacio de algoritmos, y es capaz, efectivamente, de encontrar soluciones nuevas y mejores a problemas matemáticos abiertos. También es útil para encontrar algoritmos específicos para tareas concretas, muy personalizados. La forma en que esto funciona consiste en enfocarse en problemas cuya solución podemos evaluar de forma rápida, de forma automática. La razón por la que es capaz de producir nuevo conocimiento es porque combina los LLM (modelos de lenguaje extenso), que producen nuevas propuestas de código, con un evaluador automático que es capaz precisamente de determinar el valor, cómo de buenas son estas soluciones. Iterando este proceso entre los algoritmos previos generados por el sistema, con la tarea de producir una función todavía mejor, obtenemos un montón de funciones y éstas son evaluadas de forma automática. Inmediatamente podemos separar el grano de la paja y construir sobre las mejores, reintroduciéndolas de nuevo en el LLM.

Eugenio Mallol.-Desde el principio, DeepMind utiliza juegos en su trabajo: los clásicos de Atari, juegos de mesa… Explícame cómo os ayuda.

Bernardino Romera.-Los juegos tienen algo muy interesante desde el punto de vista de desarrollar un agente que sea capaz de moverse, de tomar decisiones en un entorno. Cuando DeepMind empezó con los primeros desarrollos de aprendizaje por refuerzo, el campo de batalla que utilizaba eran juegos, inicialmente fueron de Atari y después GO y otros como Starcraft. Es realmente muy fácil hacer evaluaciones ahí, ver lo que funciona y lo que no, y es muy fácil también analizar el nivel. La parte que a mí me interesa es la aplicación del método de la IA a problemas más reales o con más impacto. Eso no quita para que también en este artículo concreto de FunSearch hemos demostrado que funciona en dos tipos de problemas: el de descubrir nuevos conocimientos en un problema matemático; y el Bin Packing. Este segundo un problema realmente muy general, a nivel práctico se utiliza en muchísimos ámbitos. Consiste en que recibir objetos de distintos tamaños e ir metiéndolos en compartimentos, en contenedores, de tamaño fijo.

El objetivo final es utilizar el menor número de contenedores posible. Esto que parece un poco abstracto en realidad tiene un montón de usos, por ejemplo, en el área de jobs scheduling o en la asignación de programas a los servidores donde se ejecuten. Otras aplicaciones son precisamente meter paquetes en furgonetas en el caso de Amazon. La forma de enfocar esto es precisamente transformando el problema en un juego y aplicar las herramientas que sabemos que funcionan bien en él. Todo está un poco relacionado de alguna forma.

Eugenio Mallol.-Estuviste también en el experimento de Alpha Fold. Tom Dietterich me dijo que era el mayor avance de la IA en la última década. Háblame de lo que aprendiste en el proceso y cómo se va a transmitir aguas abajo, por ejemplo, para el descubrimiento de nuevos medicamentos.

Bernardino Romera.-Estuve básicamente dos años y realmente fue una experiencia muy enriquecedora. Cosas que aprendí ahí fueron muy transferibles al siguiente proyecto, Alpha Tensor. Son totalmente distintos, una cosa son las proteínas y otra diseñar algoritmos para multiplicar matrices, pero hay ciertos puntos en común. Por ejemplo, ambos están basados en la modificación o adaptación de transformers, modelos que utilizan este mecanismo de atención. Para Alpha Fold fue clave hacer un transformer a medida del problema del plegamiento de proteínas, añadir de alguna forma conocimiento a priori implícitamente. Esta misma idea un poco abstracta también fue muy importante a la hora de desarrollar Alpha Tensor, porque también tratamos un problema muy específico: transformar la multiplicación de matrices que se puede expresar como una descomposición de unos tensores específicos (tensores son matrices más de dos dimensiones). Esta descomposición tiene ciertas propiedades y si añadimos este conocimiento dentro del transformer los resultados son bastante mejores. A nivel técnico, hay una serie de conceptos que se van quedando y que son útiles para otros proyectos, pero a nivel individual, vengo del mundo de la Academia y este era el primer proyecto en el que yo trabajaba con un grupo grande.

Eugenio Mallol.-Estáis creando una nueva forma de llegar al descubrimiento. Los científicos dicen: la IA cambia la investigación, ahora trabajamos con matemáticos e informáticos. Es un nuevo método, otra forma de averiguar las cosas.

Bernardino Romera.-Sí, totalmente. A fin de cuentas, la IA te da una serie de herramientas nuevas que no estaban ahí hasta hace muy poco tiempo y te permiten abordar un problema específico desde un ángulo totalmente distinto. Probablemente, en muchos casos se encuentren nuevas soluciones a problemas existentes, o se pueda resolver problemas que se nos han ido atragantando en la historia de la ciencia. El hecho de tener equipos en los que cada uno que venga tenga un background totalmente distinto es súper enriquecedor porque aprendes a hablar en el idioma del otro, con su forma de pensar.

Eugenio Mallol.-Conforme diseñas una nueva forma de aproximarte al problema, también surge la posibilidad de plantear problemas nuevos. ¿Qué preguntas nos podemos haciendo ahora que antes quizás no nos podíamos formular?

Bernardino Romera.-Aplicaciones de Alpha Fold. Cuando empecé a trabajar en este proyecto, una de mis motivaciones era que sabía que era un problema muy importante, pero no imaginaba que iba a tener tantas implicaciones. En el caso de los medicamentos, obtener la estructura de las proteínas utilizando técnicas que no son tradicionales, permite hablar de cosas súper complejas que no entiendo, como la cristalografía de rayos X. Este tipo de métodos es muy complejo, para estudiantes de doctorado su principal resultado es la estructura de una proteína. Eso hace que haya muchas enfermedades, sobre todo las raras, que no han recibido atención. Aplha Fold permite de forma rápida y barata la predicción de proteínas y eso siempre es útil a la hora de investigar fármacos, porque muchos de ellos funcionan acoplándose a los huecos de proteínas específicas. Las enzimas son otra de las áreas donde también es súper interesante el uso de Alpha Fold para, por ejemplo, descomponer contaminantes. Es llamativo ver cómo la mayoría de laboratorios que trabajan en biología y bioquímica usan Alpha Fold a diario.

En Google DeepMind tenemos una división de Science y básicamente ahí la idea es encontrar problemas en los que la IA nos puede dar un nuevo ángulo para acelerar o para hacer la vida más fácil a los científicos que están avanzando en su resolución. Dentro de esto hay varias líneas, por ejemplo, la de fusión nuclear. Controlar los imanes es brutal.

Eugenio Mallol.-¿Hasta qué punto la sociedad está dejando de demandar cosas porque no es consciente del poder de la herramienta?

Bernardino Romera.-Esto lo va a revolucionar todo en la investigación científica. Google DeepMind está haciendo muchos desarrollos en ese sentido, pero hablo de bastante más allá, de toda la comunidad científica. Cada vez más, en múltiples disciplinas, se están dando cuenta de que efectivamente utilizar ciertas técnicas de IA puede resultar muy ventajoso. FunSearch tiene un enorme potencial, es un sistema conceptualmente muy simple que, sin embargo, es capaz de llegar muy lejos, tiene mucho recorrido. Es realmente eso un momento muy interesante, muy excitante.

Eugenio Mallol.-En Alpha Tensor sí se ve clara una aplicación en teléfonos inteligentes, en comandos de voz en general, gráficos para juegos, simulaciones o predicción el clima. ¿Dónde veremos el impacto de FunSearch?

Bernardino Romera.-FunSearch es bastante más general que Alpha Tensor. Cualquier cosa cuya solución se pueda evaluar de forma relativamente rápida, en cuestión de minutos, como mucho, es susceptible de aplicar FunSearch para obtener resultados interesantes. Y estoy hablando sobre todo de soluciones que se expresan en código de programación. En cierto modo es una generalización de AlphaTensor, cuya salida era un tipo de código muy específico, muy limitado, un tipo de código que se corresponde con multiplicar distintas entradas, luego sumarlas y luego volverlas a multiplicar, y ya está, no podías hacer nada más. Con FunSearch puedes descubrir algoritmos de todo tipo, con toda clase de loops, statements, condicionantes, puede tener muchas, muchas aplicaciones. Una de ellas, y lo intentamos mostrar en el paper, es buscar soluciones en problemas que tengan cierta estructura y hay muchos problemas matemáticos que la tienen y la otra es utilizar FunSearch para llegar a algoritmos que sean específicos para un caso de uso concreto. Si colocas cajas en furgonetas, quizá la carga de trabajo que tengas en un almacén en Murcia sea bastante distinto al de uno en Londres. Quizás puedas poner un algoritmo específico para tu caso de uso aquí en Murcia, que sea probablemente sea distinto al de Londres.

Eugenio Mallol.-Se habla de hacia los Small Language Models, encontrar soluciones más adaptadas al problema y no algo de propósito general.

Bernardino Romera.-Tiene cierta relación, pero no del todo. El tema de utilizar modelos de lenguaje pequeños tiene mucho sentido en cuanto a que los LLM, aparte de ser muy caros a la hora de de entrenarlos, también son caros para hacer inferencias con ellos y requieren mucha energía. Si los puedes hacer más pequeños, en principio es mejor. Pero lo normal es que pierdas en capacidad del modelo. Lo que estoy diciendo es distinto, en el sentido de que cuando tú personalizas algo no pierdes realmente, sino lo que haces es personalizar una función. La salida de FunSearch realmente es un trozo de código, una función no muy larga, como mucho de entre 10 y 50 líneas de código. Eso está tan personalizado para tu caso de uso concreto que te va a permitir ahorrar costes. No es que pagues un precio porque es un método que no sea general, todo lo contrario, estás intentando exprimir al máximo las propiedades de tu situación particular.

Eugenio Mallol.-Estás en la élite de la IA, ¿cómo ves esta especie de industrialización de la tecnología, este salto al nivel más mainstream de los fenómenos sociales? Quizás estamos perdiéndonos en cosas circunstanciales y dejamos de aprovechar otras. ¿Estamos utilizando bien la IA?

Bernardino Romera.-Por una parte, hay una corriente clara que siempre ha habido de desarrollar modelos cada vez sean más potentes, que cada vez sean capaces de aprender más de los datos. Hay un montón de recursos destinados a eso. Y otra parte relacionada, pero no del todo, consiste en ver cuál es el conjunto de problemas en los que podemos marcar la diferencia con lo que ya hay. Y realmente yo creo que no hay tanta atención a este segundo aspecto. Todo el mundo está volcado en hacer grandes modelos, y por supuesto que es muy importante, pero hay un montón de problemas súper interesantes que antes no teníamos manera de abordar y ahora sí. En el caso de FunSearch, por ejemplo, los modelos de lenguaje que utilizamos no son tan grandes en comparación con los LLM, pero podemos obtener resultados muy interesantes que progresan en el estado de arte de problemas matemáticos. Sin ni siquiera usar lo último de lo último.

Eugenio Mallol.-Háblame de las preguntas con las que trabajáis en DeepMind. ¿De dónde salen? ¿Las buscáis vosotros? ¿Es Google el que dice: a esta gente de Science les vamos a pedir que se pongan a trabajar en tal cosa?

Bernardino Romera.-En el Science Team es curioso porque muchos de los proyectos salen de forma orgánica. Quizá nos juntamos con una idea que ya teníamos, más o menos vaga, pero vamos investigando, vemos que hay algo de lo que tirar, cogemos a más gente que se interesa. En un momento dado nos dicen: “bueno, este proyecto es interesante y este otro quizás no tanto”. Es una especie de mezcla entre algo orgánico y al mismo tiempo hay algo por arriba que, de alguna forma, lo organiza todo. Pero es interesante ver que, incluso de forma orgánica, todo funciona bastante bien. Y luego también está el tema de que, una vez que nos ponemos con un problema, lo normal es que consultemos con los expertos de fuera. Realmente, dentro del Science Team viene todo de forma muy orgánica, muy natural.