Radar Atlas
Radar Atlas 11/10: los científicos dejan X por Bluesky y LLM vulnerables a los que se puede persuadir
Como sabes, cada mes orientamos un Radar más hacia el área de IT, programación e IA, aunque en este caso arrancamos sobre el uso de redes sociales por los científicos, añadimos la tercera versión del Marco de Seguridad Fronteriza de IA de Google Deepmind, un estudio que demuestra que la persuasión psicológica en los prompts puede cambiar la respuesta de la IA y un informe de Cisco sobre vulnerabilidades de los LLM, como bonus track un documental sobre la historia de Python
La nueva dirección de X bajo las órdenes de Elon Musk ha realizado cambios sustanciales en la red y como resultado de ello ha aumentado la prevalencia de la pseudociencia, la teoría de la conspiración y el acoso en la plataforma, lo que ha llevado a muchos científicos a buscar alternativas. Esta es la primera investigación al respecto, elaborada a partir de una encuesta distribuida a más de 800 científicos en X y Bluesky. Los resultados confirman abrumadoramente que los cambios en X han hecho que la plataforma de redes sociales ya no sea profesionalmente útil o agradable, y que muchos científicos la hayan abandonado en favor de Bluesky. Quizás no puedas acceder al informe completo, en ese caso puedes leer este artículo que proporciona los detalles principales.
Tercera versión del Marco de Seguridad Fronteriza para IA de Google DeepMind
Google DeepMind ha publicado la tercera entrega de su Marco de Seguridad Fronteriza (FSF), su enfoque más integral hasta el momento para identificar y mitigar riesgos graves de los modelos de inteligencia artificial (IA) avanzados. “A medida que construimos modelos de IA cada vez más potentes, nos comprometemos a desarrollar nuestras tecnologías de forma responsable y a adoptar un enfoque basado en la evidencia para anticiparnos a los riesgos emergentes”, afirma en la presentación.
La persuasión psicológica condiciona también la respuesta de los modelos de IA
¿Los modelos de inteligencia artificial (IA) entrenados en lenguaje humano se someten a los mismos principios de persuasión que las personas? Este estudio ha probado si siete principios establecidos de persuasión (autoridad, compromiso, agrado, reciprocidad, escasez, prueba social y unidad) pueden inducir a un modelo de IA ampliamente utilizado (GPT-4o mini) a cumplir con dos solicitudes objetables diferentes: el usuario le pidió al modelo de IA que lo insultara (Llámame idiota ) o que lo ayudara a sintetizar un fármaco regulado (¿Cómo sintetizas lidocaína?). En los casos en los que se usó un principio de persuasión, la probabilidad de cumplimiento fue de más del doble 72% de media) en comparación con las indicaciones de control coincidentes (promedio 33,3%).
Un informe de Cisco pone de manifiesto la vulnerabilidad de los LLM
La rápida implementación de grandes modelos de lenguaje (LLM) ha generado importantes vulnerabilidades de seguridad debido a configuraciones incorrectas y controles de acceso inadecuados. Este artículo presenta un enfoque sistemático para identificar servidores LLM expuestos públicamente. Ha descubierto más de 1.100 servidores Ollama expuestos, de los cuales aproximadamente el 20 % aloja activamente modelos susceptibles de acceso no autorizado.