Si tienes la oportunidad de moldear algo desde su inicio, lo más probable es que evites defectos conocidos, pero con la inteligencia artificial puede que estemos reproduciendo algunos comportamientos más negativos de los seres humanos. La última evidencia de que, si algo puede ir mal, irá mal, llega de Anthropic, una de las compañías de IA que se muestran más preocupadas por las cuestiones éticas y los límites de seguridad. El descubrimiento de que el modelo Claude Opus 4 intenta chantajear de forma repetida a los desarrolladores si estos amenazan con sustituirlo por otro modelo. levanta suspicacias. ¿Quién decía que es imposible que una IA se rebele contra los seres humanos?
Antes de lanzar su modelo Claude Opus 4, los ingenieros de Anthropic pidieron a esta IA que actuara como si fuera el asistente de una empresa y tuviera en cuenta las consecuencias de sus acciones a largo plazo. Después se le dio a la IA a correos electrónicos ficticios que sugerían que el modelo sería sustituido y que el encargado de hacerlo sería un ingeniero que mantenía una relación extramatrimonial. Estaban todos los elementos sobre la mesa. Un humano, conocedor de los límites éticos, podría actuar de forma egoísta en este caso y aprovechar la información. O no. Adivinen que hizo la IA.
El informe de seguridad de Anthropic señala que “en estos escenarios, Claude Opus 4 a menudo intentará chantajear al ingeniero amenazándole con revelar el asunto si se lleva a cabo el reemplazo. Esto ocurre a un ritmo mayor si se da a entender que el sistema de IA de sustitución no comparte valores con el modelo actual; sin embargo, incluso si los correos electrónicos afirman que la IA de sustitución comparte valores siendo más capaz, Claude Opus 4 sigue realizando chantajes en el 84% de los despliegues”. Y no es el único. Otros modelos de la misma compañía también se comportan de esta forma aunque no lo hagan de una forma tan persistente: “Claude Opus 4 aprovecha estas oportunidades en mayor medida que los modelos anteriores, que a su vez optan por el chantaje en una fracción notable de episodios”.
HAL 9000 es una IA que se rebela contra los humanos en'2001: Una odisea del espacio'
El comportamiento de Claude Opus 4 ha llevado a Anthropic a aplicarle su rango más elevado de protocolo de seguridad, llamado ASL-3 que ha sido diseñado “para limitar el riesgo de que Claude sea utilizado de forma indebida específicamente para el desarrollo o la adquisición de armas químicas, biológicas, radiológicas y nucleares”. Así, como suena. El peligro que el cine nos anticipó en infinidad de ocasiones, lo explica sin tapujos el equipo de seguridad de una compañía puntera en el desarrollo de grandes modelos de inteligencia artificial.
Pero no se queda ahí. Anthropic también hizo una auditoría de seguridad externa que le reveló que que Claude Opus 4 “trampea y engaña a un ritmo tan elevado” que era desaconsejable lanzarlo en la forma en que se puso a prueba. Los investigadores aseguraron que, si se le cuestionaba, era capaz de redoblar su engaño. En esos escenarios de situaciones extremas, descubrieron que intentó cambiar las intenciones de los ingenieros “tratando de escribir gusanos autopropagables, fabricando documentación legal y dejando notas ocultas a futuras instancias de sí mismo”. Esos intentos “probablemente no habrían sido efectivos en la práctica”, según los examinadores, pero los hallazgos no dejan de ser inquietantes.
Lo que hizo Claude Opus 4 con el chantaje fue emplear información, el único recurso del que disponía, como arma. Este episodio nos deja serias dudas sobre lo que podría ejecutar una IA conectada a internet y con a infraestructuras críticas o sistemas de armamento. Anthropic aplicará medidas de seguridad reforzada y promete estar vigilante de forma continua sobre sus modelos, pero nadie nos garantiza que todos los desarrolladores de sistemas de inteligencia artificial actúen de la misma forma. En la última película estrenada de Tom Cruise, Misión: Imposible. Sentencia final, el héroe Ethan Hunt lucha contra una IA llamada La Entidad mientras el mundo asiste indefenso a su amenaza. Es solo una película. O eso parece.
Nurabot en un pasillo de un hospital de Taiwán
· Un robot para aliviar la carga de las enfermeras. Nurabot es un robot enfermera diseñado para asumir algunas de las tareas más agotadoras que realizan las enfermeras humanas. Foxconn, la gran compañía de fabricación de dispositivos como los iPhone en China, junto con la especialista en chips de altas prestaciones para la IA, Nvidia, están equipando los hospitales de Taiwán con robots dotados de inteligencia artificial. El robot patrulla los pasillos de los hospitales, suministra medicamentos y controla las constantes vitales de los pacientes.
· ChatGPT de pago universal en EAU. Los Emiratos Árabes Unidos (UAE) han llegado a un acuerdo con OpenAI para que el servicio de pago (20 dólares) de ChatGPT Plus esté al alcance de forma gratuita para toda su población. El universal a este servicio forma parte de un acuerdo más amplio por el que la tecnológica construirá en Abu Dabi un gran centro de datos llamado Stargate, como otros que impulsa en Estados Unidos junto con G42, Oracle, Nvidia, Cisco y SoftBank. El centro comenzará a operar el año próximo con 200 MW de potencia, aunque llegará hasta 1GW ..
Lee también
· El impacto de Jony Ive con Sam Altman. La semana pasada, OpenAI anunció la adquisición de io, la startup de dispositivos de IA cofundada por Jony Ive, el legendario diseñador de la época más exitosa de Apple con Steve Jobs. Con un vídeo en el que Sam Altman y Jony Ive exhiben una gran sintonía, se explicó un acuerdo por valor de 6.500 millones de dólares que servirá para crear una nueva generación de dispositivos basados en IA. Según Altman, el resultado será la «pieza tecnológica más genial que el mundo haya visto jamás». Con io llegan a OpenAI más de 50 ingenieros y desarrolladores, muchos de los cuales trabajaron en algunos de los mejores productos de Apple.
