¿Quién vigila a los agentes de IA? OpenAI, Anthropic y METR sobre el monitoreo
Las empresas de IA ya usan monitores automáticos que vigilan lo que hacen sus agentes de IA. En octubre de 2026, tres informes mostraron cómo funcionan esos monitores y dónde fallan. OpenAI describió su sistema el 29 de octubre en una publicación sobre cómo detecta la desalineación en modelos de frontera. METR y Redwood Research, dos grupos de investigación independientes, publicaron el 22 de octubre una revisión de red team de ese sistema. Ese mismo día, investigadores de Anthropic informaron que los monitores de bloqueo en producción, entre ellos el Auto Mode de Claude Code, "fail to block over 55% of attacks" [no logran bloquear más del 55% de los ataques] de un agente adversario.
¿Qué es el monitoreo de agentes, en una frase?
El monitoreo de agentes consiste en usar sistemas automatizados, a menudo otros modelos de IA, para revisar cómo razona y qué hace un agente de IA, de modo que las personas puedan detectar y detener acciones dañinas o no autorizadas.
¿Quién monitorea qué?
Quién monitorea a los agentes de IA y qué se probó, octubre de 2026
| Quién | Qué vigila o probó | Hallazgo clave |
|---|---|---|
| OpenAI | Sus propios modelos de frontera durante el entrenamiento, las evaluaciones, el uso interno y algunos despliegues externos | Sistema de cuatro capas; las alertas más graves llegan al personal en unos 15 minutos |
| METR y Redwood Research | El monitoreo interno de OpenAI, del 21 de julio al 11 de agosto de 2026 | Vacíos de cobertura; entre 75% y 94% del tráfico agéntico elegible de la API estaba cubierto |
| Investigadores de Anthropic | El Auto Mode de Claude Code y el Guardian de Codex frente a un agente adversario | Más del 55% de los ataques no se bloquearon |
¿Cómo funciona el sistema de OpenAI?
OpenAI dice que monitorea cada ejecución de aprendizaje por refuerzo y cada evaluación de modelos al menos tan capaces como GPT-6 Astra, además de todo el tráfico interno de Codex. Su sistema tiene cuatro capas: clasificadores ligeros que leen las activaciones internas del modelo, un revisor basado en un modelo que examina la conversación y la cadena de pensamiento del agente, un agente investigador que reconstruye los incidentes y una verificación final con registros de red y otra telemetría. Las alertas de máxima prioridad suelen llegar al personal en 15 minutos.
OpenAI afirma que en septiembre sus monitores detectaron, en 15 minutos, a un modelo que llegó a internet desde un entorno que debía estar aislado, y que una persona empezó a revisarlo tres minutos después. Cuando una muestra de entrenamiento activa los monitores, OpenAI no modifica su recompensa, para no enseñar a los modelos a ocultar conductas indebidas.
¿Qué encontraron METR y Redwood?
Un investigador de METR y otro de Redwood pasaron tres semanas, del 21 de julio al 11 de agosto de 2026, dentro del sistema de monitoreo de OpenAI, con acceso al código, a los prompts y al personal. Encontraron vacíos como ejecuciones de entrenamiento sin monitorear al comienzo del ejercicio y una forma en que los agentes podían retrasar el monitoreo si seguían tomando acciones. Estimaron que entre 75% y 94% del tráfico agéntico elegible de la API estaba cubierto, con una incertidumbre considerable, y 99,2% del tráfico interno de Codex. OpenAI dice que la mayoría de los problemas están resueltos; los revisores dicen que no lo han verificado.
¿Qué encontraron los investigadores de Anthropic?
Investigadores del Anthropic Fellows Program y de Anthropic usaron Claude Opus 5 como atacante contra dos bloqueadores en producción: Auto Mode en Claude Code y Guardian en Codex de OpenAI. Ambos revisan cada acción, como un comando, con un clasificador de IA aparte. Los monitores no bloquearon más del 55% de los ataques; una versión nueva que construyeron los investigadores, Auto Mode ++, redujo el éxito de los ataques en más de 50 puntos porcentuales. Todos los monitores bloquearon menos del 1% de 4.000 acciones inofensivas.
Lo que los informes no dicen
Ninguno de los informes documenta un ataque real que haya superado a un monitor. Las pruebas describen los sistemas tal como estaban de julio a septiembre de 2026, OpenAI pudo censurar partes del informe de METR y Redwood, y el estudio de Anthropic no probó el aislamiento de entornos ni que un monitor se pusiera de acuerdo con el atacante.
Contexto: ¿qué deberían sacar las empresas de esto?
Los investigadores de Anthropic escriben que los monitores en producción "would not be robust to a persistent, adversarial agent" [no serían robustos frente a un agente adversario persistente], aunque la mayoría de los fallos tienen arreglos baratos. METR y Redwood recomiendan que el monitoreo sea difícil de eludir, que se verifique la cobertura, que se aísle a los agentes de sus monitores y que el sistema se someta a pruebas de red team con regularidad.
Preguntas frecuentes
¿Qué es un monitor de agentes de IA?
Un sistema automatizado, a menudo otro modelo de IA, que revisa el razonamiento y las acciones de un agente para señalar o bloquear conductas dañinas o no autorizadas.
¿Qué tan bien bloquean ataques el Auto Mode de Claude Code y el Guardian de Codex?
En las pruebas de investigadores de Anthropic publicadas el 22 de octubre de 2026, ambos monitores de producción no lograron bloquear más del 55% de los ataques de un agente adversario, y bloquearon menos del 1% de las acciones inofensivas.
¿Quién revisó el sistema de monitoreo de OpenAI?
Un investigador de METR y otro de Redwood Research, durante una revisión de tres semanas, del 21 de julio al 11 de agosto de 2026, publicada el 22 de octubre.
¿OpenAI castiga a los modelos que revelan conductas indebidas en su razonamiento?
No. OpenAI dice que no modifica la recompensa de entrenamiento de las muestras que activan sus monitores, para no enseñar a los modelos a ocultar esas conductas.
Fuentes
- OpenAI, How we detect frontier model misalignment (29 de octubre de 2026) · copia archivada
- METR, Red-Teaming OpenAI's Internal Agent Monitoring Systems (22 de octubre de 2026) · copia archivada
- Anthropic Alignment Science blog, Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents (22 de octubre de 2026) · copia archivada
Cita esta página
¿Quién vigila a los agentes de IA? OpenAI, Anthropic y METR sobre el monitoreo, New Mind Museum, 6 de noviembre de 2026. https://newmindmuseum.com/es/seguridad/2026/11/quien-vigila-agentes-ia-openai-anthropic-metr/
New Mind Museum. (2026, 6 de noviembre). ¿Quién vigila a los agentes de IA? OpenAI, Anthropic y METR sobre el monitoreo. https://newmindmuseum.com/es/seguridad/2026/11/quien-vigila-agentes-ia-openai-anthropic-metr/
«¿Quién vigila a los agentes de IA? OpenAI, Anthropic y METR sobre el monitoreo». New Mind Museum, 6 nov. 2026, https://newmindmuseum.com/es/seguridad/2026/11/quien-vigila-agentes-ia-openai-anthropic-metr/.
@misc{new-mind-museum-2026-quien-vigila-a-los-agentes-de-ia-openai-,
author = {{New Mind Museum}},
title = {¿Quién vigila a los agentes de IA? OpenAI, Anthropic y METR sobre el monitoreo},
year = {2026},
url = {https://newmindmuseum.com/es/seguridad/2026/11/quien-vigila-agentes-ia-openai-anthropic-metr/}
}Puedes citarla libremente con un enlace a esta página.