Los mismos artículos reciben veredictos distintos según la versión del modelo
Jizhou Guo publicó el 16 de noviembre un artículo en arXiv que muestra que los modelos de IA usados como revisores pueden juzgar los mismos manuscritos de forma muy distinta de una versión a otra. La auditoría abarcó veinte modelos de OpenAI, Google y Anthropic.
Guo ejecutó los modelos con envíos a ICLR 2027 mientras esos artículos seguían en revisión. El artículo indica que las pruebas se registraron antes de que se tomaran las decisiones. Entre una versión anterior y una posterior de Claude Opus, la proporción de artículos ubicados del lado de la aceptación cayó 52 puntos porcentuales en 183 envíos aleatorios. En Gemini cayó 53 puntos en 60 envíos. Otras seis comparaciones por pares mostraron caídas de 43 a 79 puntos. En ninguna comparación hubo artículos que mejoraran su veredicto.
Esto importa porque, como señala el artículo, los proveedores reemplazan sus modelos en cuestión de meses. El puntaje de una versión puede no significar lo mismo en la siguiente. Esa es una razón por la que los compromisos de retiro de modelos importan a quien construye sobre estas herramientas. Indicar en el prompt que se asumiera una tasa de aceptación de 30% dejó igualmente una brecha de 79 puntos entre las dos versiones de Opus. Los modelos también concentraron sus puntajes. Los veinte dieron un 2 o un 3 en 473 de 475 reseñas, mientras que los revisores humanos lo hicieron en 60 de 72.
La memorización es otro problema. Guo reporta que Claude Opus 5.5 generó el nombre del primer autor real de 27 artículos de ICLR 2026 con decisión, a partir solo de los títulos y sin ningún nombre equivocado. Claude Opus 4.6 aceptó los 11 artículos con decisión que marcó como reconocidos, cuando se esperarían unos 5. Por eso, las pruebas con artículos que ya tienen decisión podrían premiar la memorización y no el criterio.
Quedan muchas preguntas abiertas. En tres modelos, las clasificaciones autoestimadas coincidieron solo débilmente con las de dos revisores humanos, con correlaciones de 0,17 a 0,21 y amplios rangos de incertidumbre. Las pruebas frente a las decisiones reales de ICLR 2027 se agregarán después del 16 de diciembre de 2026. Guo concluye que cualquier umbral basado en puntajes de revisores de IA debe contrastarse con decisiones humanas para cada versión del modelo. La lista de modelos de IA de este sitio muestra cuántas versiones hay que seguir.
Fuentes
Cita esta página
Los mismos artículos reciben veredictos distintos según la versión del modelo, New Mind Museum, 17 de noviembre de 2026. https://newmindmuseum.com/es/investigacion/2026/11/veredictos-distintos-versiones-modelos-revision-por-pares/
New Mind Museum. (2026, 17 de noviembre). Los mismos artículos reciben veredictos distintos según la versión del modelo. https://newmindmuseum.com/es/investigacion/2026/11/veredictos-distintos-versiones-modelos-revision-por-pares/
«Los mismos artículos reciben veredictos distintos según la versión del modelo». New Mind Museum, 17 nov. 2026, https://newmindmuseum.com/es/investigacion/2026/11/veredictos-distintos-versiones-modelos-revision-por-pares/.
@misc{new-mind-museum-2026-los-mismos-articulos-reciben-veredictos-,
author = {{New Mind Museum}},
title = {Los mismos artículos reciben veredictos distintos según la versión del modelo},
year = {2026},
url = {https://newmindmuseum.com/es/investigacion/2026/11/veredictos-distintos-versiones-modelos-revision-por-pares/}
}Puedes citarla libremente con un enlace a esta página.