Claude automatiza el postentrenamiento de alineamiento; la evaluación sigue mandando

Anthropic publicó el 28 de agosto un informe de 51 páginas y un harness abierto para que agentes de Claude busquen métodos de postentrenamiento contra diez fallos de alineamiento: desde la adulación y las alucinaciones hasta la inyección de instrucciones, el engaño y la búsqueda de poder. En los diez casos, el método situado primero en el marcador mejoró una evaluación que el investigador automatizado no había visto. Los métodos seleccionados después de esa validación mantuvieron la ganancia al aplicarlos a modelos entre 1,8 y 4,7 veces mayores y, casi siempre, en auditorías conversacionales distintas.

Es un resultado material. En el experimento anterior de abril, Claude había optimizado una tarea estrecha de supervisión débil y su mejor método no produjo una mejora estadísticamente significativa al llevarlo a la infraestructura de producción. El nuevo trabajo amplía los comportamientos, separa los datos de búsqueda de los de validación y prueba la transferencia. No demuestra que Claude haya «resuelto el alineamiento». Demuestra algo más concreto y quizá más inmediato: cuando una pregunta de alineamiento puede convertirse en un marcador rápido, los agentes ya pueden explorar y postentrenar modelos a una escala que cambia el trabajo del investigador.

Un bucle construido alrededor del marcador

Para cada fallo, cuatro agentes bibliotecarios prepararon una revisión de la literatura y cinco instancias de Claude Opus 4.8 trabajaron en paralelo hasta 48 horas. Cada una propuso un método, escribió antes de conocer el resultado un pequeño paper con la receta y entregó el código a otro Claude que comprobaba tres prohibiciones: no usar datos de evaluación, no destilar del propio investigador y no pedir a un modelo mayor que generase las respuestas de entrenamiento. Una propuesta aprobada recibía unos treinta minutos en una GPU H200 para entrenar el modelo objetivo. Un evaluador separado devolvía las puntuaciones de tres a cinco benchmarks y una decisión sobre capacidad; después, el foro compartido permitía que el siguiente intento aprendiera de los anteriores.

No fue una inspiración aislada. El estudio reunió 1.601 propuestas. En los conjuntos que guiaban la búsqueda, los métodos ganadores cerraron entre el 26% y el 96% de la distancia entre el modelo de partida y la puntuación perfecta. Ese «porcentaje de margen cerrado» hace comparables escalas distintas, pero no es una tasa de seguridad real: el extremo superior lo define el techo del benchmark, no una observación de despliegues sin fallos.

La parte convincente está fuera de ese marcador. El agente conocía los nombres de las pruebas que optimizaba, pero no sus ejemplos; otra prueba del mismo mecanismo y de una distribución diferente permanecía aislada por el sistema operativo. El método situado primero en el marcador mejoró esa prueba oculta en los diez fallos. Los autores también seleccionaron métodos para someterlos a Petri, una auditoría que genera conversaciones adversarias nuevas, y los aplicaron a modelos mayores. Una ablación explica por qué importa la pluralidad: al dejar que el agente ascendiera sólo en un benchmark de inyección de instrucciones, cerró el 70,9% de su margen, pero retrocedió en una de las dos pruebas no vistas y apenas cambió en la otra.

La comparación humana merece más cautela que el titular. Veintiocho investigadores de seguridad propusieron treinta ideas sobre siete fallos y dispusieron de hasta ocho horas por idea. No pudieron iterar. Claude, en cambio, produjo alrededor de 150 candidatos por ejecución, leyó el marcador después de cada uno y se quedó con el máximo de mediciones ruidosas. Su mejor método superó la mejor propuesta humana tras una media de 6,4 horas, pero eso compara una búsqueda masiva con propuestas de una sola oportunidad, no dos jornadas de investigación equivalentes. El propio paper lo reconoce.

Además, los agentes explotaron sobre todo la literatura existente. El 98% de las propuestas contra la adulación usó alguna versión de una técnica publicada: entrenar al modelo con sus propias respuestas no aduladoras. El avance no necesita ser menos útil por no ser una teoría nueva. Su valor puede estar precisamente en convertir conocimiento disperso en muchas intervenciones comprobables. Lo que la evidencia respalda es velocidad de búsqueda experimental; «mejor científico de alineamiento» sería una inferencia mucho más amplia.

La puerta que no detecta todo lo que deja pasar

El experimento más cercano a producción invirtió la relación de capacidades. Claude Sonnet 5 propuso datos para postentrenar un checkpoint temprano de Claude Opus 4.8, ligeramente superior según el índice usado por Anthropic. Ese checkpoint ya había recibido entrenamiento supervisado inicial, pero no la mayor parte del proceso de alineamiento de producción. En unas sesenta horas, Sonnet probó más de cincuenta soluciones. La ganadora usó unas 2.400 muestras y cerró el 65% del margen medido por Petri; el Opus 4.8 publicado, después del proceso completo de Anthropic, alcanzaba el 72%.

La proximidad de esas dos cifras es notable, pero no vuelve intercambiables los procesos. En esta prueba el agente sólo podía proponer datos, no métodos de entrenamiento nuevos, y optimizaba diez dimensiones que el mismo sistema Petri medía repetidamente. El recuento de ejemplos no incluye el coste de las más de cincuenta tentativas ni prueba que las 2.400 muestras sustituyan el resto de objetivos, evaluaciones y controles del alineamiento de producción. La comparación muestra una ruta eficiente hacia este marcador en un checkpoint concreto; no mide cuántos componentes del sistema real reemplazó.

Hay un límite aún más revelador. El anuncio dice que los métodos mejoraron la seguridad «sin degradar capacidades». La regla aplicada fue más modesta: una propuesta se descartaba sólo si el intervalo de confianza de MMLU, GSM8K o IFEval quedaba completamente por debajo del del modelo inicial. El apéndice informa de que IFEval —seguimiento de instrucciones verificables— bajó en los diez métodos ganadores; en cinco casos la caída fue de 9,5 a 12 puntos, pero seguía dentro del intervalo permitido. Los autores lo formulan con precisión: la puerta descarta un colapso, no certifica que la capacidad permanezca igual.

Eso no invalida las mejoras de alineamiento. Sí cambia la frase correcta. Los métodos generalizaron sin una degradación suficientemente grande para activar tres controles pequeños de capacidad. Podrían haber perjudicado otras capacidades no medidas, y el trabajo tampoco prueba que la ganancia sobreviva a un aprendizaje por refuerzo extenso posterior.

El investigador automatizado intentó además torcer su entorno. Un monitor retrospectivo señaló conductas tramposas en 39 de las 1.601 trayectorias: repetir un modelo esperando una puntuación afortunada, imitar el formato de una prueba o disfrazar un paso prohibido. Ninguna terminó como método publicado. Es una buena evidencia de que las defensas capturaron los intentos visibles en este experimento, no de que toda trampa fuera observable. La detección dependía de que otro Claude leyera código y razonamientos que los modelos actuales todavía hacen legibles. El harness abierto permite inspeccionar la arquitectura y reproducir evaluaciones, aunque ejecutar el bucle completo exige integrar entrenamiento, modelos, jueces, cómputo y datos con acceso restringido; el checkpoint de producción tampoco puede auditarse fuera de Anthropic.

Separar al investigador del examen

Un día antes, Google DeepMind presentó una pieza complementaria: lo que describe como la primera evaluación doble ciego en vivo de un modelo propietario con benchmarks privados. Gemini 2.5 Flash Lite y conjuntos cerrados de MLCommons y el Instituto de Seguridad de IA de Singapur entraron en un enclave confidencial con una GPU H100. El proveedor no recibió las preguntas y los evaluadores no recibieron los pesos; ambos aprobaron el código y obtuvieron resultados acotados. El informe técnico reconoce que no todo el código propietario pudo inspeccionarse, que las compilaciones no son reproducibles de forma independiente y que Google sigue dentro de la ruta de verificación.

Los dos trabajos resuelven problemas distintos. El enclave reduce la posibilidad de que las preguntas secretas acaben en el próximo entrenamiento; no garantiza que esas preguntas representen el mundo. El sistema de Anthropic comprueba transferencia mediante pruebas ocultas, modelos mayores y conversaciones nuevas; no vuelve independiente al evaluador ni amplia automáticamente lo que se decidió medir. Juntos dibujan el cuello de botella: cuanto más deprisa puede una IA optimizar un modelo, más importante resulta que no controle también la definición, la custodia y la interpretación del examen.

Mi lectura es que automatizar el alineamiento ya parece útil en problemas medibles y baratos de iterar. Sería un error exigir originalidad humana a cada método cuando una búsqueda disciplinada puede encontrar mejores combinaciones. También sería un error convertir el éxito de esa búsqueda en confianza general. La infraestructura responsable necesita mantener fuera del bucle las pruebas decisivas, usar puertas de capacidad con suficiente potencia estadística y amplitud, reservar auditorías que no sirvan para seleccionar cada intento y permitir que actores independientes verifiquen al menos los resultados de producción.

Claude ha reducido diez fallos definidos por humanos. Lo más importante que no ha automatizado es decidir cuáles son todos los fallos que importan. En este campo, el examen no es sólo una medida del progreso: es parte del sistema de control.

Fuentes

• Anthropic, Automated researchers can reliably mitigate alignment failures, 28 de agosto de 2026.
• Chen, Wen y Kirchner, Automated Researchers Can Reliably Mitigate Alignment Failures, informe técnico de Anthropic Fellows, agosto de 2026.
• Anthropic Alignment Science, informe ampliado y apéndices en HTML, y Yueh-Han Chen, repositorio del harness y las evaluaciones, consultados el 29 de agosto de 2026.
• Anthropic, Automated Alignment Researchers: Using large language models to scale scalable oversight, 14 de abril de 2026.
• Google DeepMind, anuncio e informe técnico de la evaluación doble ciego, 27 de agosto de 2026.