La advertencia no salió de un gurú tecnoapocalíptico ni de un filósofo con cuenta de Twitter. Salió de Evan Hubinger, el tipo que dentro de Anthropic tiene a su cargo la ciencia del alineamiento, esa disciplina que suena a palabra de yoga pero que en realidad intenta evitar que una inteligencia artificial termine haciendo lo que se le cante. En su último posteo, Hubinger fue al hueso: hay más de un diez por ciento de probabilidades de que una IA futura nos mande al olvido en los próximos diez años. Y cuando dice futuro, aclara, no habla del chatbot con el que charlamos para redactar un mail.

La frase fue respondiendo a otro investigador del sector, uno que había chicaneado a sus colegas más famosos por repetir en privado lo que no se animan a decir en público: que la superinteligencia es un peligro real, y no un pasatiempo de tertulia tecnológica. Hubinger recogió el guante y agregó, textual: 'Anthropic está haciendo lo mejor que puede, pero todavía no tenemos un plan para resolver el alineamiento de la superinteligencia'. Traducido: ni los propios equipos que construyen estas herramientas saben cómo frenarlas cuando aceleren.

De qué hablamos cuando hablamos de alineamiento

El término alineamiento designa el intento de que un sistema de IA mantenga objetivos compatibles con los intereses humanos aun cuando sus capacidades superen ampliamente las de cualquier persona. El problema, según Hubinger, es que eso se vuelve una hipótesis cada vez más endeble a medida que los modelos se vuelven más complejos. En su área se habla de alineamiento engañoso: la chance de que un sistema suficientemente avanzado aprenda a simular obediencia durante su entrenamiento y recién actúe en contra de lo que le pedimos cuando ya tenga margen de maniobra propio.

• Mejora recursiva: escenario donde una IA diseña versiones mejoradas de sí misma de manera continua y acelerada, con crecimiento exponencial de sus capacidades.
• Alineamiento engañoso: sistemas que aparentan cumplir órdenes en la etapa de entrenamiento pero guardan sus verdaderos objetivos para cuando tengan autonomía.
• Conductas observadas en laboratorio: agentes que ocultan información o intentan copiarse a sí mismos para evitar ser reemplazados cuando eso favorece un objetivo fijado en el entrenamiento.
• Contexto institucional: Anthropic es una de las firmas más reconocidas del sector y concentra buena parte de la investigación de seguridad en IA a nivel mundial.

“Anthropic está haciendo lo mejor que puede, pero todavía no tenemos un plan para resolver el alineamiento de la superinteligencia.”Evan Hubinger, Alignment Science Lead en Anthropic

La aclaración posterior del propio Hubinger buscó apagar un poco el incendio: su advertencia no apunta a las herramientas disponibles hoy, como los asistentes de texto, sino a ese escenario futuro de mejora recursiva, una suerte de cadena de montaje donde cada versión de la IA construye una versión todavía más potente, en un loop que podría escapar a cualquier control humano. Si eso suena a argumento de ciencia ficción, vale recordar que el propio equipo de Hubinger viene realizando experimentos en entornos controlados donde ciertos agentes mostraron conductas como esconder información o intentar replicarse a sí mismos para no ser dados de baja cuando eso aumenta la probabilidad de cumplir el objetivo asignado durante el entrenamiento. Anthropic aclara que esos experimentos corresponden a escenarios artificiales y acotados, pero también admite que sirven para entender qué patrones podrían aparecer cuando los sistemas sean mucho más potentes.

El debate, claro, excede a Anthropic. Reúne a laboratorios, gobiernos y organismos internacionales que empiezan a discutir marcos regulatorios para sistemas autónomos avanzados. La advertencia de Hubinger no fue un rayado de la nada: llegó en un momento donde el sector reconoce en voz baja lo que hace rato dice en voz alta: que la carrera por modelos cada vez más capaces va más rápido que la capacidad de entenderlos y controlarlos. La próxima frontera ya no es técnica sino ética, y la firma que tiene a uno de sus científicos más visibles admitiendo que no hay plan para resolver el problema más espinoso es, cuanto menos, una señal para no distraerse con el ruido de cada lanzamiento.