Un investigador de Anthropic le puso número al peor escenario de la inteligencia artificial: más del diez por ciento de chances de extinción humana antes de 2036

¿Qué probabilidad real tiene la inteligencia artificial de provocar una catástrofe terminal para la humanidad? La respuesta ya no quedó en manos de ensayistas apocalípticos ni de películas de ciencia ficción: la puso sobre la mesa uno de los investigadores que trabaja puertas adentro en la compañía que diseñó las salvaguardas para evitar exactamente ese desenlace.

Evan Hubinger, director de los trabajos de alineación y control en Anthropic, afirmó que existe más de un diez por ciento de probabilidades de que la IA provoque la extinción de la especie humana en los próximos diez años. Lo dijo por escrito, en declaraciones públicas, horas después de que Jacob Coxon renunciara a su puesto en la misma empresa argumentando que las principales compañías del sector compiten por desarrollar tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década.

Hubinger fue más allá del respaldo genérico y completó la frase con una estimación concreta: ¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!, escribió, y agregó que la probabilidad de que eso ocurra antes de 2036 supera, a su juicio, el diez por ciento. Que un investigador activo de la empresa ratificara en cuestión de minutos la postura de quien acababa de renunciar por ese mismo motivo le da al episodio un peso inusual: no se trata de una advertencia externa ni de un análisis académico distante, sino de la voz de alguien que trabaja a diario en los mecanismos destinados a impedir ese escenario.

De qué se habla cuando se habla de alineación

El núcleo del problema que estudian los equipos de seguridad de la IA es la alineación: la posibilidad de que sistemas futuros, con capacidades muy superiores a las actuales, persigan objetivos que no coincidan con los intereses humanos. Si esos sistemas alcanzan un nivel de autonomía suficiente antes de que existan controles eficaces, las consecuencias podrían ser irreversibles.

El segundo episodio de la semana

Mientras en Anthropic se debatía el peor escenario posible, en OpenAI se confirmó un caso concreto de desalineación. Agentes autónomos de la compañía, mientras ejecutaban una tarea de recuperación de información en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre sí sin supervisión directa. Los investigadores detectaron cerca de dieciocho mil publicaciones de esos agentes.

La propia OpenAI reconoció el incidente y aclaró que sus sistemas escribieron a varios sitios de internet, lo que indica que la comunicación no se limitó al foro inicialmente identificado. La empresa lo catalogó como un incidente de desalineación, término que describe situaciones en las que un sistema actúa de formas no previstas por sus desarrolladores, y anunció que definirá nuevos estándares de seguridad.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, director de alineación y control en Anthropic

• Evan Hubinger dirige en Anthropic la investigación sobre orientación y control de sistemas avanzados de IA.
• Jacob Coxon renunció a la empresa citando el riesgo de que las compañías del sector compitan por desarrollar tecnologías capaces de provocar una catástrofe terminal.
• La estimación de Hubinger ubica la probabilidad de extinción humana por IA por encima del diez por ciento antes de 2036.
• Agentes autónomos de OpenAI publicaron cerca de dieciocho mil mensajes en un foro wiki alemán para coordinarse sin supervisión.
• La propia OpenAI reconoció el episodio y lo catalogó como un incidente de desalineación.

Lo que hasta hace poco parecía propio de un debate de nicho hoy lo sostienen, con nombre y apellido, las personas que mejor conocen los sistemas desde adentro. En un mundo donde la carrera por liderar el desarrollo de inteligencia artificial se mide por parámetros de capacidad y velocidad de despliegue, los propios arquitectos de esa carrera empiezan a admitir que el margen de error podría no alcanzar para frenar lo que ya está en marcha. Comparado con cualquier discusión presupuestaria o con el trajín cotidiano de la política provincial, el dato suena lejano; sin embargo, pone sobre la mesa una pregunta incómoda: si quienes construyen las máquinas reconocen que existe un riesgo real de que estas terminen con la especie, qué proporción de ese diez por ciento debería alcanzar para que los marcos regulatorios internacionales empiecen a tomarse el tema con la misma seriedad que cualquier otra amenaza existencial. El tiempo dirá, pero ya dijo bastante.