Seis investigadores se sientan adentro de Anthropic con la llave que antes no entregaba nadie

Me lo imagino y me parece una postal fuerte: seis personas que llegan un lunes a la mañana a la oficina de una de las compañías más discutidas del momento, les entregan una computadora igual a la de cualquier empleado, les asignan un escritorio y les dicen "revénsenos, pueden publicar lo que encuentren". Eso, ni más ni menos, es lo que acaba de pasar en Anthropic con un equipo de METR, una organización sin fines de lucro que se dedica a evaluar sistemas de inteligencia artificial de forma independiente. Acá en el sur, donde uno mira estas noticias desde lejos, la escala del gesto sorprende: nunca, o casi nunca, una empresa del calibre de Anthropic le había abierto la puerta de esa manera a un auditor externo.

Un esquema con tres niveles, no uno solo

La compañía no improvisó. Durante el último año armó un sistema con tres categorías de evaluadores externos, de menor a mayor profundidad. En el nivel más bajo trabajan organizaciones como SecureBio, que hacen revisiones puntuales y necesitan autorización de Anthropic antes de difundir sus hallazgos. En el intermedio, los equipos reciben más información y ya pueden publicar sin pedir permiso. En la cima, por ahora solo METR: acceso equivalente al de un empleado del área de evaluación de riesgos, oficinas adentro, herramientas internas y la potestad de sacar a la luz evaluaciones, reportes de incidentes y análisis de las prácticas de la empresa sin que Anthropic pueda bloquearlos.

Hay, eso sí, tres áreas vedadas: datos de clientes, información protegida por secreto profesional entre abogado y cliente y detalles finos sobre la arquitectura de los modelos. Y la empresa conserva un derecho acotado: puede pedir que se redacten ciertos puntos sensibles, siempre dentro de categorías estrechas y previamente definidas. Lo que no puede hacer es callar a METR si el equipo considera que esa redacción no estaba justificada: está habilitado a salir a decirlo públicamente.

• Acceso equivalente al de un empleado del área de evaluación de riesgos de Anthropic.
• Computadoras provistas por la empresa y espacio físico en sus oficinas.
• Herramientas internas a la par de las que usa el personal propio.
• Posibilidad de publicar evaluaciones, reportes de incidentes y análisis de prácticas sin pedir autorización.
• Libertad para señalar públicamente si considera que una solicitud de redacción fue injustificada.
• Tres áreas vedadas: datos de clientes, secreto profesional abogado-cliente y arquitectura de los modelos.

Por qué tanto acceso y no menos

Anthropic reconoce que no puede hacer pública toda su información de seguridad, porque parte de esos datos podrían ser aprovechados por actores maliciosos o son sensibles desde el punto de vista comercial. Por eso eligió una fórmula intermedia: acceso profundo, grupo chico, acuerdos exigibles, y el resto del personal de METR aislado de esa línea de trabajo para que no se filtre nada sensible. La empresa enumera cuatro condiciones que, a su entender, hacen que una auditoría externa sirva para algo y no sea un sello decorativo.

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo de verdad.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas.

El equipo de METR ya venía revisando varios informes de riesgo de Anthropic durante el año anterior a este salto de nivel, así que no es una relación empezada ayer: hay un historial común que la compañía evaluó antes de extenderles la llave más grande. Acá en el sur uno se pregunta qué va a pasar cuando estos seis investigadores sienten que algo no cierra y quieran contarlo. Porque ese, en definitiva, es el punto: si la auditoría funciona, nosotros vamos a enterarnos de lo que encuentren. Y eso, en una industria donde la opacidad es la regla, ya es mucho más de lo que teníamos.