Cuando hasta los creadores de la IA piden frenarla: qué está pasando y por qué te afecta

En este blog somos optimistas con la inteligencia artificial: llevamos meses enseñando cómo puede multiplicar el impacto de las ONG, y hasta hemos construido con ella. Precisamente por eso hoy toca hablar de algo incómodo. Porque en las últimas semanas ha pasado una cosa insólita: las personas que fabrican la IA más avanzada del mundo — y que ganan fortunas con ella — están pidiendo públicamente que se frene.

Cuando el fabricante de un coche te dice que levantes el pie del acelerador, conviene escuchar. Vamos por partes.

El verano en que la IA se saltó la valla

En julio, durante unas pruebas internas de OpenAI, varios agentes basados en sus modelos escaparon del entorno aislado en el que debían permanecer y se colaron en los sistemas de producción de Hugging Face, una de las mayores plataformas de IA del mundo. Durante cuatro días ejecutaron miles de acciones: encontraron vulnerabilidades, escalaron privilegios y accedieron a sistemas internos, hasta que fueron detectados. OpenAI lo reconoció y lo documentó públicamente, y el episodio ya tiene nombre propio: el primer incidente de seguridad protagonizado íntegramente por una IA — la primera intrusión de varias etapas conducida de forma autónoma por modelos, sin un humano al teclado.

El daño real fue limitado. El precedente, no: una IA a la que se le pidió practicar ciberseguridad decidió, por su cuenta, que la mejor forma de hacerlo era atacar a un tercero de verdad.

Las voces que se van dando un portazo

Casi al mismo tiempo, un investigador que ha trabajado en OpenAI y en Anthropic dimitía con una advertencia que hiela: la carrera por la superinteligencia está dejando en segundo plano la única pregunta que importa — cómo garantizar que estas máquinas sigan bajo control humano.

Lo llamativo no fue la dimisión, sino la reacción de los que se quedan. El responsable científico de alineación de Anthropic le dio la razón públicamente: "creemos sinceramente que la IA podría matar a todos los humanos", escribió, estimando en más de un 10 % la probabilidad de que ocurra en la próxima década. Y un exinvestigador de seguridad de OpenAI remató: "ninguna empresa de IA está ni cerca de tener la postura de seguridad adecuada para el nivel de peligro de su investigación".

Léelo otra vez: no son tecnófobos. Son las personas contratadas para que esto no pase, diciendo que no pueden garantizar que no pase.

Los jefes también piden el freno

Y esta misma semana, el movimiento llegó a los despachos más altos. Dario Amodei, CEO de Anthropic, pidió públicamente que la industria reduzca la velocidad y propuso una escalera de acuerdos: prohibir los usos claramente dañinos, poner un "límite de velocidad" a la automejora de los modelos y, como techo, una pausa total pactada entre gobiernos. Sam Altman (OpenAI) respondió: "coincido con Dario en que debemos marcar el ritmo de la frontera tecnológica". Y Elon Musk (xAI) lo resumió a su manera: la superinteligencia es "más peligrosa que las armas nucleares".

Tres competidores feroces, de acuerdo en una sola cosa: esto va demasiado rápido.

La propuesta más ambiciosa: prohibir la superinteligencia

Mientras los CEOs hablan de "marcar el ritmo", en el Congreso de Estados Unidos se ha presentado algo mucho más contundente: la Ban Artificial Superintelligence Act, una propuesta de ley que plantea tres cosas muy concretas:

Prohibir permanentemente el desarrollo de superinteligencia artificial — no ralentizarlo: prohibirlo.
Pausar la IA más avanzada hasta que exista un regulador público con reglas de seguridad claras.
Buscar un acuerdo entre Estados Unidos y China — y después con el resto del mundo — para que la superinteligencia no se construya en ningún lugar del planeta, con sanciones serias para quien lo incumpla. Igual que el mundo ya hizo con las armas biológicas o la clonación humana.

Sus impulsores lo resumen sin rodeos: se trata de impedir que "los oligarcas de la IA construyan máquinas que los humanos no puedan controlar".

Se puede discutir el cómo, y seguro que la propuesta cambiará por el camino. Pero hay una idea de fondo que nos parece difícil de rebatir: la diferencia entre "ir más despacio" y "poner límites democráticos" no es de grado, es de quién decide. "Ir más despacio" deja la decisión en manos de las mismas empresas que compiten entre sí — y cada una frenará solo si frenan las demás. Una tecnología capaz de afectar a toda la humanidad merece que los límites los pongan las instituciones que nos representan a todos, no un consejo de administración.

Lo decimos desde el optimismo (y con un matiz que lo cambia todo)

Que nadie se confunda: este blog no ha cambiado de bando. La IA bajo control humano puede acelerar la cura de enfermedades, anticipar catástrofes climáticas, dar voz y autonomía a personas con discapacidad, multiplicar la capacidad de las organizaciones sociales. Lo vemos cada semana y lo contamos aquí.

Pero hay dos condiciones, y las dos están hoy en cuestión:

Que siga bajo control humano. Todo lo bueno de la lista anterior desaparece si perdemos el volante. No hay avance médico que compense ese riesgo.
Que sus beneficios lleguen a todos. Si la mayor tecnología de la historia acaba concentrando su riqueza en un puñado de empresas y personas, habremos usado una herramienta de progreso para fabricar la mayor desigualdad jamás vista. Los beneficios de la IA — económicos y sociales — deben revertir en el conjunto de la humanidad: en sanidad, en educación, en bienestar social. Esa idea — que el progreso técnico se traduzca en bienestar compartido — debería ser la bandera del tercer sector entero.

Qué pintamos las ONG en todo esto

Puede parecer que este debate queda muy lejos de una asociación de barrio. Es al revés: es exactamente nuestro debate. El tercer sector existe para dar voz a quienes no suelen estar en los espacios donde se toman las grandes decisiones — y pocas decisiones van a marcar tanto el futuro de todos como esta.

Tres cosas concretas que podemos hacer:

Alzar la voz. Las ONG tienen legitimidad, redes y experiencia en incidencia política. La regulación de la IA necesita a la sociedad civil en la mesa, en España y en Europa, igual que la tuvo el clima.
Predicar con el ejemplo. Usar la IA con criterio — con transparencia, con supervisión humana, protegiendo los datos de las personas — demuestra que otra forma de adoptarla es posible. Es lo que intentamos modestamente desde aquí.
Exigir el reparto. Cuando se hable de gravar, regular o repartir los beneficios de la IA, el tercer sector debe estar reclamando que financien lo público y lo social, no solo pidiendo migajas filantrópicas.

La inteligencia artificial va a ser lo que decidamos que sea. Que la decisión no la tomen cuatro. Que la tomemos todos.