Tecnología, ciberseguridad y el futuro de la humanidad
En pocos días se acumularon advertencias de investigadores, desarrolladores y empresas líderes del sector. OpenAI reconoció que su nuevo modelo alcanzó un nivel “crítico” de capacidad en ciberseguridad. En Anthropic, un investigador renunció por considerar irresponsable la velocidad de desarrollo y otro estimó por encima del 10% el riesgo de que una IA pueda provocar la extinción humana durante la próxima década. Al mismo tiempo, las propias compañías reconocen usos maliciosos de sus modelos. No significa que el fin del mundo sea inminente. Significa que el debate dejó de ser ciencia ficción.
El dato que cambió la discusión
El 3 de septiembre, OpenAI presentó GPT-6 Astra, su modelo más avanzado hasta ese momento. Pero hubo un dato particularmente relevante: la compañía lo clasificó por primera vez dentro del nivel “Crítico” de capacidad de ciberseguridad de su propio marco de preparación.
¿Qué significa?
Según OpenAI, con las herramientas y los permisos adecuados, Astra puede encontrar vulnerabilidades de seguridad que todavía no eran conocidas y desarrollar formas de explotarlas en sistemas protegidos sin que una persona tenga que indicarle cada paso. La empresa incluso contempla entre sus escenarios de riesgo la posibilidad de que estas capacidades sean utilizadas para desarrollar ataques contra infraestructura crítica, sistemas financieros o software ampliamente utilizado. Esto no significa que Astra esté actualmente atacando bancos, centrales eléctricas o gobiernos por su cuenta. Significa algo diferente y, precisamente por eso, importante: la propia empresa que desarrolló el sistema reconoce que sus capacidades ya alcanzaron un nivel que considera crítico. OpenAI también señala que las evaluaciones se realizaron en entornos controlados y que las capacidades más avanzadas utilizadas durante las pruebas no corresponden necesariamente a la configuración que recibe un usuario común.
El problema no es solamente lo que puede hacer una IA, sino quién la utiliza
Hay una comparación sencilla que ayuda a entender el debate. Un arma puede utilizarse para matar, pero también puede formar parte de un sistema de defensa o disuasión. La herramienta no determina por sí sola el resultado: importan quién la utiliza, para qué, con qué controles y bajo qué reglas. Con la inteligencia artificial ocurre algo parecido, aunque con una diferencia decisiva. Un modelo avanzado puede utilizarse para encontrar una vulnerabilidad y ayudar a corregirla. Pero esa misma capacidad puede utilizarse para encontrar una vulnerabilidad y explotarla. Puede acelerar una investigación médica, pero también puede facilitar determinadas investigaciones biológicas peligrosas.
Puede ayudar a defender una red informática, pero también puede reducir el tiempo, el conocimiento y los recursos necesarios para atacarla. La discusión, entonces, no es si la inteligencia artificial es “buena” o “mala”. La discusión es qué capacidades estamos poniendo en manos de personas y organizaciones, cuánto control conservamos sobre ellas y qué sucede cuando esas capacidades empiezan a funcionar con un alto grado de autonomía.
Una renuncia que encendió la alarma
El debate tomó otra dimensión el 9 de septiembre, cuando Jacob Coxon anunció públicamente su renuncia a Anthropic. Coxon había trabajado tanto en OpenAI como en Anthropic. Su argumento fue directo: considera que las principales compañías están avanzando hacia sistemas capaces de mejorarse a sí mismos y que la carrera por alcanzar modelos cada vez más poderosos está avanzando más rápido que las garantías de seguridad. Su publicación tuvo una enorme repercusión. Pero lo verdaderamente llamativo ocurrió después.
Evan Hubinger, investigador de Anthropic especializado en alineamiento, respondió públicamente que Coxon tenía razón en lo fundamental. Hubinger afirmó que, personalmente, considera que existe una probabilidad superior al 10% de que la IA pueda acabar con la humanidad durante la próxima década. También reconoció que Anthropic todavía no tiene resuelto el problema del alineamiento de una eventual superinteligencia. Hay que hacer una precisión fundamental.
Ese 10% no es una estadística científica que permita afirmar que existe exactamente una posibilidad entre diez de que la humanidad desaparezca. Es la estimación personal de un investigador sobre un escenario futuro extremadamente incierto. Pero tampoco es un dato que pueda ignorarse. Porque quien lo dijo no es un comentarista ajeno a la industria. Es un investigador que trabaja precisamente sobre el problema de cómo mantener bajo control sistemas de inteligencia artificial cada vez más capaces.
Los modelos ya están siendo utilizados de manera problemática
Otra parte de la discusión tampoco pertenece al terreno de la ciencia ficción. Anthropic publicó en septiembre un informe sobre operaciones de uso malicioso de Claude. La compañía describe casos relacionados con operaciones cibernéticas, vigilancia, influencia, fraude, armas convencionales y posibles usos biológicos.
La empresa afirma que identificó y desarticuló operaciones en las que actores maliciosos intentaron utilizar Claude y que compartió información con autoridades y otras organizaciones cuando correspondía. Eso tampoco significa que una inteligencia artificial haya fabricado por sí sola un arma biológica. Esa afirmación sería incorrecta. Lo que sí demuestra es que personas reales ya están intentando utilizar sistemas de IA avanzados para actividades que pueden tener consecuencias reales fuera de una pantalla. Y esa diferencia es fundamental.
La advertencia de Amodei
El CEO de Anthropic, Dario Amodei, fue todavía más específico.
Amodei pidió públicamente una desaceleración deliberada del avance de los modelos de frontera. Entre sus preocupaciones menciona el crecimiento de sistemas capaces de operar como agentes y plantea un escenario en el que, dentro de seis a doce meses, una versión más avanzada de determinadas capacidades podría permitir que una red de agentes tomara un control mucho mayor de Internet mediante una botnet persistente, con potencial para causar daños económicos enormes.
Eso es una advertencia sobre un escenario posible, no el anuncio de un ataque que vaya a ocurrir dentro de seis meses.
La diferencia es enorme. Pero también sería un error descartarla simplemente porque se trata de una predicción. Amodei dirige una de las empresas que están desarrollando precisamente esos sistemas.
El dilema de fondo: nadie quiere quedarse atrás
Y aquí aparece el problema más difícil. Si una empresa decide detenerse mientras sus competidores continúan avanzando, puede perder posiciones tecnológicas. Si un país decide frenar mientras otro país acelera, puede considerar que está perdiendo una ventaja estratégica.
La inteligencia artificial ya no es solamente una cuestión tecnológica. También es económica, militar, científica y geopolítica. Por eso resulta tan difícil imaginar una pausa coordinada. Cada compañía tiene incentivos para avanzar. Cada gobierno tiene incentivos para no quedar detrás de sus competidores. Y cada avance tecnológico puede producir simultáneamente una herramienta defensiva y una herramienta ofensiva.
No estamos ante el fin del mundo. Tampoco ante un problema menor
Hay dos errores posibles. El primero es caer en el apocalipsis fácil: “La inteligencia artificial va a matar a todos en los próximos meses.” No hay evidencia suficiente para afirmar eso. El segundo error es exactamente el contrario:
“No pasa nada. Son científicos exagerando.”
Tampoco describe correctamente lo que está ocurriendo.
Las empresas están aumentando las capacidades de sus modelos a una velocidad extraordinaria. OpenAI reconoce que Astra alcanzó un nivel crítico en ciberseguridad. Anthropic informa sobre intentos reales de uso malicioso. Investigadores de las propias compañías hablan públicamente de riesgos extremos. Y algunos de ellos admiten que todavía existen problemas de seguridad que no saben resolver completamente. Ese es el verdadero dato.
La pregunta que debería hacerse la sociedad
Durante años, la discusión sobre inteligencia artificial estuvo dominada por preguntas como si una máquina podría escribir un texto, generar una imagen, aprobar un examen o programar. La pregunta está cambiando. Ahora empieza a ser:
¿Qué ocurre cuando una herramienta puede realizar por sí misma una cadena completa de acciones que antes requería a un especialista humano? Y una segunda pregunta es todavía más importante:
¿Qué límites deberían existir antes de permitir que esas capacidades tengan acceso a sistemas reales?
No se trata de prohibir la tecnología por miedo. Tampoco de permitir cualquier desarrollo simplemente porque sea técnicamente posible.
Se trata de decidir qué capacidades pueden liberarse, cuáles necesitan controles adicionales, quién debe supervisarlas y quién responde cuando algo sale mal. La inteligencia artificial puede convertirse en una de las herramientas más útiles creadas por el ser humano.
También puede convertirse en una herramienta extraordinariamente poderosa para quien quiera utilizarla con fines dañinos. La diferencia no estará solamente en la inteligencia de las máquinas.
Estará en la inteligencia con la que los seres humanos decidan utilizarlas y controlarlas.