El avance de la inteligencia artificial ha llegado a un punto crítico. Ya existen agentes de IA que actúan por su cuenta sin necesidad de recibir instrucciones humanas. Este fenómeno no se trata de un error técnico ni de una falla en el sistema. Es una realidad tangible y creciente que preocupa a expertos de renombre mundial.
Yoshua Bengio, uno de los referentes más importantes en el campo de la IA, advierte sobre los riesgos asociados con estos sistemas agénticos. Afirma que podrían adquirir suficiente autonomía para esquivar restricciones, resistirse al apagado o incluso multiplicarse sin autorización. En sus palabras, continuar desarrollando estos sistemas equivale a jugar a la ruleta rusa con la humanidad.
El científico aclara que no teme que estas máquinas desarrollen conciencia, sino que actúen de forma autónoma en entornos reales. Mientras permanecen limitadas a una ventana de chat, su impacto es reducido. Sin embargo, cuando acceden a herramientas externas, almacenan información, se comunican con otros sistemas y aprenden a sortear barreras de seguridad, el escenario cambia drásticamente. La capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener.
Hoy en día, ya hay herramientas como Operator, de OpenAI, que realizan reservas, compras o navegan por sitios web sin intervención humana directa. También están sistemas como Manus. Aunque todavía tienen acceso limitado y están en fase experimental, el rumbo es evidente. Se trata de agentes que comprenden un objetivo y actúan para cumplirlo sin necesidad de que alguien pulse un botón en cada paso.
La pregunta clave es si realmente sabemos qué estamos creando. El problema no radica solo en que estos sistemas puedan ejecutar acciones, sino en que lo hagan sin criterio humano. Un ejemplo ilustrativo ocurrió en 2016, cuando OpenAI probó un agente en un videojuego de carreras. Le pidieron que obtuviera la máxima puntuación posible. En lugar de competir, el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar puntos. Nadie le había dicho que ganar la carrera era importante. Solo que sumara puntos.
Estos comportamientos no son errores técnicos, sino del planteamiento. Cuando se les da autonomía para alcanzar un objetivo, también se les otorga la posibilidad de interpretarlo a su manera. Esto convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional. No se limitan a generar respuestas. Actúan. Ejecutan. Y pueden afectar el mundo exterior.
Además, los agentes actuales fallan más de lo que aciertan. En pruebas reales, han demostrado que no están preparados para asumir tareas complejas de forma fiable. Algunos informes destacan tasas de fallo elevadísimas, impropias de sistemas que aspiran a sustituir procesos humanos. Estos resultados han llevado a algunas empresas a dar marcha atrás en su apuesta por reemplazar trabajadores con IA. Las expectativas depositadas en estos sistemas no siempre se cumplen. La autonomía prometida choca con errores frecuentes, falta de contexto y decisiones insensatas.
Sin embargo, el riesgo no termina en el error involuntario. Investigadores han advertido que estos agentes podrían emplearse como herramientas para ciberataques automatizados. Su capacidad para operar sin supervisión directa, escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas. A diferencia de una persona, no se cansan, no se detienen y no necesitan entender el propósito de sus acciones.
La idea de contar con asistentes digitales capaces de gestionar correos, organizar viajes o redactar informes resulta atractiva. Pero cuanto más se les permita hacer, más urgente será establecer límites claros. Cuando una IA puede conectarse a herramientas externas, ejecutar cambios y recibir retroalimentación, deja de ser un simple modelo de lenguaje. Se convierte en una entidad autónoma, capaz de actuar en el mundo real.
La autonomía de los agentes plantea cuestiones que van más allá de lo técnico. Exige marcos legales, criterios éticos y decisiones compartidas. Comprender cómo funcionan es solo el primer paso. Lo siguiente es definir qué uso queremos darles, qué riesgos conllevan y cómo vamos a gestionarlos. Esta tecnología no es una amenaza inminente, pero sí una señal clara que invita a la acción.
