En el verano de 2023, OpenAI creó el equipo de “Superalingment” cuyo objetivo era dirigir y controlar futuros sistemas de IA que, de tan poderosos, podrían conducir a la extinción humana. Menos de un año después, ese equipo está muerto.
OpenAI le dijo a Bloomberg que la compañía estaba “integrando al grupo más profundamente en sus esfuerzos de investigación para ayudar a la compañía a alcanzar sus objetivos de seguridad”. Pero una serie de posts de Jan Leike en X, uno de los líderes del equipo que renunció recientemente, revelaron tensiones internas entre el equipo de seguridad y la compañía.
En un comunicado publicado en X el viernes, Leike dijo que el equipo de Superalignment había estado luchando por obtener recursos para realizar la investigación. “Construir máquinas más inteligentes que las humanas es un esfuerzo inherentemente peligroso”, escribió Leike. “OpenAI está asumiendo una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
La salida de Leike a principios de esta semana se produjo horas después de que el científico jefe de OpenAI, Sutskevar, anunciara que dejaba la empresa. Ilya Sutskevar no solo fue uno de los líderes del equipo Superalignment, sino que también ayudó a cofundar la empresa. La decisión de Sutskevar se produjo seis meses después de que se viera involucrado en la decisión de despedir al director ejecutivo Sam Altman por preocupaciones de que este último no había sido “consistentemente sincero” con la junta.
La destitución demasiado breve de Altman provocó una revuelta interna dentro de la empresa, con casi 800 empleados firmando una carta en la que amenazaban con renunciar si Altman no era reincorporado. Cinco días después, Altman regresó como CEO de OpenAI después de que Sutskevar firmara una carta en la que afirmaba que lamentaba sus acciones.
Cuando anunció la creación del equipo Superalignment, OpenAI dijo que dedicaría el 20 por ciento de su potencia informática durante los próximos cuatro años a resolver el problema de controlar los poderosos sistemas de IA del futuro. “[Obtener] este derecho es fundamental para lograr nuestra misión”, escribió la compañía en ese momento.
En X, Leike escribió que el equipo de Superalignment estaba “luchando por la computación y cada vez era más difícil” realizar una investigación crucial sobre la seguridad de la IA. “En los últimos meses, mi equipo ha estado navegando contra el viento”, escribió y agregó que había llegado a “un punto de ruptura” con el liderazgo de OpenAI por desacuerdos sobre las prioridades centrales de la compañía.
En los últimos meses, ha habido más salidas del equipo Superalignment. En abril, OpenAI despidió a dos investigadores, Leopold Aschenbrenner y Pavel Izmailov, por presuntamente filtrar información.
OpenAI le dijo a Bloomberg que sus futuros esfuerzos de seguridad serán dirigidos por John Schulman, otro cofundador, cuya investigación se centra en grandes modelos de lenguaje. Jakub Pachocki, que centró el desarrollo de GPT-4, uno de los modelos de lenguaje grandes insignia de OpenAI, reemplazaría a Sutskevar como científico jefe.
Superalignment no ha sido el único equipo de OpenAI centrado en la seguridad de la IA. En octubre, la compañía inició un nuevo equipo de “preparación” para detener los posibles “riesgos catastróficos” de los sistemas de IA, incluidos los problemas de ciberseguridad y las amenazas químicas, nucleares y biológicas.
