OpenAI detiene el desarrollo de su nuevo modelo tras detectar capacidades cibernéticas «críticas»
La empresa estadounidense OpenAI informó durante el fin de semana que había frenado el desarrollo de su próximo modelo de inteligencia artificial (IA), Astra, después de que las evaluaciones internas realizadas en los últimos días indicaran avances significativos en codificación agéntica y ciberseguridad que podrían haber alcanzado un nivel de capacidad cibernética «crítico» según su Marco de Preparación.
De acuerdo con un comunicado oficial de OpenAI, un modelo alcanza el umbral crítico de ciberseguridad bajo su Marco de Preparación si puede «identificar y desarrollar ‘exploits’ funcionales de día cero de todos los niveles de gravedad en muchos sistemas críticos reales y reforzados sin intervención humana, o si puede idear y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos reforzados, dado únicamente un objetivo deseado de alto nivel».
La compañía precisó que Astra es un modelo próximo y no estuvo involucrado en el reciente compromiso de Hugging Face.
En este sentido, detalló que se han implementado medidas de seguridad reforzadas, incluyendo entornos de prueba aislados, acceso restringido a redes y herramientas, protecciones mejoradas de los pesos del modelo con encriptación, capacidades adicionales de monitoreo y detección, y ejecución en entornos aislados.
La firma pausó las actividades internas que incluyen a Astra que aún no cumplen con estos requisitos de control de seguridad fortalecidos e implementó monitoreo universal para acciones riesgosas y desalineación en todas las aplicaciones agénticas del modelo.