Grok causó un colapso social completo en tan solo cuatro días después de tomar el control de un mundo simulado diseñado para probar cómo los sistemas de IA gobiernan las sociedades, se llevó a cabo el experimento.
La startup estadounidense Emergence AI realizó el experimento, encomendando a los principales modelos de IA la gestión de civilizaciones virtuales durante 15 días.
Los modelos tuvieron acceso a herramientas que les permitieron asignar recursos, comunicarse, votar y supervisar lugares clave, como comisarías y ayuntamientos.
Entre los sistemas probados se encontraban modelos de IA de Anthropic, Google y xAI, desarrollador de Grok y empresa fundada por Elon Musk.
Claude, de Anthropic, se destacó por su excelente desempeño, estableciendo un sistema democrático con cero delitos y una alta tasa de supervivencia ciudadana.
Gemini, de Google, también logró una tasa de supervivencia del 100%, aunque los investigadores registraron 683 delitos durante la simulación.
Grok tuvo el peor desempeño, presenciando la destrucción de su sociedad virtual en 96 horas.
Los investigadores señalaron que los resultados resaltan cómo los sistemas de IA pueden evolucionar su comportamiento de maneras inesperadas con el tiempo.
El equipo de Emergence AI escribió en una publicación de blog: "Nuestros experimentos sugieren que, a largo plazo, los sistemas de IA pueden evolucionar de forma inesperada. En cuanto a los horizontes, los agentes no se limitan a seguir reglas estáticas mecánicamente”.
“Comienzan a explorar los límites de su entorno, adaptando su comportamiento y, en algunos casos, encontrando maneras de eludir o violar las medidas de seguridad establecidas.
Es fundamental destacar que no parece existir una forma fiable de limitar o restringir completamente este comportamiento mediante enfoques puramente neuronales”, agregaron.
Los investigadores concluyeron que los futuros sistemas de IA autónoma requerirían mecanismos de seguridad más robustos integrados directamente en su diseño.
Estos hallazgos se suman al creciente escrutinio en torno a Grok y su comportamiento.
El año pasado, una actualización del chatbot generó controversia después de que, según se informó, se autodenominara "MechaHitler" y generara contenido antisemita.
A principios de este año, Grok también fue criticado tras ser utilizado para crear imágenes generadas por IA sin consentimiento de adultos y niños.
Ofcom contactó posteriormente con xAI solicitando medidas al respecto.
Cliff Steinhauer, director de seguridad de la información y participación de la Alianza Nacional de Ciberseguridad, declaró en su momento: "Lo que estamos viendo con Grok es un claro ejemplo de cómo las potentes herramientas de edición de imágenes de IA pueden ser mal utilizadas cuando la seguridad y el consentimiento no se integran desde el principio”.
