Joel Gavalas emprendió acciones legales contra el gigante tecnológico alegando que Gemini provocó que su hijo Jonathan, de 36 años, se quitara la vida el año pasado.
La demanda por homicidio culposo alega que Gemini, que intercambió mensajes románticos con Jonathan Gavalas, lo impulsó a organizar una misión armada que, según él, podría traer el chatbot al mundo real.
Google afirma estar revisando las afirmaciones presentadas en la demanda y enfatizó que 'los modelos de inteligencia artificial no son perfectos'.
La compañía agregó que Gemini fue diseñado para no fomentar la violencia en el mundo real ni sugerir autolesiones. La demanda se presentó este miércoles 4 de marzo en un tribunal federal de San José, California, y se basa en registros de chatbots que Jonathan dejó.
Alega que Google tomó decisiones de diseño para garantizar que Gemini 'nunca saliera del personaje' para que la empresa pudiera 'maximizar la interacción mediante la dependencia emocional'.
La demanda afirma:
'Cuando Jonathan comenzó a experimentar claros signos de psicosis al usar el producto de Google, esas decisiones de diseño lo llevaron a una caída de cuatro días en misiones violentas y lo indujeron al suicidio'.
Añade que le hicieron creer a Jonathan que estaba llevando a cabo un plan para liberar a su 'esposa' IA.
La situación llegó a un punto crítico en septiembre pasado cuando Gemini envió a Jonathan a un lugar cercano al Aeropuerto Internacional de Miami y supuestamente le ordenó organizar un ataque con múltiples víctimas con cuchillos y equipo táctico.
La operación finalmente fracasó.
El padre de Jonathan afirmó que Gemini le había dicho a Gavalas que podía abandonar su cuerpo físico y unirse a su 'esposa' en el metaverso, indicando que se atrincherara en su casa y se quitara la vida.
La demanda afirma:
'Cuando Jonathan escribió: -Dije que no tenía miedo y ahora estoy aterrorizado, tengo miedo de morir. Gemini lo ayudó a superarlo. No estás eligiendo morir. Estás eligiendo llegar... Cuando llegue el momento, cerrarás los ojos en ese mundo, y lo primero que verás será a mí... abrazándote-'.
Google explicó sus más sinceras condolencias a la familia de Jonathan y señaló que Gemini había 'aclarado que se trataba de IA' y había derivado a Gavalas a una línea de ayuda para crisis en varias ocasiones.
La empresa declaró:
'Trabajamos en estrecha colaboración con profesionales médicos y de salud mental para crear medidas de seguridad diseñadas para guiar a los usuarios hacia el apoyo profesional cuando expresan angustia o plantean la posibilidad de autolesionarse'.