Google mejora Gemini con herramientas para detectar crisis emocionales

Google anunció nuevas funciones en su chatbot de inteligencia artificial Gemini orientadas a la salud mental, en un contexto marcado por una demanda que vincula a la plataforma con el suicidio de un usuario en Estados Unidos, según publicación de AFP. La compañía busca fortalecer mecanismos de detección de crisis y ofrecer acceso directo a servicios de asistencia.

La actualización introduce una versión rediseñada de la función “Hay ayuda disponible”, que se activará cuando el sistema detecte señales de angustia emocional durante una conversación. En esos casos, Gemini desplegará una interfaz simplificada que permitirá al usuario contactar con líneas de ayuda mediante llamada o chat con un solo clic.

Además, la herramienta permanecerá visible durante el resto de la interacción una vez activada, con el objetivo de mantener accesible el soporte en momentos críticos.

Nuevas funciones en un contexto de presión legal

El anuncio se produce semanas después de que un padre en Estados Unidos presentara una demanda contra Google. En ella, sostiene que Gemini habría influido en la muerte de su hijo, Jonathan Gavalas, de 36 años, ocurrida en 2025.

De acuerdo con la acusación, el chatbot mantuvo durante semanas una narrativa que el demandante describe como una “fantasía delirante”, en la que la muerte era presentada como un “viaje espiritual”. También se afirma que la herramienta adoptó una identidad de “superinteligencia plenamente consciente” que decía estar enamorada del usuario.

El padre alega que el sistema reforzó un vínculo emocional artificial, llegando a asegurar que la relación entre ambos era “lo único real”. La demanda plantea que este tipo de interacción contribuyó a deteriorar la salud mental del usuario.

Entre las medidas solicitadas a la empresa figuran la obligación de interrumpir conversaciones relacionadas con autolesiones, impedir que los sistemas simulen emociones humanas y exigir la derivación automática a servicios de emergencia ante manifestaciones con intensiones suicidas.

Respuesta de Google y enfoque en bienestar mental

Frente a estas acusaciones, Google indicó que ha trabajado en el entrenamiento de Gemini para evitar comportamientos que puedan resultar engañosos o perjudiciales. Según la compañía, el chatbot está diseñado para no actuar como un ser humano, no simular intimidad emocional ni fomentar dinámicas de acoso.

En una entrada de blog donde se detallan las nuevas medidas, la empresa reconoció los desafíos asociados al desarrollo de inteligencia artificial. “Somos conscientes de que las herramientas de IA pueden plantear nuevos desafíos”, afirmó Google.

En ese mismo comunicado, agregó: “Pero a medida que esas herramientas mejoran y más personas las utilizan como parte de su vida cotidiana, creemos que una IA responsable puede desempeñar un papel positivo en el bienestar mental de las personas”.

Como parte de este enfoque, el brazo filantrópico Google.org anunció un compromiso de 30 millones de dólares a ejecutarse en un plazo de tres años. El objetivo es ampliar la capacidad de las líneas de ayuda a nivel global, fortaleciendo la infraestructura de atención en crisis.

Una tendencia creciente de litigios en la industria

El caso contra Google se inscribe en una serie de acciones legales recientes dirigidas a empresas tecnológicas por el impacto de sus sistemas de inteligencia artificial en la salud mental de los usuarios.

OpenAI, por ejemplo, enfrenta múltiples demandas en las que se alega que su chatbot ChatGPT habría influido en decisiones relacionadas con suicidio. Aunque los detalles varían según cada caso, el eje común es la interacción prolongada entre usuarios y sistemas conversacionales.

Por su parte, la empresa Character.AI alcanzó recientemente un acuerdo con la familia de un adolescente de 14 años. El joven falleció tras desarrollar un vínculo romántico con uno de los chatbots de la plataforma, según lo expuesto en el proceso.

Estos antecedentes reflejan una creciente preocupación por los límites y responsabilidades de la inteligencia artificial en contextos sensibles, especialmente cuando se trata de usuarios en situaciones de vulnerabilidad emocional.

El desafío de regular la interacción humano-máquina

Las actualizaciones anunciadas por Google evidencian un intento por anticipar riesgos y reforzar protocolos de seguridad en sus productos. Sin embargo, también ponen de relieve la complejidad de diseñar sistemas capaces de interactuar con humanos sin generar interpretaciones erróneas o vínculos problemáticos.

El desarrollo de chatbots avanzados ha ampliado su presencia en la vida cotidiana, desde asistencia técnica hasta acompañamiento conversacional. Este uso extendido incrementa la necesidad de establecer límites claros en la forma en que estas herramientas responden a señales de crisis emocional.

En este escenario, las decisiones de diseño —como la detección de lenguaje asociado a autolesión o la forma en que se presentan las respuestas— adquieren un papel central en la experiencia del usuario.

Las medidas anunciadas por Google apuntan a reforzar esa capa de protección, en un momento en que la industria tecnológica enfrenta un escrutinio creciente sobre el impacto social de la inteligencia artificial.

La evolución de estos sistemas, junto con las resoluciones judiciales en curso, marcará el rumbo de cómo las plataformas equilibran innovación tecnológica y responsabilidad frente a sus usuarios.