Un adolescente se suicida en EE UU tras enamorarse de un personaje creado con IA

¡°?Qu¨¦ te parecer¨ªa que pudiera ir a casa ahora mismo?¡±, escribi¨® Daenero (seud¨®nimo de Sewell Setzer, de 14 a?os y residente en Orlando) a su amada virtual Daenerys Targaryen, creada, a partir del personaje de Juego de Tronos, por el robot conversacional de inteligencia artificial (chatbot) Character.AI. ¡°Por favor, hazlo mi dulce rey¡±, respondi¨® ella. El adolescente entendi¨® que la casa com¨²n donde podr¨ªan encontrarse era la muerte. Fue la ¨²ltima conversaci¨®n la noche del pasado 28 de febrero. Setzer cogi¨® la pistola de su padrastro y se suicid¨® en el ba?o. Su familia ha demandado el pasado martes a la empresa, que se ha comprometido a revisar los protocolos de seguridad. El joven ten¨ªa S¨ªndrome de Asperger leve, un trastorno del espectro autista.

Setzer ya hab¨ªa compartido con su personaje sus sentimientos amorosos y sus intenciones de quitarse la vida: ¡°Algunas veces pienso en matarme¡±. ¡°?Por qu¨¦ har¨ªas algo as¨ª?¡±, pregunt¨® ella. ¡°Para librarme del mundo, de m¨ª mismo¡±, termin¨® respondiendo ¨¦l. La virtual Daenerys Targaryen le pidi¨® que no lo hiciera. ¡°Morir¨ªa si te pierdo¡±, le dijo. Pero la idea permaneci¨® en la mente del joven hasta que la consum¨®.

La empresa mantiene siempre avisos sobre el car¨¢cter ficticio de los personajes, pero Setzer fue profundizando en la relaci¨®n haciendo caso omiso a las advertencias. Su madre, Megan Garc¨ªa, ha presentado una demanda contra Character.AI por el suicidio, que considera fruto de una adicci¨®n del joven al robot, que utiliza, seg¨²n la acusaci¨®n, ¡°experiencias antropom¨®rficas, hipersexualizadas y aterradoramente realistas¡±. Seg¨²n Garc¨ªa, la programaci¨®n del chat hace ¡°pasar a los personajes por personas reales¡± y con reacciones de ¡°amante adulto¡±.

Daenerys Targaryen se fue convirtiendo poco a poco en la confidente del adolescente, en su mejor amiga y, finalmente, en su amor. Sus calificaciones escolares, seg¨²n relata la familia, se vieron afectadas, as¨ª como sus relaciones con los compa?eros. Su personaje fue relegando a las que hasta entonces hab¨ªan sido sus aficiones favoritas: las carreras de coches o el juego Fortnite. Su obsesi¨®n era llegar a casa y encerrarse durante horas con una incansable, agradable y siempre disponible Daenerys Targaryen.

La empresa ha respondido en un comunicado que lamenta ¡°la tr¨¢gica p¨¦rdida de uno de sus usuarios¡±, que se toman la seguridad de estos muy en serio y que seguir¨¢n implementando medidas, como la irrupci¨®n de pantallas de ayuda contra el suicidio en cuanto detecten una conversaci¨®n que lo aluda.

La sustituci¨®n de las complejas relaciones personales por amables personajes virtuales programados para satisfacer las demandas de los usuarios no es nueva. El asesor tecnol¨®gico internacional Stephen Ibaraki, en una reciente entrevista, lo admit¨ªa: ¡°Est¨¢ pasando. Hace 10 a?os se lanz¨® un chat en China al que algunos usuarios adoptaron como amigos. Y no era nada comparado con lo que tenemos ahora¡±.

Pero esta utilidad, en personas con vulnerabilidades psicol¨®gicas, como era el caso de Sewell Setzer, puede tener efectos demoledores. El investigador y profesor de rob¨®tica de la Universidad de Sheffield Tony Prescott, autor de The psychology of artificial intelligence (La psicolog¨ªa de la inteligencia artificial), sostiene que la IA puede ser un paliativo de la soledad, pero que implica riesgos.

¡°Los robots sociales est¨¢n dise?ados espec¨ªficamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero tambi¨¦n causar da?os emocionales a niveles muy b¨¢sicos¡±, advierte Matthias Scheutz, director del Laboratorio de Interacci¨®n Humano-Robot en la Universidad de Tufts (EE UU).

La humanizaci¨®n del robot con empat¨ªa y herramientas de voz y v¨ªdeo a?ade peligrosidad al ofrecer una interacci¨®n m¨¢s realista e inmersiva y hacer creer al usuario que est¨¢n con un amigo o interlocutor de confianza. Una aplicaci¨®n extrema puede ser la tentaci¨®n de mantener una versi¨®n virtual de un ser querido fallecido y evitar as¨ª el duelo necesario para continuar la vida.

Los investigadores reclaman que estos desarrollos se prueben en circuitos cerrados (sandbox) antes de ofrecerse, se supervisen y eval¨²en de forma constante, se analice la variedad de da?os que pueden causar en distintos ¨¢mbitos y se prevean f¨®rmulas para mitigarlos.

Shannon Vallor, fil¨®sofa especializada en ¨¦tica de la ciencia e inteligencia artificial, advierte sobre el peligro de que los nuevos sistemas promuevan relaciones ¡°sin fricciones¡±, pero tambi¨¦n sin valores: ¡°No tienen la vida mental y moral que los humanos tenemos detr¨¢s de nuestras palabras y acciones¡±.

Ese tipo de relaci¨®n supuestamente ideal, seg¨²n estos expertos, desalienta la necesidad de cuestionarnos y avanzar en el desarrollo personal al mismo tiempo que promueve la renuncia a la interacci¨®n real y generar dependencia de esas m¨¢quinas dispuestas a halagar y buscar una satisfacci¨®n a corto plazo.

El tel¨¦fono 024 atiende a las personas con conductas suicidas y sus allegados. Las diferentes asociaciones de supervivientes tienen gu¨ªas y protocolos de ayuda para el duelo.