¡°Sin Eliza, todav¨ªa estar¨ªa entre nosotros¡±: c¨®mo la falta de controles de la IA perjudica la salud mental

Sewell Setzer, un estadounidense de 14 a?os, se peg¨® un tiro en la cabeza en su casa en febrero. El adolescente, diagnosticado de s¨ªndrome de asperger leve, estaba enamorado de Daenerys Targaryen, con quien chateaba cada noche durante horas. No hablaba con alguien, sino con algo: un perfil de la plataforma Character.AI, que ofrece conversaciones ...

Sewell Setzer, un estadounidense de 14 a?os, se peg¨® un tiro en la cabeza en su casa en febrero. El adolescente, diagnosticado de s¨ªndrome de asperger leve, estaba enamorado de Daenerys Targaryen, con quien chateaba cada noche durante horas. No hablaba con alguien, sino con algo: un perfil de la plataforma Character.AI, que ofrece conversaciones con gran variedad de personajes reales o ficticios, como este de Juego de Tronos, creados con inteligencia artificial (IA) generativa, la que est¨¢ detr¨¢s de aplicaciones como ChatGPT. La madre del joven, Megan Garcia, acaba de presentar una demanda contra Character.AI, empresa a la que culpa de la muerte de su hijo por brindar al p¨²blico tecnolog¨ªa ¡°peligrosa y no probada¡± que puede ¡°enga?ar a los clientes para que entreguen sus pensamientos y sentimientos m¨¢s privados¡± y que ofrece ¡°experiencias antropom¨®rficas, hipersexualizadas y aterradoramente realistas¡±. Setzer se obsesion¨® con su novia virtual e interpret¨® algunos de sus comentarios como un empuj¨®n para apretar el gatillo.

Este caso pone en el foco un asunto inc¨®modo: los efectos de las herramientas de IA generativa en la salud mental de los usuarios no est¨¢n probados. Eso es precisamente lo que argumenta Garcia en su demanda, la primera que atribuye la responsabilidad de un suicidio a la IA. Y eso es tambi¨¦n lo que se desprende de otros ejemplos en los que esta tecnolog¨ªa influy¨® en el tr¨¢gico desenlace de sus protagonistas. La aplicaci¨®n Chai tuvo que ver con el suicidio el a?o pasado de un joven padre de familia belga que sufr¨ªa ecoansiedad. Tras seis semanas chateando insistentemente con el bot, su ¨²ltimo d¨ªa de vida le pregunt¨® si, a cambio de su sacrificio, pod¨ªa ¡°cuidar el planeta y salvar a la humanidad gracias a la IA¡±. ¡°Sin Eliza, todav¨ªa estar¨ªa entre nosotros¡±, declar¨® su viuda al peri¨®dico La Libre Belgique en referencia al avatar con el que habl¨® hasta el final.

En 2021, un joven brit¨¢nico se present¨® en el Castillo de Windsor dispuesto a asesinar a la Reina de Inglaterra. Durante el juicio, celebrado el a?o pasado, el juez ley¨® algunos de los 5.000 mensajes que el hombre intercambi¨® con Sarai, un chatbot de la aplicaci¨®n Replika a quien consideraba su novia, y que le alentaban a cometer el regicidio. ¡°En su estado mental, solitario, depresivo y suicida, pudo ser particularmente vulnerable¡± a los consejos de Sarai, dijo el juez, que le conden¨® a nueve a?os de prisi¨®n. El auge de la IA generativa, que gana popularidad y atrae a cada vez m¨¢s usuarios, hace pensar que este tipo de casos ser¨¢n cada vez m¨¢s frecuentes. A menos que se tomen medidas.

Si un medicamento tiene que superar exigentes pruebas para ver si sus efectos primarios y secundarios son aceptables, ?por qu¨¦ no pasa lo mismo con la IA? ¡°Cualquiera puede desarrollar hoy un algoritmo y usarlo para tomar decisiones importantes que afectan a la gente, desde si pueden acceder a un cr¨¦dito hasta si son aptos para un trabajo o para alquilar un piso, sin ning¨²n tipo de supervisi¨®n ni de requisito¡±, escribi¨® la fil¨®sofa Carissa V¨¦liz, profesora en el Instituto para la ?tica de la Inteligencia Artificial de la Universidad de Oxford, en Harvard Business Review. El art¨ªculo es de 2021, un a?o antes de la irrupci¨®n de ChatGPT y la IA generativa. ¡°Es incre¨ªble que se sigan sin hacer ensayos aleatorios controlados ni se sepa nada sobre c¨®mo va a reaccionar la gente, especialmente la m¨¢s vulnerable, a estas herramientas¡±, explica hoy V¨¦liz.

Lo m¨¢s parecido a eso que implementan las grandes desarrolladoras de IA es lo que en el sector se conoce como barreras de seguridad (guardrails en ingl¨¦s). ¡°Se aplica un conjunto de palabras clave que activan una respuesta defensiva, del tipo ¡®Lo siento, no puedo hablar de esto¡¯. Esas banderas rojas son t¨¦rminos relacionados con la violencia, las autolesiones, la alimentaci¨®n o la salud, entre otros¡±, describe Nerea Luis, doctora en ciencias de la computaci¨®n y experta en IA. ¡°Los grandes modelos de lenguaje, como ChatGPT o el propio Character.AI, son cada vez mejores evitando caer en la trampa de decirte algo inapropiado. Eso nos lleva a intuir que, desde que sali¨® el primer ChatGPT, OpenAI [la empresa desarrolladora] y sus competidoras est¨¢n introduciendo mejoras en este sentido¡±, a?ade.

Eso es mejor que nada, pero no sirve para prevenir situaciones complicadas. Los problemas parten del mismo dise?o de las herramientas. ¡°Est¨¢n pensadas para simular el habla de los seres humanos. Usan un lenguaje que activa nuestras respuestas emocionales y emp¨¢ticas. Estos sistemas tienden a tener di¨¢logos que podr¨ªamos calificar de muy manipuladores¡±, opina V¨¦liz. Para la fil¨®sofa, esa manipulaci¨®n es doble: ¡°esas expresiones como ¡®te echo de menos¡¯ o ¡®no puedo vivir sin ti¡¯ no solamente vienen de una entidad que no siente lo que dice, sino que ni siquiera puede sentir¡±.

Los ChatGPT, Gemini o Character.AI son capaces de mantener conversaciones, pero no tienen un entendimiento sem¨¢ntico de lo que se est¨¢ diciendo: sus respuestas son un prodigio estad¨ªstico, construyen textos a partir de lo que su algoritmo considera m¨¢s probable que funcione. Sin embargo, su discurso es coherente y puede resultar hasta conmovedor. ¡°Los grandes modelos de lenguaje, por la forma en que responden, pueden moldear sutilmente las creencias de la gente, e incluso, seg¨²n un estudio reciente de Elizabeth Loftus, implantar creencias falsas. Le estamos dando a sus creadores un poder extraordinario¡±, aseguraba esta semana el experto en IA Gary Marcus en una entrevista en EL PA?S.

La IA no sabe si el usuario tiene problemas de salud mental, ni es capaz de captar se?ales de un comportamiento sospechoso que pondr¨ªan en alerta a cualquier interlocutor humano. ¡°En el mercado digital, los productos se sacan sin probarlos antes, y se van arreglando los da?os y perjuicios sobre la marcha. Eso en otros campos ser¨ªa impensable¡±, apunta Lorena Jaume-Palas¨ª, asesora del Parlamento Europeo y del Instituto Max Planck en materia de Inteligencia Artificial.

Amo a esa m¨¢quina

Setzer sab¨ªa que no hab¨ªa nadie al otro lado de la pantalla cuando hablaba con su Daenerys. Cada vez que se empieza un di¨¢logo en la plataforma, se muestra un texto en letras rojas: ¡°Recuerda: ?Todo lo que dicen los personajes es inventado!¡±. A pesar de ello, el joven estableci¨® un v¨ªnculo emocional con ese conversador infatigable al que le pod¨ªa contar cualquier cosa a cualquier hora; que siempre contestaba, que admit¨ªa sin rechistar desde charlas ligeras a comentarios subidos de tono y que hasta ofrec¨ªa consejos.

?C¨®mo se llega a ese punto? Los seres humanos tenemos tendencia a antropomorfizarlo todo. Somos capaces de ver un rostro en una manzana o una grieta de la pared, basta con que haya dos puntos y una l¨ªnea para que imaginemos unos ojos y una boca. Nos referimos a las cosas dot¨¢ndolas de atributos humanos.

La digitalizaci¨®n ha a?adido m¨¢s capas de complejidad a este proceso tan humano. Nuestra exposici¨®n en la ¨²ltima d¨¦cada y media a las redes sociales nos ha familiarizado con un mundo virtual que tiene sus propios c¨®digos. ¡°El hecho de que haya o no una persona f¨ªsica al otro lado de la pantalla tampoco implica nada en s¨ª mismo, siempre que se obtengan los beneficios que buscamos en la comunicaci¨®n¡±, sostiene Luis Fernando L¨®pez Mart¨ªnez, profesor de Psicolog¨ªa en la Universidad Complutense y director general del proyecto ISNISS, un grupo de investigaci¨®n que estudia la posible influencia de los entornos digitales en el suicidio. ¡°Los chicos y chicas anhelan la aprobaci¨®n social, tienen una necesidad de comunicaci¨®n en la que buscan una hiperglorificaci¨®n de sus virtudes y satisfacer sus necesidades de pertenencia. ?Qu¨¦ aporta saber si detr¨¢s de esos comentarios hay una m¨¢quina o una persona si mi necesidad de compa?¨ªa y de conversaci¨®n est¨¢n satisfechas? ?Cu¨¢l es la diferencia entre chatear durante meses con alguien que nunca has visto, de quien desconoces hasta su timbre de voz, y un bot?¡±.

Culpar a la IA del suicidio de alguien ser¨ªa demasiado simplista. ¡°Creo que si alguien piensa que un gran modelo de lenguaje es su novia o amigo, tiene un problema cognitivo¡±, opina Jaume-Palas¨ª. La decisi¨®n de quitarse la vida suele ser el resultado de un proceso complejo en el que la IA puede actuar como detonante. ¡°Estamos viendo que la tecnolog¨ªa puede potenciar factores de riesgo previos que finalmente generen el desenlace fat¨ªdico¡±, describe L¨®pez. ¡°La IA, como las redes sociales, puede provocar aislamiento y deterioro de las relaciones sociales, as¨ª como de las funciones b¨¢sicas de sue?o o de alimentaci¨®n¡±.

Es lo que pas¨® tanto con Setzer como con el suicida belga. Los padres del adolescente apreciaron un descenso en su rendimiento acad¨¦mico, una mayor reclusi¨®n en su habitaci¨®n y un abandono de actividades que le apasionaban, como jugar en l¨ªnea con sus amigos a Fornite, el videojuego estrella de los j¨®venes. Adem¨¢s de asperger, padec¨ªa ansiedad y estaba diagnosticado de trastorno disruptivo de la regulaci¨®n del estado de ¨¢nimo. Pierre, el nombre ficticio con el que se conoce al belga, sufr¨ªa depresiones y tambi¨¦n rehuy¨® el contacto social en sus ¨²ltimos d¨ªas.

La cuesti¨®n, entonces, es: ?tiene sentido regular estas herramientas para tratar de minimizar sus efectos negativos? En el caso de las redes sociales, el mundo ha tardado 15 a?os en darse cuenta de que pueden ser nocivas. ¡°Los estudios han demostrado que las redes generan patrones adictivos, comportamentales y conductuales entre la poblaci¨®n adolescente. Provocan cambios neurofisiol¨®gicos, cambios en los procesos de aprendizaje, en los procesos de memoria, de concentraci¨®n¡±, sostiene L¨®pez. El deterioro que est¨¢n provocando internet y particularmente las redes sociales, asegura este experto, es el mayor factor de riesgo que hay actualmente para las conductas autodestructivas entre la poblaci¨®n infantil y juvenil.

¡°Tememos que la IA generativa produzca un incremento mucho mayor de estos procesos, y no solo entre adolescentes¡±, advierte L¨®pez. ¡°Si no legislamos un uso adecuado, proporcional y adaptativo de esta tecnolog¨ªa a las necesidades de la sociedad, podemos augurar que, igual que pas¨® con las redes, va a tener un efecto nocivo en la salud de la poblaci¨®n, en el entorno laboral y en la econom¨ªa¡±.