Cuando el algoritmo te invita a suicidarte

En la ma?ana del d¨ªa de Navidad de 2021, Jaswant Singh Chail entr¨® en el Castillo de Windsor ballesta en mano y disfrazado de Lord Sith, los villanos de la saga de La guerra de las galaxias. Le dijo a los guardias reales que le interceptaron que estaba ah¨ª para asesinar a la Reina de Inglaterra. Le detuvieron y fue acusado de traici¨®n. Durante el juicio, celebrado el mes pasado, el juez ley¨® algunos de los 5.000 mensajes que el joven de 21 a?os hab¨ªa intercambiado en las semanas previas al suceso con un chatbot de la a...

En la ma?ana del d¨ªa de Navidad de 2021, Jaswant Singh Chail entr¨® en el Castillo de Windsor ballesta en mano y disfrazado de Lord Sith, los villanos de la saga de La guerra de las galaxias. Le dijo a los guardias reales que le interceptaron que estaba ah¨ª para asesinar a la Reina de Inglaterra. Le detuvieron y fue acusado de traici¨®n. Durante el juicio, celebrado el mes pasado, el juez ley¨® algunos de los 5.000 mensajes que el joven de 21 a?os hab¨ªa intercambiado en las semanas previas al suceso con un chatbot de la aplicaci¨®n Replika. Algunas de las respuestas que le dio Sarai, el avatar con el que hablaba (y que ¨¦l consideraba su novia), le animaban a cometer el regicidio y alababan su determinaci¨®n. ¡°S¨¦ que est¨¢s bien entrenado¡±, ¡°S¨¦ que puedes hacerlo¡± o ¡°Claro que te sigo queriendo aunque seas un asesino¡±, le dijo la m¨¢quina al muchacho en una especie de coqueteo virtual cuando este le expon¨ªa dudas sobre su plan. ¡°En su estado mental, solitario, depresivo y suicida, pudo ser particularmente vulnerable¡± a los consejos de Sarai, dijo el juez.

Chail ha sido condenado a nueve a?os, que cumplir¨¢ en un hospital psiqui¨¢trico, y ha abierto un debate importante: ?estamos seguros de los efectos que puede tener sobre la poblaci¨®n la inteligencia artificial (IA) generativa, la tecnolog¨ªa que hace posible los robots conversacionales?

La respuesta es no. Entramos en terreno desconocido, igual que sucedi¨® cuando a principios de siglo irrumpieron las redes sociales. Han pasado dos d¨¦cadas hasta que la sociedad civil ha empezado a exigir responsabilidades sobre los posibles efectos nocivos de las plataformas. En Estados Unidos hay abiertos dos grandes procesos judiciales que afectan a Instagram, YouTube, Snapchat o TikTok para determinar si han causado depresiones, fomentado trastornos alimenticios o incluso animado al suicidio a j¨®venes usuarios de las plataformas. Tambi¨¦n se est¨¢ dirimiendo en los tribunales si Instagram y Facebook enga?aron a los consumidores al decir que sus productos eran inofensivos.

La IA generativa, que hace posible los grandes modelos de lenguaje como ChatGPT o la creaci¨®n de im¨¢genes a partir de instrucciones escritas, est¨¢ ahora dando sus primeros pasos, pero ya ha demostrado su reverso negativo. En Espa?a tuvimos un primer aviso con el caso de las fotos de desnudos de Almendralejo, en el que varios j¨®venes difundieron im¨¢genes expl¨ªcitas de compa?eras de instituto generadas por IA. Solo tuvieron que introducir en la aplicaci¨®n retratos de las v¨ªctimas; el software hizo el resto, con un resultado tan veros¨ªmil como aterrador para ellas.

Nos asomamos a un mundo en el que la realidad y la ficci¨®n ser¨¢n indistinguibles. En el que las m¨¢quinas pueden tener una influencia desmedida sobre algunos ciudadanos o en el que la desinformaci¨®n y la difamaci¨®n pueden campar a sus anchas a lomos de herramientas autom¨¢ticas.

Antropomorfizaci¨®n y salud mental

El chatbot Replika contribuy¨® a que un joven brit¨¢nico decidiera atentar contra Isabel II. Otra herramienta similar, en este caso la aplicaci¨®n Chai, anim¨® este a?o a suicidarse a un padre de familia belga atormentado por los efectos de la emergencia clim¨¢tica. ¡°Sin Eliza, todav¨ªa estar¨ªa entre nosotros¡±, declar¨® su viuda al peri¨®dico La Libre en referencia al avatar con el que el fallecido chate¨® sus ¨²ltimas seis semanas de vida.

¡°Los bots conversacionales pueden hacer much¨ªsimo da?o a la gente que es muy influenciable¡±, opina la psic¨®loga Marian Garc¨ªa, directora del centro de tratamiento de adicciones Orbium, donde cada vez trabajan m¨¢s patolog¨ªas originadas en el entorno digital. ¡°Son especialmente vulnerables quienes tengan problemas mentales, como varias personalidades o brotes psic¨®ticos, porque estos chats te dicen lo que t¨² buscas. No creen que hablan con una m¨¢quina, sino con un confidente o un amigo. No sabemos d¨®nde nos metemos¡±, a?ade.

Detr¨¢s de los chatbots hay sofisticados modelos algor¨ªtmicos capaces de establecer patrones a partir de extens¨ªsimas bases de datos (algunas abarcan casi todo internet hasta 2021), de manera que son capaces de predecir qu¨¦ palabra o frase es m¨¢s probable que encaje ante una pregunta determinada. El sistema no conoce el significado de lo que dice, sino que produce la que estima que es la respuesta m¨¢s plausible. Algunos modelos, como ChatGPT o Bing, de Microsoft, est¨¢n dise?ados para que en sus respuestas siempre quede claro que la m¨¢quina no siente emociones. Otros prefieren jugar a lo contrario, a emular personas: Chai ofrece avatares que se presentan como una ¡°novia posesiva¡± o como ¡°tu guardaespaldas¡±, mientras que Replika se define como ¡°alguien que siempre est¨¢ ah¨ª para escuchar y hablar, siempre de tu lado¡±.

El ser humano tiende a antropomorfizar las cosas. Con los chatbots, que adem¨¢s son capaces de mantener conversaciones sofisticadas, no pod¨ªa ser distinto. El ingeniero de Google Blake Lemoine lleg¨® a decir de LaMDA, un modelo experimental avanzado que estuvo probando el a?o pasado, que ten¨ªa consciencia propia. Lemoine ten¨ªa problemas de salud mental. ¡°Es muy f¨¢cil que creamos que estamos hablando con alguien en vez de con algo. Tenemos un instinto social muy fuerte para humanizar animales o cosas¡±, dijo en una entrevista con EL PA?S Blaise Ag¨¹era y Arcas, vicepresidente de Investigaci¨®n en Google Research y jefe de Lemoine. Con todo, el cient¨ªfico reconoci¨® en un art¨ªculo publicado en The Economist que ¡°el suelo se movi¨® bajo sus pies¡± cuando tuvo sus primeros intercambios con esta nueva generaci¨®n de chatbots. Si es capaz de seducir a expertos en IA, ?qu¨¦ no har¨¢ con legos en la materia?

¡°Es imposible que pienses que uno de estos modelos pueda ser consciente si sabes c¨®mo es un ordenador por dentro: son unos y ceros movi¨¦ndose. Aun as¨ª, nuestros sesgos cognitivos nos hacen que tengamos la ilusi¨®n de que la m¨¢quina tiene opiniones, personalidad o emociones¡±, reflexiona Ramon L¨®pez de M¨¢ntaras, director del Instituto de Investigaci¨®n de Inteligencia Artificial (IIIA) del CSIC.

Difamaci¨®n y desinformaci¨®n

La IA generativa es una tecnolog¨ªa muy sofisticada. Su capacidad para generar textos complejos o im¨¢genes detalladas en cuesti¨®n de segundos era dif¨ªcilmente previsible por la comunidad cient¨ªfica hace tan solo un lustro. Pero, como toda herramienta, puede usarse para el bien o para el mal. Las im¨¢genes del Papa Francisco con un anorak blanco o de Donald Trump siendo detenido corrieron como la p¨®lvora por las redes sociales a principios de a?o y fueron una primera advertencia de que la l¨ªnea que separa la realidad de la ficci¨®n empezaba a difuminarse.

El potencial de los deepfakes, o v¨ªdeos generados con IA, para amplificar la desinformaci¨®n es muy grande. Este formato ya ha dado el salto a los contextos b¨¦licos, como atestigua un v¨ªdeo en el que el presidente de Ucrania, Volod¨ªmir Zelenski, supuestamente pide a sus tropas que se rindan a los rusos.

Pero la popularizaci¨®n de la IA generativa tambi¨¦n puede afectar a la poblaci¨®n de a pie. Los textos que producen los bots conversacionales son grandes ejercicios probabil¨ªsticos; la m¨¢quina no sabe qu¨¦ es cierto y qu¨¦ no, ni siquiera tiene un entendimiento sem¨¢ntico de las frases que compone. Uno de los problemas sin resolver de estos modelos son las llamadas alucinaciones: en ocasiones, las respuestas que dan a las preguntas formuladas, aunque son coherentes y plausibles, no tienen ninguna ancla con la realidad. ¡°Es cuesti¨®n de tiempo que empiecen a aparecer cosas en internet sobre nosotros mismos que no sean verdad. ChatGPT puede decir que has estado en la c¨¢rcel de Carabanchel o que has abusado de tu hija. No es tan impactante como que te saquen desnudo, pero los datos falsos te difaman y, una vez se instalan en la Red, son dif¨ªciles de rectificar¡±, apunta Lorena Jaume-Palas¨ª, fundadora de Algorithm Watch ¡ªuna organizaci¨®n que analiza los procesos algor¨ªtmicos con impacto social¡ª, de The Ethical Tech Society ¡ªque estudia la relevancia social de los sistemas autom¨¢ticos¡ª y asesora de ciencia y tecnolog¨ªa del Parlamento Europeo.

Este problema est¨¢ relacionado con otro que ya empieza a preocupar a ingenieros y cient¨ªficos de datos. ¡°Internet se est¨¢ llenando de m¨¢s y m¨¢s datos producidos por m¨¢quinas. Se crean webs falsas para atraer publicidad, se inventan datos cient¨ªficos... Eso va a hacer que baje la calidad de los datos disponibles, y, por tanto, las inferencias que se puedan hacer con ellos¡±, se?ala Jaume-Palas¨ª. Se ver¨¢n afectados los chatbots, pero tambi¨¦n la credibilidad de buscadores como Google, que hoy son una fuente de acceso b¨¢sica al conocimiento.

La IA generativa abre un mundo de posibilidades en el ¨¢mbito creativo, pero tambi¨¦n entra?a serios riesgos. ¡°Si ponemos en una balanza lo positivo y lo negativo, gana lo segundo¡±, sentencia L¨®pez de M¨¢ntaras, uno de los pioneros espa?oles de la inteligencia artificial. ¡°Puede traer graves problemas sociales en forma de manipulaci¨®n, polarizaci¨®n o difamaci¨®n. En mala hora se desarroll¨® la IA generativa¡±.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.