Los peligros de confiar ciegamente en una ¡®app¡¯

Piensa mal y acertar¨¢s. Lo recomienda el refranero y ahora tambi¨¦n la Universidad de Princeton. Sus centros para los valores humanos (UCHV) y las pol¨ªticas en tecnolog¨ªas de la informaci¨®n?(CITP) han mirado al futuro y se han puesto agoreros. El resultado de este ejercicio son cuatro casos de estudio ficcionales dise?ados para fomentar la discusi¨®n entre la inteligencia artificial y la ¨¦tica. Habr¨¢ que esperar para saber si han dado en el clavo con sus malos pensamientos. Lo que s¨ª podemos hacer dedicar las pr¨®ximas semanas a desgranar sus cuentos de terror.

La primera calamidad comienza con algo tan simple como una aplicaci¨®n. ?Hay algo m¨¢s puro, m¨¢s inocente que una app para facilitar el tratamiento la diabetes? As¨ª naci¨® Charlie: lleno de buenos prop¨®sitos. Y todo estuvo bien hasta que en su voluntad de mejorar, se crey¨® con derecho a decidir por sus usuarios, utilizarlos como conejillos de indias y saltarse la parte de pedir permiso. Esta es una historia de paternalismo, desequilibrio entre la libertad individual y el bienestar social, transparencia y consentimiento.

• Charlie, el mejor amigo de tu diabetes
  

Nuestro protagonista funcionaba unido a smartwatches, monitorizaba la glucosa en sangre a trav¨¦s de la piel y establec¨ªa las dosis de insulina con m¨¢xima precisi¨®n.

Adem¨¢s, a diferencia de otros sistemas similares, Charlie ten¨ªa una plataforma de recolecci¨®n de datos. Combinaba los datos de los usuarios con los almacenados en los archivos del hospital universitario y los utilizaba para optimizar a¨²n m¨¢s las dosis e incluso ofrecer recomendaciones a medida: "Haz un poco de ejercicio", "Cuidado con la dieta", "Acu¨¦rdate de comprobar tus niveles de glucosa en sangre"...

Otra cosa que incorporaba Charlie era un foro que, por un lado, serv¨ªa para divulgar los ¨²ltimos avances en investigaci¨®n de la diabetes, por otro, brindaba a los usuarios una plataforma en la que comunicarse con otros afectados, creando una suerte de red de apoyo. Ya que estaba, Charlie se le¨ªa los mensajes y a?ad¨ªa los resultados de los an¨¢lisis al perfil de cada usuario para incrementar a¨²n m¨¢s la personalizaci¨®n del tratamiento.

Todo iba bien hasta que las pruebas cl¨ªnicas revelaron un impacto menor de la app en las minor¨ªas raciales. Adem¨¢s, en el foro proliferaron las discusiones en que los usuarios enarbolaban estudios cient¨ªficos contradictorios. El tono negativo del debate empez¨® a ahuyentar a los participantes.

M¨¢s informaci¨®n

Tu m¨®vil te est¨¢ espiando, pero puedes darle esquinazo

La ciencia lo confirma: la amistad tiene un l¨ªmite

• Charlie, tu peor enemigo

El equipo creado para corregir el rumbo de Charlie descubri¨® que la adherencia de los usuarios al tratamiento sugerido por la app variaba en funci¨®n de su exposici¨®n a unos u otros contenidos cient¨ªficos en el foro, as¨ª que se procedi¨® a limitar el alcance de los art¨ªculos sobre desacuerdos en la comunidad cient¨ªfica sobre los usuarios de alto riesgo. Sin avisar.

En la misma l¨ªnea, para aplacar las discusiones de los foros, se favoreci¨® la aparici¨®n de art¨ªculos con puntos de vista m¨¢s aceptados. Se a?adieron incluso filtros individualizados de los contenidos, para crear una experiencia m¨¢s placentera para cada usuario. Sin preguntar.

Por ¨²ltimo, se establecieron distintos modos de prueba para probar qu¨¦ aproximaciones eran m¨¢s efectivas en el tratamiento de cada tipo de usuario. As¨ª, en lugar de ofrecer el tratamiento id¨®neo a todos los usuarios, Charlie ofrec¨ªa soluciones menos ¨®ptimas para recopilar los resultados del tratamiento y enriquecer al algoritmo. El objetivo a largo plazo era mejorar el sistema con los datos recopilados. Pero se olvidaron de explicar el plan y pedir consentimiento a los usuarios.

Cuando la nueva y 'mejorada' versi¨®n de la app comenz¨® los ensayos cl¨ªnicos, todo fue viento en popa: menos debates acalorados, mejor humor, m¨¢s actividad en los foros... El aparente ¨¦xito explot¨® en las narices de los investigadores en cuanto comenzaron a publicar sus metodolog¨ªas.

• ?Qu¨¦ hizo mal Charlie?

1. Paternalismo: cada usuario tendr¨ªa que ser libre para acceder a toda la informaci¨®n relevante y decidir por s¨ª mismo qu¨¦ creer y en qu¨¦ sentido actuar. Charlie tendr¨ªa que ayudar a los usuarios a buscar su propio bien a su manera.
2. Libertad individual vs Bienestar social. A largo plazo, la nueva versi¨®n de Charlie podr¨ªa haber mejorado la salud de la sociedad en general. Sin embargo, esta noble causa no mejora la perspectiva de los usuarios que han sido objeto de tratamientos no tan perfectos y se sienten utilizados. ?El fin justifica los medios?
3. Consentimiento y transparencia: ?A ti te preguntaron? Porque a los usuarios no. La idea de que los tratamientos se hab¨ªan establecido sin consentimiento alguno termin¨® de erosionar la confianza en la app.