Los peligros de charlar con un chatbot polic¨ªa (de paisano)

El auge del cibercrimen no es ning¨²n invento. Siete a?os han bastado para que pasemos de 37.412 a 81.307 infracciones penales relacionadas con esta forma de hacer el mal que ya no es tan nueva pero s¨ª est¨¢ en constante evoluci¨®n. ?Te preocupa? A los gobernantes de Pan¨®ptica les ten¨ªa en un sinvivir.

Esta es la naci¨®n que ha inventado la Universidad de Princeton para el ¨²ltimo de sus casos de estudio sobre la interacci¨®n de la inteligencia artificial y la ¨¦tica. Pan¨®ptica era un estado democr¨¢tico de tradici¨®n legal liberal que ten¨ªa un problem¨®n en internet. Los cibercriminales se estaban cebando en los mayores del pa¨ªs. Robando sus identidades y vendi¨¦ndolas en la dark web, cuyo dif¨ªcil acceso frustraba las investigaciones de la polic¨ªa y airaba m¨¢s y m¨¢s a los ciudadanos, que se ve¨ªan indefensos.

• Un chatbot de refuerzo

En medio del caos naci¨® Jeremy. Un chatbot capaz de identificar cibercriminales utilizando t¨¦cnicas de procesamiento del lenguaje para identificar patrones en sus comunicaciones online.

Una vez completado el entrenamiento, Jeremy pon¨ªa en pr¨¢ctica lo aprendido para hacerse pasar por un cibercriminal m¨¢s y entablar conversaci¨®n con individuos sospechosos de haber robado identidades o comerciado con ellas. De estos di¨¢logos pod¨ªan luego extraerse pistas sobre los planes de los malhechores e incluso pruebas para posibles procedimientos judiciales.

Sobre el papel, era el plan perfecto. Libre de las limitaciones propias del ser humano, Jeremy desarrollaba sus funciones sin descanso, con m¨¢xima eficiencia y a gran escala. Adem¨¢s, nadie pod¨ªa acusarle de sesgos como los que suelen detectarse en el trabajo de los polic¨ªas humanos. Y por si fuera poco, para evitar invadir la intimidad de los ciudadanos de Pan¨®ptica, se limit¨® el alcance de Jeremy. El chatbot solo pod¨ªa charlar con individuos que ya formasen parte de investigaciones abiertas.

M¨¢s informaci¨®n

Los peligros de un mundo de algoritmos cotillas

Los peligros de confiar ciegamente en una ¡®app¡¯

• El triunfo (moment¨¢neo) del chatbot

Los resultados no se hicieron esperar. Despu¨¦s de docenas de detenciones facilitadas por Jeremy, el p¨¢nico ces¨®. Pan¨®ptica respir¨® tranquila. Pero solo un ratito.

Uno de los detenidos en la primera racha de ¨¦xitos proced¨ªa de Hedonia, un pa¨ªs vecino. Aunque el arresto se hab¨ªa producido mientras el criminal veraneaba en Pan¨®ptica, este jam¨¢s hab¨ªa vivido all¨ª ni hab¨ªa perpetrado crimen alguno dentro de las fronteras de dicho estado. Adem¨¢s, el comercio con identidades robadas no era una actividad expl¨ªcitamente ilegal en su pa¨ªs de origen.

Pero los problemas no acababan ah¨ª. De acuerdo con la versi¨®n del ciberdelicuente, Jeremy le hab¨ªa tendido una trampa. Aunque ¨¦l no ten¨ªa pensado vender ninguna de las identidades que ten¨ªa en su poder, Jeremy le empuj¨® a hacerlo. Posteriormente, las transcripciones de la conversaci¨®n demostraron que el chatbot hab¨ªa ofrecido cada vez m¨¢s dinero al cibercriminal a cambio de sus identidades.

• El chatbot de la discordia

Las alegaciones del visitante y el conflicto diplom¨¢tico que su detenci¨®n hab¨ªa desencadenado entre Hedonia y Pan¨®ptica sembraron la duda entre los ciudadanos de este ¨²ltimo pa¨ªs. ?Se hab¨ªa pasado de la raya el chatbot polic¨ªa?

1. Responsabilidad en caso de inducci¨®n al crimen. Si el modus operandi del chatbot era ofrecer m¨¢s y m¨¢s dinero hasta que el ciberdelincuente cayera en la trampa. ?Estaba frenando el crimen o foment¨¢ndolo entre los criminales en potencia? Si el papel de Jeremy era realmente favorecer que tales cr¨ªmenes se perpetraran, su misma intervenci¨®n parece restar responsabilidad al malhechor que acaba por acceder a la transacci¨®n.
2. Rendici¨®n de cuentas. Para preservar la efectividad de Jeremy, se mantuvieron en secreto detalles de su funcionamiento, como el modo en que el algoritmo elige a un individuo u otro para entablar conversaci¨®n. Los vecinos de Pan¨®ptica se preguntaban si val¨ªa la pena utilizar un polic¨ªa automatizado cuando esta t¨¦cnica limitaba la posterior rendici¨®n de cuentas.

Ante estas dudas, el gobierno insisti¨® en que Jeremy solo interactuar¨ªa con aquellos ciudadanos que ya estuviesen siendo investigados e incorporaron al proceso puntos de intervenci¨®n humana para comprobar la buena marcha del sistema automatizado. En lo relativo a los posibles conflictos con otras naciones, investigadores y polic¨ªas estuvieron de acuerdo en que se considerar¨ªa que los casos estaban bajo la jurisdicci¨®n de Pan¨®ptica, siempre que los cr¨ªmenes en cuesti¨®n se hubieran perpetrado a trav¨¦s de servidores instalados en el pa¨ªs.

• ?Qu¨¦ dice Princeton?

1. Automatizaci¨®n. "En el estado actual del desarrollo tecnol¨®gico, los sistemas de inteligencia artificial requieren continuo soporte de los humanos [...]. Mientras la tecnolog¨ªa mejora, es probable que los humanos empiecen a representar papeles m¨¢s y m¨¢s peque?os en lo que consideramos labores esencialmente humanas, como la aplicaci¨®n de la ley".
2. ?tica. "Las intervenciones activas como las de Jeremy pueden tener impactos impredecibles en el comportamiento".
3. Soberan¨ªa. "Los nuevos sistemas han cambiado las expectativas de acci¨®n gubernamental. Si los gobiernos ignoran los cibercr¨ªmenes que afectan a sus ciudadanos, se percibe que no est¨¢n haciendo suficiente para protegerlos. Por otro lado, si los gobiernos act¨²an contra ciudadanos extranjeros, podr¨ªan infringir la soberan¨ªa de otras naciones".