El peligro de que los asistentes de IA se vistan de humanos

La primera vez que me top¨¦ con la nueva tecnolog¨ªa Duplex de Google, me result¨® al mismo tiempo emocionante y aterrador. Es el tipo de evoluci¨®n tecnol¨®gica que, inicialmente, se percibe como un avance de la humanidad y que tiene el potencial de generar innumerables oportunidades de negocio.

Sin embargo, a medida que se va conociendo su potencial, se detecta c¨®mo los ciberdelincuentes podr¨ªan explotarlo con intenciones maliciosas. Por esto, Google Duplex puede no ser tan prometedor y espeluznante como sugiri¨® su primera demostraci¨®n. Vamos a analizar cuatro cuestiones de privacidad y seguridad que deber¨ªamos tener en cuenta, a medida que los futuros asistentes personales basados en inteligencia artificial (AI) contin¨²an avanzando.

Duplex es una extensi¨®n de prueba de concepto para Google Assistant, la tecnolog¨ªa de asistente personal que se encuentra en muchos dispositivos; similar a Siri de Apple y Alexa de Amazon. Todo el mundo se ha acostumbrado a hablar con asistentes personales en los tel¨¦fonos y altavoces dom¨¦sticos, pidiendo desde configurar una alarma hasta recomendar m¨²sica.

Con los a?os, estas tecnolog¨ªas auxiliares han comenzado a sonar cada vez m¨¢s humanas, y pueden responder a m¨¢s y m¨¢s tipos de solicitudes. Sin embargo, siguen siendo bastante limitadas. No pueden mantener una conversaci¨®n real, ya que suenan reconociblemente rob¨®ticas, y siguen siendo muy limitadas en lo que entienden y hacen. Sin embargo, Google Duplex parece diferente.

Si se observa la demostraci¨®n de Google Duplex, probablemente sorprenda lo humano que suena el asistente. En su demostraci¨®n, Duplex realiza dos llamadas autom¨¢ticas para que sus interlocutores fijen una cita. Los destinatarios de las llamadas no reconocen que est¨¢n hablando con un programa automatizado, y la llamada parece una conversaci¨®n normal. El asistente automatizado intenta concertar una cita en un d¨ªa y hora determinados, pero descubre que no hay huecos disponibles y debe ajustarse y ampliar la disponibilidad como corresponde. Se trata de algo que todos hacemos de forma natural cuando hablamos entre nosotros, pero es excepcional cuando se trata de un programa inform¨¢tico. Cuando las preguntas de los interlocutores humanos comienzan a ser complejas y cambian de contexto, Duplex sigue funcionando y responde en consecuencia, incluso emitiendo interjecciones humanas como mm-hmm. El test de Turing supone un desaf¨ªo a la hora de medir la capacidad que tiene una m¨¢quina o programa de comportarse como un ser humano.

Desde el punto de vista tecnol¨®gico, Duplex ofrece oportunidades ilimitadas. No obstante, a medida que estas tecnolog¨ªas progresan, tambi¨¦n existe la posibilidad de un mayor uso indebido, por eso es importante analizar cuatro posibles aspectos a corto y largo plazo sobre esta tecnolog¨ªa de IA:

Duplex comienza con enga?o: una de las mayores fortalezas de Duplex es que, al mismo tiempo, es un peligro. El objetivo de Duplex es actuar lo m¨¢s humanamente posible. Los investigadores de Google descubrieron que tan pronto como los humanos se dan cuenta de que est¨¢n recibiendo la llamada de un robot lo m¨¢s probable es que cuelguen. Hacer que el sonido de Duplex sea humano es un requisito fundamental para completar algunas tareas no digitales que requieren la cooperaci¨®n de otro ser humano, como fijar una cita en ausencia de mecanismos de programaci¨®n digital.

Esto supone que Duplex comienza sus interacciones con la duplicidad en mente. Durante la primera demostraci¨®n, el interlocutor humano no sab¨ªa que estaba hablando con un robot. Esto demuestra que es posible que una IA enga?e a los humanos. Una vez que este tipo de tecnolog¨ªa est¨¦ ampliamente disponible, los ciberdelincuentes la pueden utilizar con un objetivo m¨¢s malicioso.

Sin embargo, Google parece haberse percatado de este problema. Hace unos d¨ªas, mostraron una nueva demo en el mundo real. Durante esta demostraci¨®n, Duplex mencion¨® que era un asistente autom¨¢tico al acabar la llamada. Aunque este paso hace que Google Duplex sea m¨¢s seguro, ahora que el mundo ha visto que la IA puede convencer a alguien de que es un ser humano, solo es cuesti¨®n de tiempo que alguien dise?e una llamada de inteligencia artificial con el objetivo de enga?ar.

Problemas de privacidad: para hacer su trabajo, es probable que tecnolog¨ªas como Duplex tengan que grabarte, de forma similar a como lo hacen Siri y Alexa. Lo deseable es que las empresas con buenas intenciones solo tengan estas grabaciones temporalmente, lo suficiente para que la IA analice y entienda el discurso. Pero, ?qui¨¦n sabe si esto se hace as¨ª realmente? Las empresas han elegido almacenar todos los datos que recopilan. Estas grabaciones no solo pueden contener cosas que se dicen y que se querr¨ªan mantener en privado, sino que tambi¨¦n guardan caracter¨ªsticas personales sobre cada uno nosotros, por ejemplo, los rasgos distintivos de nuestra voz, que podr¨ªan utilizarse contra nosotros.

Los sistemas automatizados que registran la voz sin consentimiento no solo violan la privacidad, sino que tambi¨¦n podr¨ªan tener implicaciones legales serias. Algunos estados tienen leyes sobre las escuchas telef¨®nicas que no permiten grabar a otra persona en una llamada sin su consentimiento. Durante la demostraci¨®n original, Duplex no advirti¨® que estaba grabando la llamada. Sin embargo, Google tambi¨¦n corrigi¨® esto en su segunda demostraci¨®n. Ahora, Duplex advierte de su grabaci¨®n, se?alando puntos como: ¡°Soy el servicio de reserva automatizado de Google, as¨ª que voy a grabar la llamada¡±. No obstante, todav¨ªa deja al descubierto posibles infracciones en la privacidad por parte de la corporaci¨®n que tiene la grabaci¨®n, en cuanto a los millones de voces que se registran, as¨ª como cualquier otra cosa sensible que digan. Es bueno para las empresas como Google asegurar que "no har¨¢n mal", pero la historia ha demostrado que no siempre se puede tomar a pies juntillas la palabra de las empresas. Antes de que esta tecnolog¨ªa se extienda demasiado, se deber¨ªan aprobar algunas regulaciones que limiten cu¨¢nto tiempo y qu¨¦ cantidad de datos pueden almacenar estos tipos de soluciones.

Vishing automatizado: una de las mayores amenazas para la seguridad de la informaci¨®n ni siquiera implica tecnolog¨ªa. La ingenier¨ªa social es el acto de enga?ar a una v¨ªctima para que le brinde informaci¨®n que no deber¨ªa tener. Uno de los hackers m¨¢s perversos del mundo, Kevin Mitnick, se hizo un nombre por la cantidad de v¨ªctimas de ingenier¨ªa social v¨ªa telef¨®nica; un ataque al que la industria de la seguridad llama vishing (un acr¨®nimo de phishing de voz).

En conferencias de seguridad como DEF CON, a menudo se ven presentaciones en las que los ingenieros sociales env¨ªan ataques de vishing a las v¨ªctimas. (Este v¨ªdeo muestra lo f¨¢cil que es cambiar las credenciales de cualquiera con una simple llamada telef¨®nica). El vishing es una de las amenazas de las que resulta m¨¢s dif¨ªcil protegerse, ya que la tecnolog¨ªa generalmente no puede ayudar. Se trata de usar la psicolog¨ªa para explotar la debilidad y los actos humanos naturales.

Una de las pocas cosas que realmente salva a la industria de los ataques de vishing es que no escalan. Cada llamada de ingenier¨ªa social requiere el tiempo de un humano, que solo puede hacer una llamada a la vez. Sin embargo, imagina que los asistentes de IA son creados para hacer llamadas de vishing. Ahora, una IA puede hacer cientos o miles de llamadas a la vez y los hackers se dar¨¢n cuenta de esto.?

La buena noticia es que no parece posible que los atacantes puedan aprovechar Google Duplex directamente para atacar. En principio, es un sistema cerrado, solo disponible para el asistente de Google. Los investigadores de Google afirman que ¨²nicamente ha sido dise?ado para tareas de "dominio cerrado". A pesar de que Duplex parec¨ªa mantener una conversaci¨®n din¨¢mica e interactiva sobre la "programaci¨®n de citas", no significa que sepa c¨®mo hablar sobre cualquier otra cosa. No parece que los atacantes, puedan usar Duplex para hacer llamadas de vishing ahora mismo?

Sin embargo, Google Duplex demuestra que puede construir una red neuronal recurrente (RNN) que puede hablar como un ser humano y realizar tareas telef¨®nicas espec¨ªficas. Teniendo en cuenta que Duplex se basa en el proyecto TensorFlowde Google, se puede predecir que no pasar¨¢ mucho tiempo hasta que los ciberdelincuentes construyan versiones maliciosas similares a Duplex por su cuenta.

Spear-vishing: los futuros "asistentes de IA" podr¨ªan sonar como un humano. Duplex ha demostrado que la tecnolog¨ªa de IA es lo suficientemente fuerte como para que un hacker motivado pueda crear un asistente de tel¨¦fono de inteligencia artificial que hace llamadas de vishing. La IA y el machine learning tambi¨¦n permiten a los investigadores imitar las voces e im¨¢genes. De hecho, el a?o pasado una compa?¨ªa llamada Lyrebird dio a conocer un algoritmo de simulaci¨®n de voz que podr¨ªa imitar a una persona real, simplemente con tener un peque?o fragmento de audio de su voz. Ahora solo hay que imaginar una enorme biblioteca de audio que podr¨ªa utilizarse para imitar voces. Las llamadas automatizadas de vishing desde un ordenador son bastante malas, pero ?y si estas llamadas simulan venir de amigos, familiares o incluso de tu jefe?

El spear-phishing (una estafa de correo electr¨®nico o comunicaciones dirigida a personas, organizaciones o empresas espec¨ªficas) se ha convertido en una gran amenaza. A menudo, los hackers m¨¢s sofisticados aprenden sobre cada uno y usan ese conocimiento para dise?ar correos electr¨®nicos a los que es m¨¢s probable responder. Un ejemplo es crear un correo electr¨®nico que parece proceder de tu jefe. Ahora imagina una llamada que procede de tu jefe, que suena como su voz, habla con su cadencia, pero que en realidad es un asistente de inteligencia artificial que usa un algoritmo de imitaci¨®n de voz con un objetivo malicioso.

Personalmente, creo que esta tecnolog¨ªa es benigna, no es ni buena ni mala. La forma en que se decida usarla definir¨¢ si finalmente salva o destruye a la humanidad. Google Duplex se ve como una tecnolog¨ªa extraordinaria; sin embargo, hay que darse cuenta del potencial negativo que tienen productos como Duplex, o productos que aprovechan la IA de otra forma. En definitiva, sin duda hay una forma de aprovechar estas tecnolog¨ªas para mejorar la sociedad, pero hay que plantear nuevas regulaciones, un dise?o de seguridad y otras salvaguardas que limiten el da?o potencial que pueden lograr las tecnolog¨ªas m¨¢s potentes. No se deje enga?ar y no permita ser enga?ado por un Duplex malicioso no verificado.

Corey Nachreiner es?CTO de WatchGuard Technologies