El ojo electr¨®nico que imita la visi¨®n humana

Una de las aspiraciones de la ciencia y la tecnolog¨ªa es desarrollar sistemas con las capacidades del m¨¢s complejo organismo de la naturaleza: el formado por los 37 billones de c¨¦lulas del cuerpo humano. En su conjunto, es inabarcable, pero s¨ª se puede avanzar parcialmente. El Instituto de Microelectr¨®nica en la capital andaluza (Imse), del Consejo Superior de Investigaciones Cient¨ªficas (CSIC) y la Universidad de Sevilla, se ha centrado en el sistema que hace posible la visi¨®n. Las c¨¢maras convencionales captan una imagen que, repetida entre 30 y hasta 100.000 veces por segundo, forman una secuencia. Pero el ojo y las conexiones con el cerebro permiten ir m¨¢s all¨¢ y pueden focalizar y percibir cambios m¨ªnimos que permiten adaptarse para interpretar el entorno y actuar en consecuencia sin necesidad de almacenar toda la informaci¨®n. Es una capacidad que el Imse aplica ya en sensores din¨¢micos de visi¨®n (DVS por sus siglas en ingl¨¦s) para c¨¢maras por eventos que han adoptado empresas como Samsung y Sony.

Las c¨¢maras convencionales se asemejan m¨¢s a la pintura hiperrealista que a la visi¨®n. Captan la imagen de un encuadre y la reproducen. Sus principales avances han sido de resoluci¨®n: incorporar m¨¢s p¨ªxeles para ganar en definici¨®n y sortear los defectos posibles con procesamiento. ¡°Pueden aportar una cantidad ingente de datos que necesitan una central y un mont¨®n de cableado para transmitirla. Pero alguien tiene que procesar¡±, explica Bernab¨¦ Linares, profesor de investigaci¨®n del Imse.

¡°La retina biol¨®gica no toma im¨¢genes. Toda la informaci¨®n va por el nervio ¨®ptico y el cerebro la procesa. En la c¨¢mara convencional, cada pixel es aut¨®nomo y, como mucho, se le hace interactuar con sus vecinos para ajustar la luminosidad. Pero una imagen digital a la salida de un t¨²nel puede ser toda blanca o negra mientras que nosotros, salvo en condiciones muy extremas, podemos ver lo que hay dentro y fuera¡±, a?ade el investigador. Esta capacidad es fundamental, por ejemplo, para el desarrollo de los veh¨ªculos de conducci¨®n aut¨®noma.

Esta caracter¨ªstica de la visi¨®n humana se conoce como foveaci¨®n, un mecanismo que permite maximizar la resoluci¨®n en la zona donde se enfoca la vista mientras que mantiene una baja en las ¨¢reas de visi¨®n perif¨¦rica. De esta forma, se reduce la cantidad de informaci¨®n generada por la retina, pero se mantiene la capacidad de reconocimiento visual para la toma de decisiones.

El Grupo de Sistemas Neurom¨®rficos del Imse busca un ojo electr¨®nico con esas y otras capacidades inspiradas en la biolog¨ªa, un sensor que permita resultados a gran velocidad, sin enormes consumos de potencia y que minimice la cantidad de datos necesarios para un procesamiento eficaz. Con estas premisas se ha desarrollado la c¨¢mara de eventos, que no trabaja con fotogramas, sino con flujos continuos de impulsos el¨¦ctricos (eventos o spikes) producidos por cada fotosensor (o p¨ªxel) de forma aut¨®noma cuando detecta un cambio suficiente de luz.

¡°En estas c¨¢maras¡±, precisa Linares, ¡°la informaci¨®n de partida la aportan los contornos de los objetos. Pero no son im¨¢genes: es un flujo din¨¢mico de los p¨ªxeles (eventos) que van cambiando y la fase de procesado imita al cerebro, que tambi¨¦n establece una jerarqu¨ªa de capas¡±.

Aunque el germen de la nueva aproximaci¨®n a las im¨¢genes surgi¨® en el Instituto de Tecnolog¨ªa de California (Caltech) en los noventa, su uso para imitar al ojo humano comenz¨® hace 20 a?os en Suiza con un proyecto europeo coordinado por el Imse y denominado CAVIAR. A partir de ah¨ª comenzaron las patentes, las empresas surgidas de la investigaci¨®n, los inversores y la adopci¨®n de los desarrollos por parte de empresas como Samsung y Sony para el desarrollo de procesadores de imagen. ¡°El objetivo¡±, explica el investigador del Imse, ¡°es desarrollar una f¨®vea [la regi¨®n de la retina especializada en la visi¨®n fina de los detalles] electr¨®nica¡±. Este dispositivo permite que, sin generar mucha informaci¨®n, identifique la zona de inter¨¦s y que sea esta la que se procese en alta resoluci¨®n.

Este dispositivo es fundamental para discriminar los datos relevantes para la conducci¨®n aut¨®noma, agilizando el procesamiento y minimizando el consumo de recursos. ¡°Si la c¨¢mara ve una se?al o un peat¨®n u otro veh¨ªculo, no tiene que analizar toda la imagen sino solo el nuevo elemento¡±, explica Linares.

Pero tambi¨¦n tiene implicaciones extraordinarias en sensores de cualquier actividad, como vigilancia y seguimiento por imagen, al activarse solo cuando se produce una alteraci¨®n relevante, o en diagn¨®stico por imagen, al se?alar ¨²nicamente las ¨¢reas alteradas, o en navegaci¨®n de drones. Una investigaci¨®n encabezada por Bodo Rueckauer, de la universidad holandesa de Radboud, recurre a un sensor de visi¨®n din¨¢mica (DVS), como el desarrollado por el Imse: ¡°Este sensor sin fotogramas se?ala los cambios de intensidad de la luz en funci¨®n de los p¨ªxeles y se caracteriza por un alto rango din¨¢mico y una resoluci¨®n temporal de microsegundos. Una inteligencia artificial entrenada para realizar el reconocimiento de gestos logra una precisi¨®n del 90% a trav¨¦s del DVS¡±.

Teresa Serrano, cient¨ªfica y directora del Imse, se?ala c¨®mo la neurociencia puede recurrir a procesadores que interaccionen con los sistemas neuronales y sirvan para pacientes de epilepsia o p¨¢rkinson.

La actual l¨ªnea de investigaci¨®n se agrupa en el proyecto Nimble AI, que pretende aprovechar los ¨²ltimos avances en microelectr¨®nica y tecnolog¨ªa de circuitos integrados para crear la detecci¨®n y procesamiento neurom¨®rfico con mayor seguridad y privacidad a un menor coste, consumo energ¨¦tico (hasta 100 veces menos) y latencia (50 veces m¨¢s r¨¢pido en el tiempo de respuesta).

Una de las empresas surgidas del grupo de investigaci¨®n ha sido Chronocam, que ahora se llama Prophesee. ¡°Esencialmente, lo que estamos desarrollando es un nuevo enfoque para la detecci¨®n de informaci¨®n, muy diferente a las c¨¢maras convencionales que han existido durante muchos a?os¡±, afirma Luca Verre, director general de Prophesee.

¡°Nuestros sensores producen vol¨²menes de datos muy bajos. Por lo tanto, permiten tener un sistema de bajo consumo y costo razonable porque, simplemente, puede generar algunos datos de eventos con los que el procesador puede interactuar f¨¢cilmente y localmente. En lugar de alimentarlo con toneladas de fotogramas que los sobrecargan y dificultan su capacidad para procesar datos en tiempo real, la c¨¢mara de eventos permite hacerlo en tiempo real en una escena¡±, explica Verre.

Puedes seguir a MATERIA en Facebook, X e Instagram, o apuntarte aqu¨ª para recibir nuestra newsletter semanal.