Sistemas m¨¢s inteligentes para evitar el horror

El accidente del avi¨®n de Germanwings y, sobre todo, las lecciones que podemos aprender para dificultar que algo as¨ª se repita, nos obligan a reflexionar sobre los riesgos de nuestro modo de vida. ?Qu¨¦ es m¨¢s importante, mejorar la formaci¨®n de los pilotos o los sistemas de vuelo? Siendo importantes ambas cosas, la naturaleza de los riesgos asociados a las tecnolog¨ªas que empleamos requiere, sobre todo, sistemas m¨¢s inteligentes y no tanto personas m¨¢s capacitadas que los dirijan. ?A qu¨¦ se debe esto?

Una de las paradojas de nuestras tecnolog¨ªas es que tienen que atender a dos riesgos contradictorios: el de no hacer caso a quienes las dirigen y el de hacerles demasiado caso. Seg¨²n esta distinci¨®n, habr¨ªa un tipo de accidentes que se deben a la impotencia y otros a la omnipotencia. Nos inquietan m¨¢s estos ¨²ltimos que aquellos; desasosiega m¨¢s estar al arbitrio de los hombres que de las m¨¢quinas.

El primer tipo de riesgos es m¨¢s evidente. Los sistemas complejos suelen funcionar aut¨®nomamente y sin ello no podr¨ªamos tener ninguna tecnolog¨ªa sofisticada, pero muchas veces eso se paga con la ingobernabilidad y esos mismos sistemas que hemos configurado se vuelven, desbocados, contra nosotros mismos. Toda la literatura est¨¢ plagada de fantas¨ªas acerca de creaciones que cobran vida propia y se nos rebelan. Si pensamos en los problemas espec¨ªficos de la sociedad contempor¨¢nea, hay multitud de ejemplos de ese descontrol, y tal vez la dificultad de gobernar los mercados financieros sea el m¨¢s lacerante. Tenemos otro ejemplo cotidiano de ello en la modificaci¨®n de nuestras relaciones con la tecnolog¨ªa que usamos. Nos hemos acostumbrado a utilizar dispositivos cuya l¨®gica desconocemos y por eso ya casi nadie sabemos c¨®mo funcionan. Incluso el especialista al que recurrimos sustituye piezas, m¨¢s que reparar. Por eso se ha lamentado estos d¨ªas, con motivo del accidente a¨¦reo de los Alpes, que la formaci¨®n de los pilotos se haya sofisticado de manera que desaparezca el elemento que podr¨ªamos llamar ¡°artesanal¡± del pilotaje. Cuando algo se estropea, lo hace irreparablemente.

De hecho, el piloto autom¨¢tico es un buen ejemplo de la paradoja que resulta cuando nos preguntamos qui¨¦n manda aqu¨ª. Un piloto cree que pilota aviones, pero, desde este punto de vista, es m¨¢s bien al rev¨¦s. El piloto pone en marcha el sistema, pero enseguida es la m¨¢quina quien prescribe hasta el detalle todo lo que el piloto debe hacer hasta prescindir abiertamente de ¨¦l. El piloto tiene que adaptarse a la l¨®gica del vuelo. Un sistema es inteligente cuando puede incluso desobedecer ciertas ¨®rdenes absurdas. Nadie en su sano juicio deber¨ªa lamentar esta circunstancia, pues a ella le debemos una enorme cantidad de dispositivos que nos facilitan la vida y a veces, literalmente, nos la aseguran.

El sistema no ha podido impedir que quien pilotaba el avi¨®n hiciera lo que quer¨ªa

El otro gran riesgo consiste en que las tecnolog¨ªas se sometan excesivamente a quienes las dirigen. Con el accidente de tren de Angrois se experimentaron los inconvenientes de un sistema que dejaba al arbitrio del conductor la velocidad incluso en aquellos tramos en los que hab¨ªa una clara limitaci¨®n. Cu¨¢nto lamentamos entonces que no estuviera instalado en aquel tramo de v¨ªa el procedimiento que impide al conductor sobrepasar cierta velocidad aunque lo quiera. Hay muchos sistemas que son inteligentes porque son capaces de oponerse a la voluntad expresa de quienes los dirigen. La sofisticaci¨®n de los dispositivos de conducci¨®n se efect¨²a a trav¨¦s de sistemas que impiden a quien gobierna hacer lo que quiera, desde los l¨ªmites constitucionales para el sistema pol¨ªtico hasta los sistemas de frenado autom¨¢tico en nuestros veh¨ªculos.

Lo dir¨¦ de una manera un tanto provocativa: la paradoja de todo sistema constitucional es que est¨¢ lleno de previsiones para impedir que hagamos lo que queramos, para dificultarlo y, si no queda m¨¢s remedio, para encauzarlo de acuerdo con determinados procedimientos gracias a lo cual existe una cierta estabilidad pol¨ªtica. El sistema de frenado ABS es precisamente un sistema para impedir que, en un momento de p¨¢nico, frenemos tanto como quisi¨¦ramos, lo que pondr¨ªa en peligro nuestra estabilidad y terminar¨ªa haci¨¦ndonos m¨¢s da?o que no frenar. Por eso cabe afirmar sin exageraci¨®n que los sistemas de Gobierno son tanto m¨¢s inteligentes cuanto m¨¢s resisten a la obstinaci¨®n de quienes gobiernan.

Es eso lo que quisieron ense?arnos, entre otros, Adam Smith y Karl Marx: que los sistemas sociales tienen una din¨¢mica propia que act¨²a con independencia de la voluntad de los actores. Todo el progreso humano se juega en ese dif¨ªcil equilibrio entre dar cauce a la voluntad humana de gobernar los acontecimientos e impedir al mismo tiempo la arbitrariedad. Las noticias que tenemos parecen indicar que este equilibrio se ha roto, sobre el cielo de los Alpes, en favor de alguien que pod¨ªa demasiado, es decir, al que el sistema no ha podido impedir que quien pilotaba el avi¨®n hiciera lo que quer¨ªa.

Nuestros protocolos de seguridad se han sofisticado desde el 11-S pensando m¨¢s en enemigos de fuera que en los de dentro. De ah¨ª, entre otras cosas, que fuera posible cerrar la cabina del avi¨®n o que la puerta estuviera blindada. Toda la paradoja del asunto se resume en c¨®mo hacer frente a los riesgos producidos por nuestras propias medidas de seguridad, c¨®mo evitar las protecciones excesivas. La soluci¨®n no pasa por las personas, me permito concluir, sino por mejorar los sistemas que nos protejan contra las personas, contra sus errores, su demencia o su maldad.

Daniel Innerarity es catedr¨¢tico de Filosof¨ªa e Investigador ¡°Ikerbasque¡± en la Universidad del Pa¨ªs Vasco.