Se rompe la fe ciega en el Big Data

Harry Enten es de los que piensan, como Marcelo Bielsa, que en la vida el fracaso es la norma y el ¨¦xito es la excepci¨®n. ¡°Tambi¨¦n pronosticamos que la selecci¨®n de f¨²tbol de Brasil ganar¨ªa el Mundial de 2014 o que los Golden State Warriors ser¨ªan campeones de la NBA en 2016, y nos equivocamos¡±, reconoce Esten, analista de FiveThirtyEight, la web del c¨¦lebre experto en estad¨ªstica Nate Silver, cuando se le recuerda que su p¨¢gina daba a Hillary Clinton un 71 % de posibilidades de ganar las elecciones presidenciales de Estados Unidos muy pocas horas antes de que la candidata dem¨®crata fuese derrotada por Donald Trump. ?Epic fail?

Tal vez. Sin embargo, que nadie espere de Enten (o de Silver) algo parecido a un acto de contricci¨®n en toda regla. Su confianza en las cifras que los condujeron a conclusiones err¨®neas permanece inc¨®lume: ¡°Nos basamos en todo momento en lo que nos dec¨ªa nuestro modelo estad¨ªstico¡±, zanja el analista. Una versi¨®n bastante m¨¢s compleja y refinada, por cierto, del mismo modelo que les llev¨® a predecir con exactitud el ganador de cada uno de los 50 estados en las presidenciales de 2012, logro ins¨®lito que supuso una de las cumbres del periodismo pol¨ªtico basado en el an¨¢lisis estad¨ªstico y ciment¨® el prestigio internacional de Nate Silver, considerado desde entonces gran gur¨² del Big Data.

¡°Tal vez podr¨ªamos haber pronosticado una victoria de Donald Trump bas¨¢ndonos en la intuici¨®n, la experiencia y el sentido com¨²n¡±, concede Esten, ¡°pero nuestro modelo, el an¨¢lisis ponderado y minucioso de la informaci¨®n disponible, contaba una historia muy distinta, y nos aferramos a ¨¦l hasta el final¡±.

En realidad, muy pocos medios de comunicaci¨®n relevantes apostaban por una victoria de Trump horas antes de que se cerrasen las urnas. Entre los que lo hicieron, predominaban los medios con un sesgo ideol¨®gico claramente conservador, por lo que, en cierta medida, pod¨ªa argumentarse que estaban confundiendo la realidad con sus deseos. Al final, esa minor¨ªa aferrada a prejuicios voluntaristas o ¡°a la intuici¨®n, la experiencia y el sentido com¨²n¡± result¨® tener raz¨®n. ¡°Los analistas de la vieja escuela celebran los fracasos del an¨¢lisis basado en Big Data como si fuesen ¨¦xitos propios¡±, argumenta Enten, ¡°les parece una especie de castigo b¨ªblico por nuestra presunta ceguera y arrogancia, cuando lo cierto es que ellos tambi¨¦n se equivocan y, lo que es peor, lo hacen con frecuencia sin haberse basado en nada s¨®lido, por lo que ni siquiera pueden sacarse conclusiones f¨¦rtiles de sus errores¡±.

Si crey¨¦semos en las previsiones basadas en los fr¨ªos an¨¢lisis estad¨ªsticos, en EE UU gobernar¨ªa Hillary Clinton y Lego estar¨ªa en quiebra

Enten y Silver asumen sus fracasos, pero insisten en que incluso la m¨¢s err¨®nea de sus predicciones ha tenido un fundamento s¨®lido. No pretenden ser el equivalente moderno al or¨¢culo de Delfos, pero s¨ª reivindican la superioridad del an¨¢lisis estad¨ªstico sobre las alternativas basadas en razonamientos intuitivos, que para ellos vienen a ser una forma de pensamiento m¨¢gico. Sin embargo, en su influyente ensayo La se?al y el ruido (Pen¨ªnsula, 2014), Silver parte de la propia experiencia para se?alar tambi¨¦n el riesgo contrario: la fe acr¨ªtica y supersticiosa en el Big Data.

No es casualidad que el gran ¨¦xito predictivo de Silver se produjese en 2012. Por entonces, gracias sobre todo a la gran cantidad de datos sobre comportamientos individuales que aportaba la ya llamada huella digital, el Big Data estaba en pleno apogeo. Era ¡°la innovaci¨®n tecnol¨®gica con mayor potencial¡±, seg¨²n Gartner, prestigiosa firma de an¨¢lisis tecnol¨®gico.

Will Oremus, experto en tendencias tecnol¨®gicas y econ¨®micas, acaba de publicar un provocador art¨ªculo en Slate en el que describe el entusiasmo acr¨ªtico con que era acogido el Big Data en 2012 y anuncia que, cinco a?os despu¨¦s, ¡°la burbuja ha reventado¡±. Para Oremus, es hora de volver a ¨®pticas de an¨¢lisis m¨¢s cualitativas. No intuiciones sin fundamento como las que critican los analistas de FiveThirtyEight, pero s¨ª una versi¨®n a¨²n m¨¢s refinada del Big Data que atienda m¨¢s a la complejidad y la imprevisibilidad del comportamiento humano.

¡°La vieja escuela celebra los fracasos del Big Data como si fuesen un castigo b¨ªblico por nuestra arrogancia¡±, explica Harry Enten, analista de ¡®Fivethirtyeight¡¯

Oremus recuerda que en esa fase de fervor por el an¨¢lisis cuantitativo se incurrieron en excesos que hoy resultan c¨®micos. Por ejemplo, los de un c¨¦lebre estudio en el que, bas¨¢ndose en una correlaci¨®n estad¨ªstica ¡°insospechada¡± de esas que solo el Big Data consigue detectar, se aseguraba que los coches usados de color naranja duran m¨¢s que el resto. U otro que afirmaba que los solicitantes de hipotecas que escriben su solicitud utilizando solo may¨²sculas son m¨¢s proclives a dejar de pagar las cuotas.

¡°Por supuesto, nadie se tomaba las conclusiones de estos estudios verdaderamente en serio¡±, afirma Oremus, ¡°a la hora de conceder hipotecas, se segu¨ªa teniendo en cuenta la solvencia te¨®rica del cliente, pero el hecho de que la gente dedicase tiempo y esfuerzos a buscar correlaciones estad¨ªsticas como estas demuestra hasta qu¨¦ punto se hab¨ªa consolidado una fe irracional en el Big Data¡±. Tambi¨¦n se basaba en el Big Data (aunque, en este caso, en un modelo de procesamiento de datos bastante rudimentario) la inteligencia artificial utilizada por Google a la hora de etiquetar sus im¨¢genes y que tend¨ªa a confundir a personas negras con gorilas, un error ¡°bochornoso¡± por el que la compa?¨ªa se vio obligada a pedir perd¨®n.

Para la redactora de Slate Julia Rose West, ninguno de estos ejemplos es realmente culpa del Big Data, sino m¨¢s bien consecuencia de su ¡°fetichizaci¨®n¡±. ¡°Hemos ca¨ªdo en un culto irracional a los modelos estad¨ªsticos¡±, opina, ¡°basado en parte en lo mucho que han evolucionado en los ¨²ltimos a?os y lo eficaces que han resultado en ocasiones sus predicciones en campos tan diversos como el deporte, la pol¨ªtica, la meteorolog¨ªa o los negocios¡±. Sin embargo, ¡°ninguna predicci¨®n es infalible¡± y la realidad sigue siendo, ¡°m¨¢s por suerte que por desgracia, bastante m¨¢s compleja¡± que los modelos estad¨ªsticos que intentan interpretarla.

El debate es antiguo. Una vieja an¨¦cdota lo ilustra a la perfecci¨®n. La reproduce el analista tecnol¨®gico Alexis Madrigal en un art¨ªculo reciente en The Atlantic. En 1967, el secretario de defensa estadounidense Robert McNamara pidi¨® al Pent¨¢gono que introdujese en sus computadoras (s¨ª, esos enormes armatostes de la prehistoria de la inform¨¢tica que ocupaban habitaciones enteras) todos los datos disponibles sobre la guerra de Vietnam. Desde el n¨²mero de tanques hasta el de helic¨®pteros, pasando por la munici¨®n, la artiller¨ªa o las tropas disponibles por ambos bandos, y les diese una predicci¨®n lo m¨¢s ajustada posible de cu¨¢nto m¨¢s iba a durar el conflicto. La respuesta de las computadores fue: ¡°Ganamos la guerra en 1965¡±. Madrigal remata la an¨¦cdota con una frase brillante: ¡°Al parecer, en Vietnam hab¨ªa m¨¢s guerra de la que las computadoras del Pent¨¢gono pod¨ªan procesar¡±.

¡°Los modelos estad¨ªsticos son una aproximaci¨®n al mundo, pero no el mundo en s¨ª¡±, afirma Oremus, en l¨ªnea con la reflexi¨®n de Madrigal. Para acercarse un poco m¨¢s al mundo y tener m¨¢s eficacia predictiva, el Big Data debe encontrar un modo eficaz de integrar en su an¨¢lisis esas herramientas ¡°obsoletas¡± que son, una vez m¨¢s, la intuici¨®n, la experiencia y el sentido com¨²n.

La clave puede estar en ensayos como Small Data: Las peque?as pistas que nos advierten de las grandes tendencias (Deusto), del te¨®rico dan¨¦s Martin Lindstrom. Experto en un campo de estudio incipiente conocido como ¡°comportamiento neurol¨®gico del consumidor¡±, Lindstrom narra varios ejemplos de estudios cualitativos que han resultado bastante m¨¢s eficaces a la hora de prever resultados y marcar l¨ªneas estrat¨¦gicas que la simple acumulaci¨®n de datos.

Uno de los m¨¢s elocuentes es el caso de Lego. La marca de juguetes danesa cambi¨® de estrategia a principios de siglo bas¨¢ndose en modelos estad¨ªsticos que suger¨ªan que las nuevas generaciones de ni?os sufr¨ªan d¨¦ficit de atenci¨®n debido a la sobreabundancia de est¨ªmulos de todo tipo y les resultaban frustrantes los juegos dif¨ªciles. Por eso, optaron por sacar al mercado juegos de construcci¨®n m¨¢s simples, con menos piezas, m¨¢s grandes y f¨¢ciles de encajar.

Sus ventas se desplomaron. A?os despu¨¦s, prefirieron realizar una serie de encuestas cualitativas a un n¨²mero muy limitado de ni?os y llegaron a conclusiones sorprendentes: en realidad, los ni?os tend¨ªan a cogerle m¨¢s cari?o a los juguetes y objetos que les exig¨ªan una mayor inversi¨®n intelectual y emocional. Sus posesiones m¨¢s valiosas eran aquellas con las que pod¨ªan jugar durante horas sin aburrirse. Algunos, por supuesto, no superaban la barrera de la frustraci¨®n ni las dificultades de la curva de aprendizaje, pero eran los menos. Lego volvi¨® a los juegos de construcci¨®n complejos y sali¨® del bache en el que le hab¨ªa puesto su fe en el Big Data.

¡°Hemos ca¨ªdo en un culto irracional a los modelos estad¨ªsticos basado en lo mucho que han evolucionado y lo eficaces que han sido¡±, dice Julia Rose West, de ¡®Slate¡¯

Seg¨²n Oremus, los grandes pioneros del Small Data, los modelos que equilibran con eficacia criterios cualitativos y cuantitativos y que van a complementar y refinar el Big Data son las redes sociales. En especial, Facebook. La compa?¨ªa de Mark Zuckerberg basaba su estrategia de suministro de contenidos y recomendaciones de p¨¢gina sobre todo en los likes del usuario (Big Data).

Hasta que un an¨¢lisis cualitativo de las encuestas de satisfacci¨®n de algunos usuarios (Small Data) les hizo darse cuenta de que, de alg¨²n modo, el incremento global del n¨²mero de likes no equival¨ªa necesariamente a que a la gente le gustasen m¨¢s que antes los contenidos que le ofrec¨ªa Facebook. M¨¢s bien todo lo contrario: a partir de 2013, se hab¨ªa extendido peligrosamente entre los mismos usuarios de la red la idea de que Facebook hab¨ªa dejado de ser cool.

As¨ª pues, la compa?¨ªa empez¨® a experimentar con su feed (los contenidos que muestra de manera preferente a cada usuario concreto) y con diferentes tipos de reacciones, m¨¢s intensas o matizadas que un simple me gusta o no me gusta (me apasiona, lo odio, me enoja¡­) o con nuevas m¨¦tricas, como el porcentaje de rebote o el tiempo dedicado a leer cada uno de los enlaces. El reto es, por supuesto, procesar toda esta informaci¨®n heterog¨¦nea mediante un algoritmo eficaz que permita hacer compatibles Big y Small Data.

Pero, de momento, est¨¢ sirviendo para que Facebook vuelva a ser, si no la m¨¢s cool, s¨ª la red social m¨¢s influyente del momento. As¨ª ha quedado confirmado en las ¨²ltimas elecciones austr¨ªacas, y eso que, y aqu¨ª se cierra el ciclo, ni siquiera un tit¨¢n de la estad¨ªstica como Nate Silver pod¨ªa preverlo. Hasta las elecciones estadounidenses se cre¨ªa que la gran arma de manipulaci¨®n masiva de los electores era Twitter.