Por qu¨¦ las encuestas necesitan ¡®cocina¡¯

Imaginen que hago una encuesta a la salida de un mitin y luego les intento convencer de que el resultado es concluyente. Explicar¨ªa que hice 10.000 entrevistas y que los datos puros, sin manipular ni alterar de ninguna forma, no dejan lugar a dudas: el partido que organiza el acto va a ganar las elecciones con el 90% de los votos.

Nadie se tomar¨ªa en serio esos resultados. Es evidente que los asistentes al mitin no representan a toda la sociedad, porque son una muestra sesgada. Es f¨¢cil verlo en ese caso concreto, pero el mismo problema existe en general y esa es una de las razones de que se cocinen las encuestas.

?Qu¨¦ significa exactamente cocinar? El t¨¦rmino se refiere a las t¨¦cnicas que un encuestador emplea para producir estimaciones de voto con mayor exactitud a partir de los datos en bruto. No deber¨ªa tener un sentido peyorativo, pero a veces lo tiene porque se confunden dos cosas: est¨¢ bien que critiquemos las cocinas opacas ¡ªcuya metodolog¨ªa no se explica¡ª, pero la pr¨¢ctica en s¨ª misma es leg¨ªtima y habitual.

Este debate parec¨ªa superado, pero ha vuelto despu¨¦s de que el CIS, organismo p¨²blico encargado de las encuestas en Espa?a, nombrase a Jos¨¦ F¨¦lix Tezanos como su nuevo presidente. El soci¨®logo ha criticado la cocina de encuestas en sus dos sentidos. Dice que la metodolog¨ªa del CIS debe ser transparente, pero adem¨¢s desconf¨ªa en general de los modelos usados para determinar la estimaci¨®n de voto: ¡°El ¨²nico modelo es tomar exactamente lo que dice el ciudadano¡±, explic¨® a EL PA?S. Desde su llegada, el CIS publica estimaciones que son pr¨¢cticamente datos en bruto, alejando al CIS de otras instituciones de referencia. La mayor¨ªa de los sondeos punteros tratan los datos para producir sus estimaciones. Lo hacen as¨ª para anticipar la intenci¨®n de voto de los indecisos, predecir qui¨¦n ir¨¢ realmente a votar y corregir sesgos en la muestra.

La mayor¨ªa de los sondeos punteros tratan los datos para determinar qui¨¦n ir¨¢ realmente a votar y evitar sesgos

La primera dificultad son las personas que no declaran su voto. ?Se puede predecir el comportamiento de los indecisos, esa gente a la que, si se le pregunta, dir¨¢n sinceramente?que no saben qu¨¦ papeleta depositar¨¢n en la urna? En realidad, s¨ª. Es habitual asumir, por ejemplo, que muchos indecisos volver¨¢n a votar lo mismo que la ¨²ltima vez. Pero tambi¨¦n se emplean modelos m¨¢s sofisticados que determinan su voto teniendo en cuenta la edad, la ideolog¨ªa o el lugar donde vive el elector.

Otra dificultad consiste en averiguar qui¨¦n ir¨¢ a votar. La mayor¨ªa dice que lo har¨¢, porque est¨¢ bien visto y porque las personas somos optimistas, pero el d¨ªa en cuesti¨®n suceden imprevistos y a veces no votamos. Para anticiparse a esto, los encuestadores asignan a cada persona una probabilidad sobre si realmente votar¨¢. La empresa demosc¨®pica?YouGov pregunta a los encuestados c¨®mo de seguros est¨¢n de que acudir¨¢n a las urnas y luego reducen a la mitad esa probabilidad si se abstuvieron la ¨²ltima vez. Otros?sondeos tiene en cuenta el sexo, la edad o el partido al que apoya cada persona para decidir c¨®mo de probable es que vote.

El tercer problema que plantean las encuestas es el menos intuitivo y el m¨¢s grave. Aunque se determine con total certeza a qui¨¦n votar¨¢n 10.000 personas, la predicci¨®n todav¨ªa podr¨ªa estrellarse si esas personas no han sido escogidas aleatoriamente. El caso del mitin mencionado antes es un ejemplo extremo, pero los sesgos en una muestra pueden surgir de forma sutil. Puede ser que ciertas personas sean m¨¢s accesibles a los encuestadores (como los desempleados, que pasan m¨¢s tiempo en casa) o que alguna gente sea m¨¢s reacia a responder (como pasaba con los votantes del PP en el Pa¨ªs Vasco). Sea por el motivo que sea, si en la muestra faltan personas de un tipo y hay demasiadas de otro, el resultado puede desviarse de la realidad.

Eso fue lo que pas¨® en Reino Unido con las elecciones generales de 2015. Una investigaci¨®n concluy¨® que las encuestas hab¨ªan fallado porque las muestras ¡°sobrerrepresentaron sistem¨¢ticamente a los votantes laboristas¡±. El informe hac¨ªa varias sugerencias para evitar futuros errores y casi todas consist¨ªan en hacer m¨¢s cocina. Recomendaba usar nuevas ponderaciones, la t¨¦cnica m¨¢s com¨²n para fortalecer la representatividad de un sondeo. La idea es detectar qu¨¦ personas escasean en la muestra y darles m¨¢s peso. Por ejemplo, si las mujeres universitarias son un 20% del censo pero solo representan un 10% de los entrevistados, una soluci¨®n es doblar el valor de sus respuestas.

¡°Todas las agencias de investigaci¨®n reputadas ponderan los datos como una medida de ajuste¡±, afirman en YouGov

Usar ponderaciones se ha convertido en algo habitual. Pew Research, una de las organizaciones de opini¨®n p¨²blica m¨¢s prestigiosas del mundo, pondera por sexo, edad, educaci¨®n y raza. En YouGov van m¨¢s lejos y ponderan tambi¨¦n por clase social o ¨²ltimo voto: ¡°Todas las agencias de investigaci¨®n reputadas ponderan los datos como una medida de ajuste¡±, afirman en la explicaci¨®n sobre su metodolog¨ªa. Estas t¨¦cnicas ¡°son el presente¡±, explica por correo Pepe Fern¨¢ndez-Albertos, cient¨ªfico titular del CSIC. Y apunta dos motivos que explican esto: los ¡°contextos de alta polarizaci¨®n¡± y ¡°las bajas tasas de respuesta¡±. La investigadora de la Aut¨®noma de Barcelona Berta Barbet est¨¢ de acuerdo: ¡°Tratar los datos es cada vez m¨¢s importante por el declive en las tasas de respuesta¡±. El futuro de las encuestas parece ir en esa direcci¨®n. Cada vez se usan modelos estad¨ªsticos m¨¢s sofisticados para reducir el margen de error de las estimaciones.

El inter¨¦s por la cocina de las encuestas se ha redoblado por culpa de Internet y de la recolecci¨®n masiva de datos. Hay grandes esperanzas en el desarrollo de modelos que permitan hacer predicciones con muestras no representativas, que se alimenten de redes sociales o del rastro digital que vamos dejando. ?Ser¨¢ posible predecir el pr¨®ximo presidente de EE UU haciendo encuestas a jugadores de videojuegos de Xbox? Con datos en bruto ser¨ªa impensable porque los usuarios de videojuegos no representan al conjunto del electorado. Pero un trabajo de Andrew Gelman, catedr¨¢tico de estad¨ªstica en la Universidad de Columbia, demostr¨® que pod¨ªa hacerse: un modelo alimentado con esa muestra predijo las elecciones de 2012 con tanta precisi¨®n como las mejores encuestas. Parece magia, pero es estad¨ªstica.