As¨ª se est¨¢n moviendo las encuestas en Catalu?a

Quedan diez d¨ªas para las elecciones catalanas y las encuestas no paran de moverse. El promedio de sondeos coloca a ERC y Ciudadanos muy igualados. Los dos rondan el 22% de los votos y les siguen Junts per Catalunya (18,6%), PSC (16%), CeC-Podem (7,6%), PP (6%) y la CUP (6%).

El gr¨¢fico siguiente muestra la evoluci¨®n de los sondeos desde octubre hasta este lunes. ERC ha ca¨ªdo del 28% al 22%, mientras JxCat sub¨ªa del 10% al 18%. El cambio se produjo a principios de noviembre, cuando se confirm¨® que Carles Puigdemont ser¨ªa el candidato de JxCat. Tambi¨¦n se han movido las otras formaciones. El PSC y Ciudadanos han subido tres y cuatro puntos, mientras menguaban los apoyos del PP y los comunes. El PP sufren fugas en favor de Ciudadanos y el partido de Xavier Dom¨¨nech en varias direcciones.

Estos movimientos plantean un dilema t¨¦cnico al hacer el promedio. El t¨ªpico del filtrado de se?ales: si confiamos demasiado en las encuestas recientes, introducimos ruido; pero si damos demasiado peso a las encuestas antiguas, veremos los cambios con retraso. Para mostrar esa diferencia, en el gr¨¢fico anterior he representado un promedio cauto (l¨ªnea gruesa) y otro agresivo (l¨ªnea fina). Con el promedio cauto, ERC se mantiene en el 22,5% de los votos ¡ªtodav¨ªa por encima de Cs¡ª y JxCat se queda en el 17,9%. No hay forma de decidir cu¨¢l de los promedios es mejor y por eso ofrecemos los dos.

Otro motivo de incertidumbre al analizar los sondeos son las diferencias entre encuestadoras. Feedback, por ejemplo, todav¨ªa coloca a ERC primero (con tres puntos de ventaja sobre JxCat y uno sobre Cs). En cambio, Gesop y Sociom¨¦trica igualan a los tres partidos de arriba, y GAD3 cree que el m¨¢s votado ser¨¢ Ciudadanos. Estas diferencias son habituales y sirven para recordarnos que los sondeos nunca son absolutamente precisos. Lo normal es que cometan errores de dos o tres puntos con alg¨²n partido y no es raro que se desv¨ªen m¨¢s.

El partido m¨¢s votado

Teniendo en cuenta todas estas encuestas, ?qu¨¦ probabilidad tiene cada partido de acabar siendo el m¨¢s votado? Para responder esa pregunta he hecho 10.000 simulaciones a partir del promedio de votos (cauto). Utilizo el modelo que presentamos hace unos d¨ªas, que agrega los sondeos y ha sido calibrado con la precisi¨®n hist¨®rica de miles de encuestas.

La igualdad en votos es evidente. ERC tiene un 54% de probabilidades de ser el m¨¢s votado, pero puede ser el segundo (31%) o el tercero (11%). Ciudadanos tiene un 38% de probabilidades de ser primero y un 42% de ser segundo. Tampoco ser¨ªan una enorme sorpresa si acaba siendo tercero: es lo que ocurre en el 14% de las simulaciones (una de cada siete). Tambi¨¦n he calculado probabilidades dos a dos: JxCat tiene un 15% de opciones de superar a ERC en votos, y el PSC un 10% de superar a Ciudadanos.

En esca?os la ventaja de ERC es m¨¢s clara. La raz¨®n es que ERC y JxCat consiguen m¨¢s votos fuera de la provincia de Barcelona y el sistema electoral hace que esos votos se traduzcan en m¨¢s esca?os. En el 66% de las simulaciones ERC es el partido con m¨¢s esca?os, en el 22% es Ciudadanos, y en el 11%, JxCat. Las opciones de Cs para superar en esca?os a ERC caen al 24%.

Adem¨¢s, en este caso son posibles los empates. En un 5% de las simulaciones, ERC y Cs suman los mismos esca?os, y en el 3% lo hacen ERC y JxCat. Podr¨ªa incluso darse un triple empate, pero no es f¨¢cil: s¨®lo pasa una de cada 500 veces.

Metodolog¨ªa del modelo. Las predicciones las produce un modelo estad¨ªstico basado en sondeos y en su precisi¨®n hist¨®rica. El modelo es similar al que usamos en Francia y Reino Unido. Funciona en cuatro pasos: 1) agregar y promediar las encuestas en Catalu?a, 2) proyectar ese promedio sobre cada provincia, 3) incorporar la incertidumbre esperada, y 4) simular 10.000 elecciones para calcular probabilidades.

Paso 1. Promediar las encuestas. El modelo agrega las estimaciones de voto de docenas de sondeos. La mayor¨ªa pueden consultarse en?Wikipedia. Hay dos razones para hacer este promedio: sirve para reducir el error de muestreo y adem¨¢s ofrece una ?cocina? de consenso. El promedio est¨¢ ponderado para tener en cuenta el tama?o de muestra, la empresa encuestadora y la fecha del sondeo.

Nota. Los promedios est¨¢n ponderados por fecha seg¨²n una ley exponencial decreciente. El promedio cauto define esa ley con una vida medida de 10 d¨ªas (las encuestas de hace 10 d¨ªas tienen la mitad de peso) y el promedio agresivo utiliza una de 5 d¨ªas. Adem¨¢s, el promedio cauto ignora las encuestas con m¨¢s de 25 d¨ªas y el agresivo las de hace 15 d¨ªas.

Paso 2. Proyectar el promedio a cada provincia. Antes de calcular los esca?os es necesario estimar el porcentaje de votos de cada partido en cada provincia. Para eso hacemos una proyecci¨®n lineal del promedio de votos en todo Catalu?a. La proyecci¨®n tiene en cuenta resultados hist¨®ricos en cada provincia (del 26J y el 27S) y los ¨²ltimos sondeos del CIS y del CEO.

Paso 3. Incorporar la incertidumbre de las encuestas. Este paso es el m¨¢s complicado. Tambi¨¦n es el m¨¢s importante. Para predecir el resultado ?m¨¢s probable? basta usar el promedio de votos y estimar los esca?os. Pero si queremos saber qu¨¦ probabilidad tienen distintos resultados necesitamos algo m¨¢s: un modelo probabil¨ªstico. Necesitamos estimar la precisi¨®n esperada para los sondeos en Catalu?a. ?De qu¨¦ magnitud son los errores habituales? ?C¨®mo de probable es que se produzcan errores de 1, 2 o 5 puntos? Para responder esas preguntas hemos analizado el error de miles de encuestas.

Calibrar los errores esperados. Primero he estimado el error de las encuestas en Espa?a. He construido una base de datos con encuestas de 23 elecciones desde 1982 ¡ªincluyendo todas las generales y una docena de elecciones recientes. El error absoluto medio (MAE) de los promedios de encuestas en Espa?a ha rondado los 2,1 puntos por partido. Pero esos errores dependen al menos de dos cosas: del tama?o del partido y de la cercan¨ªa de las elecciones. Para tener en cuenta esos dos factores hemos recurrido a la base de datos de Jennings y Christopher Wlezien. Hemos analizado los errores de m¨¢s de 2.700 encuestas en 198 elecciones de 19 pa¨ªses occidentales. As¨ª hemos construido un modelo sencillo que estima el error MAE del promedio de votos estimado por las encuestas para cada partido, teniendo en cuenta: i) su tama?o (es m¨¢s f¨¢cil estimar un partido que ronda el 5% en votos que uno que supera el 30%), y ii) los d¨ªas que faltan hasta las elecciones (porque las encuestas mejoran al final).

Distribuci¨®n. Para incorporar la incertidumbre al voto de cada partido en cada simulaci¨®n utilizo varias distribuciones multivariables. Uso distribuciones t-student en lugar de normales para que tengan colas m¨¢s largas (curtosis): eso hace m¨¢s probable que sucedan eventos muy extremos. Las ventajas de esa hip¨®tesis la explica Nate Silver. El nivel de curtosis lo he estimado con la base de datos. Luego defino la matriz de covarianzas de estas distribuciones para que i) la suma de los votos no sobrepase el 100% (unaidea de Chris Hanretty), y ii) consideren correlaciones entre partidos cercanos (por ejemplo, ERC y JxCat). Esas correlaciones las he basado en las matrices de transferencias del CIS y de Metroscopia. La incertidumbre la incorporo con cinco distribuciones, una a nivel catal¨¢n y otra en cada provincia. La primera distribuci¨®n introduce errores iguales para el voto de un partido en toda Catalu?a. Es importante hacerlo as¨ª porque en general los errores de las encuestas son sist¨¦micos e iguales en todos los territorios. Si los asumimos independientes, los errores se cancelan entre provincias y el modelo falla por exceso de confianza. Esto pas¨® con algunos modelos de las elecciones de EE UU en 2016. La segunda parte de la incertidumbre la incorporo sobre cada provincia. Por ¨²ltimo, hay que escalar la amplitud de las matrices de covarianza para que las distribuciones de voto que resultan al final tengan el MAE y la desviaci¨®n est¨¢ndar esperados seg¨²n la calibraci¨®n.

Paso 4. Simular. El ¨²ltimo paso consiste en ejecutar el modelo 10.000 veces. Cada iteraci¨®n es una simulaci¨®n de las elecciones con porcentajes de voto que var¨ªan seg¨²n las distribuciones definidas en el paso anterior. Los resultados en esas simulaciones permiten calcular las probabilidades de que haya una mayor¨ªa de ciertos partidos, de que un candidato logre cierto n¨²mero de votos, quede primero, etc.

Por qu¨¦ encuestas.?El modelo se basa por entero en encuestas. Existe la percepci¨®n de que los sondeos no son fiables, pero lo cierto es que a nivel nacional fallaron por pocos puntos incluso con Trump y con el Brexit. En otras elecciones recientes, como las francesas, las holandesas o las de Pa¨ªs Vasco y Galicia, los sondeos dieron poco que hablar porque estuvieron acertados. Las encuestas raramente son perfectas, pero son capaces de predecir elecciones en t¨¦rminos probabil¨ªsticas.?Adem¨¢s,no existe una alternativa que haya demostrado mayor capacidad de predicci¨®n.