Las encuestas de opinión

infoLibre publica un extracto de Las encuestas de opinión, (Catarata) una obra de Joan Font y Sara Pasadas. El libro se presentará el próximo 6 de junio, a las 19:00 horas, en la Casa del Libro (calle Fuencarral, 119 - Madrid).

______________________

¿Cuánto fallan las encuestas?

“El día que fallaron las encuestas”, “Otra vez fallaron las encuestas”, “¿Por qué fallaron las encuestas?”, “Todas las encuestas fallan”, “¿Por qué fallan tanto?”. Estos que acaba de leer son titulares aparecidos en prensa en los días posteriores a algunas convocatorias electorales recientes en las que las encuestas no fueron capaces de prever de manera precisa los resultados. Nuestras percepciones acerca de la validez de esta herramienta se construyen casi de forma exclusiva a partir de la información que obtenemos de un tipo de encuesta muy concreto, la encuesta electoral. Con esto no queremos decir que las encuestas no fallen, que lo hacen. Pero sí contarle que es muy poco probable que usted llegue a recibir información de los muy numerosos casos en los que las encuestas aciertan por la sencilla razón de que la normalidad no es noticia.

Sin embargo, lo cierto es que al menos hasta el momento lo habitual ha venido siendo que las encuestas cumplan razonablemente bien con el objetivo para el que fueron diseñadas. Tal y como hemos visto en el capítulo 2, las encuestas se han empleado con éxito en multitud de ámbitos y han demostrado su utilidad para cosas tan dispares como ayudar a lanzar un nuevo producto al mercado, descubrir al mejor candidato para un partido político, diagnosticar la situación del mercado laboral de un país o evaluar la satisfacción de los ciudadanos con las políticas y los servicios públicos.

También las denostadas encuestas electorales han acertado más que fallado en sus pronósticos. Analizar el funcionamiento de las encuestas electorales para valorar la precisión de esta herramienta es especialmente útil porque se trata de una de las pocas ocasiones en las que es posible confirmar si los resultados de una encuesta se cumplen o no. Comparando los pronósticos de las encuestas con los resultados electorales, podemos saber no solo qué tal lo hicieron estas en su conjunto, sino también distinguir las que lo hicieron mejor de las que lo hicieron peor y detectar los factores que explican estas diferencias en el funcionamiento de unas y otras.

De este modo sabemos que en Estados Unidos, el país donde este tema ha sido más estudiado, las encuestas tienen  un historial bastante bueno a la hora de predecir los resultados electorales. De las veinte elecciones presidenciales realizadas entre 1936 y 2012, solo en dos casos las encuestas pronosticaron un resultado distinto al que finalmente se produjo. Además, hasta el año 2008 el error medio de las encuestas se redujo de forma progresiva, lo que significa que sus estimaciones se fueron acercando cada vez más a los resultados de las urnas (NCPP, varios años). En el caso de España, con un sistema electoral más complejo y que dificulta en gran medida la realización de pronósticos, los datos de las encuestas se han desviado más de los resultados electorales (Monzón, 2005). Con todo, también en nuestro país el número de convocatorias en las que las encuestas supieron anticipar correctamente quién ganaría las elecciones es muy superior al de aquellas en las que erraron su pronóstico. De las once elecciones generales realizadas entre 1977 y 2012, solo en dos ocasiones (en las de 1993 y 2004) las encuestas avanzaron la victoria de un partido que se quedó en la oposición. 

Pero estos mismos datos apuntan también a que la precisión de las encuestas electorales está empeorando en los últimos años en todo el mundo. Así, el error medio de las encuestas realizadas con motivo de las elecciones presidenciales de 2012 en Estados Unidos aumentó considerablemente respecto al cometido en las tres convocatorias electorales anteriores. También en España se han multiplicado en los últimos años las ocasiones en las que las encuestas fallaron de manera generalizada sus pronósticos de los resultados electorales. Entre las elecciones generales de 2011 y el verano de 2015, los problemas de las encuestas para estimar la intención de voto han ocupado titulares en los periódicos en tres de las siete convocatorias electorales celebradas (las autonómicas andaluzas y catalanas de 2012 y las elecciones europeas de 2014). Mucho se ha escrito también en los últimos meses como consecuencia del fallo generalizado de las encuestas realizadas con motivo de las elecciones generales celebradas en el Reino Unido a principios de mayo de 2015.

¿Por qué fallan las encuestas?

En el capítulo anterior vimos cuáles son los requisitos que debe cumplir una encuesta, además de los pasos y actividades que conlleva su ejecución. A lo largo de este proceso, que tiene el doble objetivo de obtener las respuestas apropiadas (¿qué?) de los informantes adecuados (¿quién?), pueden producirse errores que acaben afectando a la calidad de los resultados de la encuesta y sesgando las estimaciones producidas a partir de estos (figura 9).

Así, en el proceso de diseño y aplicación del cuestionario con el que se trata de obtener las respuestas apropiadas, podemos recurrir a preguntas que no reflejen bien los conceptos que nos interesan (problemas de validez). Asimismo, durante la entrevista pueden producirse problemas que hagan que las respuestas obtenidas sean poco fiables como consecuencia de una mala comprensión de la pregunta, fallos de memoria o la ocultación de información por parte de la persona entrevistada, o bien por errores cometidos por la persona que realiza la entrevista. También características del cuestionario, como la forma en la que están redactadas las preguntas o el orden en que se presentan al entrevistado, pueden alterar los resultados de la encuesta (errores de medida). Por último, en el proceso de codificación, grabación y depuración de los datos pueden producirse fallos de procesamiento que desvíen aún más los resultados obtenidos.

Por otro lado, y si pasamos del qué al quién, en el proceso de obtención de una muestra representativa podemos elegir un modo de administración que excluya a una parte importante de la población analizada (error de cobertura). Así, por ejemplo, según datos de 2014, la encuesta online deja fuera de la posibilidad de ser encuestada al 24% de la población espa­ ñola que no utiliza Internet. Igualmente, una encuesta telefó­nica que solo llame a líneas fijas no está teniendo en cuenta al 22% de los hogares que solo cuentan con teléfonos móviles o no tienen teléfono de ningún tipo. Del mismo modo, no hacer los esfuerzos necesarios para que nos responda la mayoría de las personas seleccionadas inicialmente para formar parte de la muestra puede hacer que entrevistemos solo a quienes son más fáciles de localizar y están más abiertos a participar en una encuesta, desviando los resultados de los que obtendríamos si tuviéramos en cuenta a la población completa (error de no respuesta). Por último, en la fase de tratamiento de los datos podemos aplicar ponderaciones erróneas que aumenten estos sesgos en vez de corregirlos (error de ajuste).

Estos factores por separado o, lo que es más habitual, la acumulación de ellos en el proceso de realización de una encuesta, explican que sus resultados se desvíen del valor real de la población, proporcionando una imagen distorsionada del tema analizado. Las encuestas preelectorales son un buen ejemplo de cómo estos factores producen sesgos habituales que es necesario corregir aplicando distintos procedimientos estadísticos (la famosa cocina). Así, todas las encuestas preelectorales, incluidas las de mejor calidad, tienen problemas para identificar correctamente a quienes irán a votar el día de las elecciones y suelen proporcionar datos de participación muy superiores a los que luego se producen. Tampoco las respuestas a las preguntas de intención de voto reflejan siempre bien la distribución del voto a los diferentes partidos. Y ello por dos motivos: por un lado, porque una parte importante de las personas entrevistadas no responde a la pregunta de a quién piensa votar (cuadro 18) y, por otro, porque es habitual que las muestras obtenidas representen mal a los votantes de los distintos partidos. Tal y como vimos en el capítulo 2, salvo excepciones, los datos brutos (sin corregir) de las encuestas electorales que se realizan en nuestro país han tendido a infrarrepresentar a los votantes del PP.

La dificultad para encontrar abstencionistas es un problema que afecta a la mayoría de las encuestas electorales realizadas en todo el mundo y que ha recibido una considerable atención de investigadores del ámbito de la metodología de encuestas y del comportamiento electoral. Estudios recientes han puesto de manifiesto que la pregunta sobre la intención de ir a votar en unas elecciones futuras tiene problemas de validez, ya que predice mal el comportamiento de voto final. Comparando lo que responden las personas encuestadas con lo que finalmente hacen, estos estudios han concluido que una parte importante de quienes declaran que irán a votar no llega a hacerlo y que otra parte, menor pero igualmente significativa, vota a pesar de haber declarado que se abstendría (Rogers y Aida, 2012). El motivo principal por el que esto sucede tiene que ver con la deseabilidad social, la tendencia a elegir más aquellas respuestas que nos hacen quedar bien con nuestros interlocutores y a evitar las que dan una imagen menos favorable de nosotros mismos. Este mecanismo es el que explica que respondamos que por supuesto que iremos a votar, aunque no tengamos la menor intención de hacerlo, o que nunca nunca hemos tirado una botella al contenedor amarillo de los envases porque fíjate qué pereza tener que ir a estas horas y en chanclas a buscar el verde.

La mayoría de los votantes del PP, a favor de que Rajoy se aparte para que el partido gobierne

Ver más

Pero además de esta explicación, que dentro del esquema de los errores de la encuesta estaría incluida entre los errores de medida provocados por la persona entrevistada, hay otros estudios que apuntan a un problema previo como es que buena parte de los abstencionistas ni siquiera llega a formar parte de las muestras de las encuestas electorales, bien porque son excluidos del marco muestral que estas emplean (error de cobertura), bien porque rechazan participar en ellas (error de no respuesta) (Voogt y Saris, 2003). La mayoría de las encuestas electorales que se llevan a cabo en nuestro país son telefónicas y se dirigen exclusivamente a teléfonos fijos, por lo que dejan fuera de la posibilidad de entrar en la muestra a las personas que no tienen teléfono o solo disponen de teléfono móvil. Estas personas son más  jóvenes, tienen un nivel de estudios menor y se enfrentan a una mayor precariedad laboral y económica que quienes disponen de teléfono fijo en sus casas, un perfil que sabemos que suele estar menos interesado en la política y es más probable que se abstenga en las elecciones. Por otro lado, sabemos también que, incluso cuando llegan a ser contactadas, estas personas se muestran más reacias a participar en una encuesta política y cuando lo hacen dan poca información, refugiándose en mucha mayor medida en las opciones “No sabe” y “No contesta”.

Como vemos, el problema de la sobrestimación de la participación electoral al que se enfrentan las encuestas electorales es el producto de la conjunción de varias fuentes de error. Estos errores están relacionados en parte con las características técnicas de la encuesta, pero también con mecanismos de respuesta de las personas entrevistadas que afectan a  todas ellas con independencia del diseño elegido. Algo similar ocurre con la subestimación de los votantes del PP, que es producto de la mayor dificultad para localizarles a través de los modos habituales de encuestación, por un lado, y de un fenómeno de ocultación del voto a una opción que hasta hace relativamente poco tiempo ha presentado problemas de deseabilidad social en nuestro país.

Todas las encuestas están sujetas a error en la medida en que es imposible evitar al 100% los distintos factores que lo provocan. Siguiendo con el ejemplo anterior, una encuesta preelectoral que entreviste en líneas móviles y fijas eliminará buena parte de los sesgos producidos como consecuencia del error de cobertura (excluiría a menos del 1% de la población que no tiene teléfono). Si además hace esfuerzos extra para convencer a las personas menos interesadas en política de que contesten el cuestionario (por ejemplo, ofreciéndoles un incentivo económico o haciendo intentos de conversión de los rechazos), reducirá significativamente la influencia del error de no respuesta. Pero sus resultados seguirán estando afectados por la deseabilidad social, una fuente de error que es mucho más difícil de evitar. Lo que diferencia a las encuestas buenas de las malas es que las primeras se diseñan y se realizan tratando de reducir al máximo el efecto de estos errores en cada una de sus fases. Algo que se traduce en que estas encuestas fallan en menos ocasiones y, cuando lo hacen, en un grado mucho menor que las que no tienen en cuenta estos problemas. Pero eso encarece las encuestas y también puede hacerlas algo más lentas, por lo que las buenas encuestas son menos habituales de lo que deberían.