Encuestas: el problema está en los teléfonos

Uno de los principales perdedores en la elección del 10 de julio pasado en la Capital Federal fue el sistema de pronósticos del resultado electoral basado en las encuestas. Ninguna de las empresas que los emprendieron acertó en los números que sacaron los candidatos ni en la distancia que le sacó Mauricio Macri a Daniel Filmus, protagonistas del balotaje del próximo 31. Este desmoronamiento de la encuesta como base de pronósticos y también como herramienta de publicidad de campaña ha conmovido a todos los dirigentes y a los partidos, oficialistas y opositores, porque desacredita una de las herramientas proselitistas predilectas. Los políticos toman decisiones de candidaturas basándose en esos sondeos y después salen a buscar el voto agitando los números de esas muestras. El sociólogo Manuel Mora y Araujo ensayó una autocrítica en la revista Debate, de la cual reproducimos un fragmento:

Cuando un pronóstico electoral basado en una encuesta fracasa, indudablemente hay un problema. La encuesta es denostada como inservible, o mentirosa. Esas alegaciones pueden ser muy injustas. El problema involucra varios equívocos; confieso que, a mi modo de ver, los profesionales de estas cosas tenemos parte de la culpa, no por errar ocasionalmente algún pronóstico sino por no aclarar debidamente, siempre, cuáles son los límites del método que usamos -claro, si los límites son demasiado estrechos, el producto pierde interés y puede salirse del mercado-. Cuando una encuesta fracasa en anticipar lo que ocurrirá, generalmente, los profesionales damos explicaciones con posterioridad, remitiendo a esos límites; creo que deberíamos darlas por anticipado, aunque eso desvalorice un poco nuestro producto.

El problema ciertamente se potencia cuando fallan muchas encuestas al mismo tiempo. Eso sucedió en México hace algún tiempo y en Colombia, en la reciente elección presidencial. Ocurrió muchas otras veces. En España, después del atentado de Atocha; en Inglaterra, en la reciente elección nacional; también en Inglaterra hace varios años, a veces -al menos parcialmente- en Estados Unidos. Los casos de México y el muy reciente de Colombia han tenido una enorme repercusión. Una falla de uno puede atribuirse a mala práctica, descuido o simplemente error; una falla de muchos es más difícil de catalogar. ¿Es el método el que fracasa?

Cada uno pensará lo que quiera al respecto. Los usuarios de encuestas no han dejado de servirse de ellas: se ve que su valor agregado sigue siendo mayor que el de los oráculos, los adivinos, los intuitivos y los practitioners de la política. Muchos periodistas encuentran una veta interesante en alimentar la duda. Pueden hacerlo, es su metier, no influyen mayormente en nada, porque sus públicos masivos influyen poco en todo esto. Lo más relevante es lo que podemos decir los profesionales (...).

Los factores que pueden explicar el fracaso de las encuestas en Colombia y en México

- y en Inglaterra, que fue un caso similar- son diversos. Ésta es mi lista:

Los votantes cambian de decisión, a veces más rápidamente que otras. Hay «volatilidad» de la intención de voto. Esto es obvio, si así no fuera no tendría sentido plantearse campañas electorales (...).

En resumen, parece que los votantes están ahora tomándose más tiempo para decidir su voto y se permiten más idas y vueltas, porque están menos atados a lealtades firmes y sienten que nada los obliga a decidir de una vez con mucha anticipación (...). 

La dificultad, o la prohibición, de medir durante los últimos días. En Colombia, este tema fue notoriamente decisivo. Es posible alegar que las encuestas pueden hacerse aun cuando no serán difundidas ni publicadas. También es posible alegar que la diferencia entre un resultado pronosticado y el resultado real no es esperable que varíe tanto en una semana. Todo esto de los plazos y las fechas en que se mide es un tema, sin duda, y -de nuevo- debería ser comunicado más fehacientemente (...). 

Último, pero no menos importante: el método de recolección de datos. Pienso que hay un problema con el método telefónico y el problema se torna cada vez más agudo por la conjunción de dos factores: la cobertura telefónica (en muchos países mucha gente no tiene teléfono) y los cambios en la cultura de uso del teléfono (pasaje al celular, proliferación del número de teléfonos por usuario, hábitos en el uso del teléfono y en las formas de responder las llamadas). Quienes no tienen teléfono son distintos a quienes tienen teléfono, aun cuando se parezcan en muchos atributos; quienes no tienen teléfono de línea y ahora tienen celular son distintos a quienes no tienen ni tenían teléfono; quienes tienen más de un teléfono son distintos a quienes siguen teniendo uno solo. No estoy convencido de que estemos tomando debidamente en cuenta estos aspectos.

La conjunción de estos tres frentes de tormenta puede producir lo que vimos. También se han visto en este mundo otras cosas tanto o más sorprendentes: elecciones en las que algunas encuestas «fracasan» en los pronósticos mientras otra es «exitosa», y cuando las encuestas son auditadas metodológicamente se constata que la que «acertó» es de menor calidad técnica o de menor rigurosidad en los controles de campo y demás. En la Argentina ocurrió eso.

Me parece que la conclusión es compleja, pero importante para el futuro del método de la encuesta. Primero, la realidad es dinámica, está menos estructurada de lo que las teorías y presunciones sociológicas más conocidas tendían a suponer. Esta herramienta llamada encuesta debe servirnos para comprender ese dinamismo en todas sus manifestaciones.

Segundo, el pronóstico es un accesorio que no venía en el producto de fábrica llamado encuesta por muestreo, debemos alertar mejor a los usuarios acerca de los límites del accesorio.

Tercero, estos acontecimientos, por desagradables que resulten, son oportunidades para profundizar en los límites del método y en sus potencialidades -que, creo, todavía no fueron explotadas enteramente- y para llevarnos a tratar de entender mejor la realidad que estudiamos y sus cambios. Son oportunidades para el crecimiento teórico y metodológico.

Cuarto, cuando los profesionales expertos en encuestas -y los primos hermanos consultores políticos y asesores en comunicación, que a veces somos los mismos- nos lanzamos con entusiasmo a la pista del baile mediático, sepamos, no olvidemos, que el baile es duro y todos nos están mirando. El alto perfil mediático tiene sus costos.