¿Por qué dos encuestas sobre un mismo tema pueden tener resultados distintos?
Supongamos que un político quiere saber lo que piensa el pueblo sobre él. Entonces, hace una encuesta en donde las personas deben responder a la pregunta: “¿Soy un imbécil?”. La encuesta cuenta únicamente con dos opciones: “Sí” y “No”. Los resultados son desalentadores: el 67% de las personas que respondieron indicaron que “Sí” y el 33 % indicó que “No”.
Pero si las opciones son: “No”, “Más o menos”, “Un imbécil promedio”,“Bastante” y “El más grande de todos los imbéciles”, los resultados no son tan tristes. Un 33% indicó que “No”; el 16% optó por “Más o menos”; otro 11% piensa que es “un imbécil promedio”; 21% afirma que “bastante” y el restante 20% respondió que es el imbécil “más grande de todos”.
¿Cómo se sabe en cuál encuesta creer?
A las encuestas las vemos frecuentemente en medios de comunicación, citadas por instituciones, partidos políticos o empresas. Pero, ¿qué son las encuestas? ¿Por qué en ocasiones dan resultados contradictorios? ¿A qué se debe que a veces aciertan y a veces fallen? ¿Qué reglas hay para realizarlas? ¿Qué tan confiables pueden ser?
La idea de una encuesta es la siguiente: se quiere extraer información sobre un grupo de personas, para esto se pretende que las personas que forman parte de ese grupo contesten una serie de preguntas.
Como para la mayoría de los casos es impráctico realizar esas preguntas a todas las personas del grupo, las preguntas se realizan a un subconjunto de esa población. En estadística, esto se llama muestra.
Todo debe realizarse de manera que se pueda inferir información sobre el grupo de personas que se desea estudiar.Las dos partes claves aquí son las preguntas y la muestra de la población (el subconjunto de la población al cual se le planteará las preguntas).
Factores de sesgo
¿En dónde se puede incurrir en errores o sesgo a la hora de realizar una encuesta?
Hay que tener claro que hay factores de sesgo que no están bajo el control de quienes realizan la encuesta. Por ejemplo, si algunas de las personas de la muestra se niegan o no pueden responder:en las encuestas realizadas por teléfono, un porcentaje importante de las personas encuestadas simplemente cuelgan el teléfono o no contestan.
O bien, si no responden con sinceridad, que puede suceder con temas polémicos o tabú como el racismo, la pornografía o los derechos igualitarios, por citar algunos ejemplos.
Muchos errores surgen a la hora de definir la muestra. También se pueden incurrir en error o sesgo en el planeamiento, aplicación e interpretación de la encuesta.
Representatividad de la muestra
La muestra de la población debe ser escogida de manera que a partir de ella se puedan hacer inferencias estadísticas sobre la población total que se quiere estudiar. Es decir que si se presenta determinada tendencia en la muestra, es muy probable que esa tendencia se presente en la población total.
Por ejemplo, si 60% de la muestra sostiene la opinión A, entonces es muy probable que (un valor cercano al) 60% de la población total sostenga la opinión A. Es decir, la muestra tiene que ser representativa de la población total.
¿Cómo podemos escoger una muestra representativa?
En primer lugar, la muestra debe ser suficientemente grande para que el error estadístico que acarrea sea pequeño. Eso sí, que la muestra tenga un gran tamaño no asegura la representatividad en todos los casos.
Por otro lado la muestra debe ser aleatoria. De ser así, es altamente probable que los subconjuntos poblacionales con características pertinentes están bien representados. El problema es que escoger una muestra aleatoria no es tan fácil como se podría pensar. No es suficiente, por ejemplo, salir a la calle y preguntar a las personas que me encuentre.
Aunque esto parezca aleatorio, sería una muestra sesgada al menos por dos cosas: el barrio en el que salí a preguntar y la hora a la que salí a preguntar. Para que la muestra sea representativa, debe tomarse en cuenta aspectos como la clase social, el género, la edad, el nivel educativo, entre otros.
Los aspectos que se deben considerar para tener una muestra representativa dependen de lo que se desea estudiar. Si la encuesta es sobre política, es importante tomar en cuenta la religión de las personas encuestadas. Sin embargo, sobre refrescos probablemente el factor religioso no sea relevante.
Es importante tener en cuenta que el medio por el cual se realiza una encuesta puede representar un sesgo importante. Si la encuesta se realiza por teléfono fijo, teléfono celular, internet o redes sociales se limita importantemente la población encuestada, en particular en las redes sociales la muestra está fuertemente condicionada por la burbuja social de quien realiza la encuesta. Es por eso que los sondeos realizados por teléfono fijo o por internet pueden estar sesgados.
Digo pueden, porque eso depende de la población total que se desea estudiar, si esa población es “las personas que usan internet en Costa Rica” pues, evidentemente no hay problema en realizar la encuesta por internet, pero habría problemas si la población es “costarricenses mayores de 65 años”.
Aún tomando todas las precauciones, la muestra final puede ser que no sea tan representativa de la población. Hay información de las personas encuestadas que no se sabe hasta el momento de realizar la encuesta, por ejemplo el género o la edad, y puede suceder que las personas de cierta edad o cierto género que respondieron la encuesta estén en un proporción muy distinta a la que ocupan en la población total:por ejemplo,que el 25% de las personas que respondieron la encuesta sean mayores de 65 años, mientras que en la población total de Costa Rica, las personas de más de 65 años son un 10%..
El cuestionario
Otro aspecto muy importante es la confección del cuestionario que se utilizará en la encuesta. Las preguntas fácilmente cargan un sesgo, muchas veces de manera inconsciente, que van a afectar los resultados. Esto depende mucho de lo que se quiera determinar. Lo ideal es que el cuestionario sea elaborado por un equipo que incluya personas que trabajen en estadística, personas de las ciencias humanas y personas del tema específico sobre el cual se realiza la encuesta.
Si no se tiene cuidado en la elaboración de preguntas, puede ocurrir que el lenguaje que se utiliza sea muy técnico y no sea comprendido por gran parte de la muestra. Puede ocurrir, por ejemplo, que hayan términos con significados distintos para distintos sectores de la población.
Si se hace la pregunta: «¿Está a favor de los derechos igualitarios?», es posible que un sector piense que la pregunta se refiere a derechos de las mujeres. Otro sector, sin embargo, podría interpretarlo como una pregunta relacionada con los derechos de la comunidad LGTBI+, y otra parte de la población pensaría que es una referencia a la «igualdad entre los seres humanos».
En particular hay que tener cuidado con las preguntas redundantes, ya que estas pueden diluir al porcentaje de la muestra que tiene una opinión que coincide con alguna de las opciones redundantes, justo como en el ejemplo del político imbécil al principio de este artículo.
Después de aplicar la encuesta
También hay factores de sesgo y error a la hora de procesar los resultados de la encuesta. Como mencionamos antes, es muy posible que, aunque se haya planeado con cuidado la elección de la muestra, al final las personas que respondieron no constituyen una muestra completamente representativa.
¿Qué se puede hacer en este caso? Descartar todo el trabajo hecho hasta el momento no es una opción. Una posibilidad es asignar pesos a las poblaciones encuestadas de manera que reflejen de mejor manera los porcentajes reales en la población total. Por ejemplo en el caso que mencionamos anteriormente sobre las personas mayores de 65 años, se hacen modificaciones para que ese 25% se convierta en 10%.
Esta asignación de pesos se puede realizar de maneras distintas. Una vez hechos estos ajustes se contabilizan las respuestas y se obtienen los resultados de la encuesta. Estos resultados van a depender que qué método se utilizó para asignar pesos. Es decir, con los mismos datos en bruto se pueden obtener distintos resultados.
Interpretación de los resultados
En esta delicada fase se pueden cometer errores que tienen consecuencias importantes y impredecibles. Quienes interpretan encuestas, sobre todo la prensa, tienden a hacer aseveraciones y reducciones a la ligera.
Para entender sólo algunas de las posibilidades veremos un muy sencillo ejemplo. Supongamos que una empresa que fabrica chocolates quiere saber las preferencias de la población entre chocolates y galletas con el objetivo de definir su campaña publicitaria. La encuesta que aplicaron tiene las siguientes opciones:
“Usted prefiere los chocolates”, “Usted prefiere las galletas”, “Usted no puede decidir si le gustan más los chocolates o las galletas” y “a usted no le gustan ni los chocolates ni las galletas”.
Los resultados fueron:
45% prefiere chocolates
30% prefiere galletas
15% no pueden decidir
10% no les gustan ni los chocolates ni las galletas
¿Qué no hacer?
Cortar ejes:
Esto da una impresión falsa de las relaciones reales entre las preferencias de la población, y en general representa un error grave pero frecuente en la interpretación de datos estadísticos.
Sólo considerar la diferencia total entre un subconjunto de las opciones:
Si nos centramos en que hay un 15% de ventaja de chocolates sobre galletas, ignoramos el 15% de personas que son susceptibles de consumir chocolates.
Ignorar las opciones con porcentajes menores:
60% chocolates
40% galletas
La diferencia entre las dos opciones mayoritarias es relativa, no absoluta. Esto lleva a los errores del caso anterior pero con aún mayor sesgo al asumir que toda la población quiere chocolates o quiere galletas.
En los tres casos anteriores se sobredimensiona tanto el porcentaje que prefiere chocolates como la diferencia entre gente que prefiere chocolates sobre la que prefiere galletas.
No tomar en cuenta resultados anteriores:
Esto puede llevar a ignorar las tendencias de la población, por ejemplo la preferencia por las galletas podría estar en ascenso, pero esto sólo se puede saber si hay, y se toman en consideración, encuestas anteriores.
Hay muchas formas engañosas en las que se puede presentar e interpretar los resultados de una encuestas. Queda en nosotrxs poner atención y revisar con cuidado las encuestas que observamos antes de creer y compartir.
