Muchos estudios se realizan para decidir si se implementa o descarta una iniciativa. Si se obtienen resultados en línea o por encima de ciertas normas o benchmarks, se implementa. De lo contrario, la iniciativa se re-diseña o descarta.
Esto implica que los benchmarks se deben revisar con sumo cuidado, como lo evidencia el siguiente caso.
Candidatos de fuerza para un Effie
Nos ofrecieron un estudio para evaluar comerciales de TV, que contaba con benchmarks para diversos indicadores (agrado, intención de compra, etc). Los benchmarks se habían generado luego de evaluar una cantidad importante de comerciales en nuestro país.
Al revisar los benchmarks, nos llamó la atención que los Top Two Box* fueran sumamente elevados. Un Top Two Box elevado implica una evaluación positiva.
¿Acaso los comerciales evaluados eran dignos de un premio Effie o había algún problema con el estudio?
Al revisar el cuestionario, detectamos que utilizaba una escala de 3 puntos: “Totalmente de acuerdo”, “Algo de acuerdo”, “Nada de acuerdo”. Bastaba que un entrevistado seleccionara “Algo de acuerdo” para que su respuesta sumara al Top Two Box y por lo tanto su reacción hacia el comercial fuera considerara como positiva.
Evidentemente había un problema con la escala. “Algo de acuerdo” no implica una reacción positiva; más bien refleja indiferencia por parte del entrevistado.
Finamente, decidimos aplicar el estudio, pero con una escala de 5 puntos que discriminaba mucho mejor las respuestas. Ya no era posible compararnos con los benchmarks locales, pero la información obtenida reflejaba mucho mejor el impacto potencial de nuestras ejecuciones.
¿Qué podemos aprender de este caso?
Si se va a tomar una decisión en base a benchmarks es indispensable asegurarse que sean sólidos. Esto implica revisar de manera detallada el cuestionario del estudio para asegurarse que no se estén generando distorsiones debido a preguntas o escalas mal formuladas. Errores aparentemente menores pueden tener impacto significativo en la calidad de la data y en nuestras decisiones.
¿Qué buenas prácticas recomiendas para asegurarse que los estudios de mercado generen información confiable?
(*)Suma de los participantes que están de acuerdo con uno de los dos niveles más altos de la escala.
COMENTARIOS
Esta es la pavorosa improvisación y precariedad con que investigaciones chichas llevan a resultados chicha.
DEJE SU COMENTARIO
La finalidad de este servicio es sumar valor a las noticias y establecer un contacto más fluido con nuestros lectores. Los comentarios deben acotarse al tema de discusión. Se apreciará la brevedad y claridad.