guÍa: validez de contenido en un cuestionario de opiniÓn (escala de actitud)

GUÍA: VALIDEZ DE CONTENIDO EN UN CUESTIONARIO DE

OPINIÓN (ESCALA DE ACTITUD)

Autor: Enrique Navarro Asencio

(@eduktive)

https://eduktive.wordpress.com/

Versión 2

26/01/2015

Enrique Navarro Asencio (@eduktive)

1. INTRODUCCIÓN

La elaboración de un cuestionario para conocer la opinión sobre aspectos relacionados o no con el sistema educativo no es un proceso sencillo. Se trata, por tanto, de elaborar instrumentos para medir o evaluar las actitudes respecto a algún tema concreto. Estos cuestionarios también son conocidos como escalas de actitudes.

Esta guía tiene por objetivo familiarizar a los lectores con los aspectos básicos y esenciales que deben considerarse en el momento de construcción de este tipo de cuestionarios. El proceso de construcción y validación es prácticamente una investigación completa y muchas tesis se dedican únicamente a llevar a cabo esa validación. Por este motivo, la guía se ha adaptado a las características de los TFM y, por tanto, se obviarán algunos pasos que, normalmente, si deberían llevarse a cabo, sobre todo, si los instrumentos van a publicarse y a emplearse para tomar decisiones sobre los sujetos.

El cuestionario de opinión debe ser un instrumento que sirva para recoger información válida y fiable. Es una herramienta para conocer o, más bien, medir el grado de acuerdo sobre un tema determinado. Si no se cumplen ciertos requisitos metodológicos en su elaboración, dicha información puede estar sesgada y, por tanto, los resultados de la investigación que utiliza esa herramienta también lo estarán.

De forma resumida, los requisitos indispensables para conseguir una buena herramienta de medida son los siguientes:

A. Elaboración de una matriz de especificaciones. No es más que una matriz de contenido que agrupan los aspectos que se desean conocer mediante el cuestionario. Normalmente, se elabora una tabla que agrupa dimensiones e indicadores concretos que darán lugar a los diferentes ítems del cuestionario.

B. Validación inicial de expertos. Una vez elaborado el borrador del cuestionario debe entregarse a un grupo de expertos para que lo valorenlos aspectos clave.

C. Aplicación y recogida de información: momento de aplicación del cuestionario

D. Validez y fiabilidad: análisis de las respuestas de los sujetos con la finalidad de observar y conocer las características del instrumento elaborado y evitar sesgos.

A estas fases se debería añadir, después de la validación inicial de expertos, un pilotaje del instrumento con una muestra de sujetos que compartan las características de los que serán objeto de la investigación. Este es uno de los aspectos que no se incluyen en esta guía debido a que las oportunidades para acceder a dos muestras distintas en los TFM son muy pocas.

2. EL CUESTIONARIO

El cuestionario, como ya se ha mencionado en la introducción, es la herramienta que nos permite recopilar la información sobre determinados aspectos. En este caso, los cuestionarios de actitudes tratan de averiguar la posición u opinión de los sujetos respecto a cualquier aspecto o temática.

El cuestionario consta fundamentalmente de tres partes esenciales:


A. Las instrucciones necesarias para responder a las cuestiones o ítems que se plantean.

B. Cuestiones relacionadas con las características de los sujetos. Son útiles para recopilar información personal de los encuestados que permitirá llevar a cabo agrupaciones y, en caso de ser necesario, comparaciones entre esos grupos. Por ejemplo: edad, género, nivel de estudios, etc.

C. Ítems. Cada una de las cuestiones, enunciados, afirmaciones, etc. que los sujetos deben contestar o valorar en el cuestionario. El conjunto de estos ítems componen una escala de medida o evaluación. Existen diferentes tipos de ítems pero esta guía se centra en uno concreto, los denominados tipo Likert. Un ejemplo de este tipo de ítem es señalar el grado de acuerdo con alguna afirmación:

Ítem Nunca (1)

2 3 4 5 Siempre (6)

Realizo resúmenes de cada tema para preparar el examen de la asignatura

El ítem esta compuesto, por tanto, por el enunciado o tronco y las alternativas que en este tipo de ítems es una escala para valorar el grado de acuerdo con la afirmación.

2.1 ÍTEMS TIPO LIKERT

Emplear este tipo de ítems en los cuestionarios de actitudes garantiza una puntuación global en la dimensión evaluada al sumar las respuestas de un sujeto en todos los ítems. Por esta característica, las escalas construidas con este tipo de ítems también son conocidas como escalas sumativas.

En el ejemplo anterior, la escala de valoración planteada varía entre nunca y siempre con un intervalo de 6 puntos. Pueden llevarse a cabo modificaciones como, por ejemplo, ampliar o reducir el intervalo de puntos de esa escala de valoración. Otro posible cambio es modificar las alternativas, es decir, cambiar nunca y siempre por otras opciones distintas, por ejemplo: Totalmente en descuerdo y Totalmente de acuerdo.

Algunas de las opciones más típicas de respuesta son las siguientes:

2 opciones

De acuerdo

En desacuerdo

3 opciones

De acuerdo

Indiferente En desacuerdo

4 opciones

De acuerdo

Más bien de acuerdo

Más bien en desacuerdo

En desacuerdo

5 opciones

Muy de acuerdo


Indiferente Más bien en desacuerdo

Muy en desacuerdo

6 opciones

Muy de acuerdo

De acuerdo


Más bien en desacuerdo

En desacuerdo

Muy en desacuerdo

Algunas normas para redactar los ítems que formarán pare de la prueba son las siguientes:


- Formula en forma de opinión

- Contenido relevante y relacionado con el tema o aspecto a medir

- Claridad en la redacción. Debe garantizarse que todos los sujetos lo entiendan de la misma forma

- Precaución con las negaciones en los troncos. Dependiendo de la edad de los encuestados las negaciones pueden confundir las respuestas. Es más adecuado formular los enunciados en forma positiva. En todo caso debe evitarse la doble negación

Ítem En desacuerdo (1)

2 3 4 5 De acuerdo (6)

No me gusta estudiar No me gustan los libros que no tienen dibujos

- Cada ítem debe contener una única idea, ya que al incluir más se puede estar de acuerdo con una pero no con otra.

- Conviene incluir algún ítem que repita la misma idea que otro para poder contrastar la información.

- Conviene incluir ítems favorables y desfavorables pero evitando la negación siempre que sea posible.

Ítem En desacuerdo (1) 2 3 4 5 De acuerdo (6) Estudiar es divertido Estudiar es aburrido

A. MATRIZ DE ESPECIFICACIONES

Esta matriz debe incluir todos los aspectos que van a medirse o evaluarse en la investigación. El primer paso, por tanto, es definir la actitud o actitudes (o un rasgo psicológico, la opinión sobre un tema, etc.) generales objeto de la investigación.

Una definición concreta ayudará en la posterior elaboración de los ítems que formarán parte del cuestionario.

El ejemplo que se incluye a continuación trata de evaluar los aspectos relacionados con los servicios educativos que influyen en el bienestar de la infancia.

DIMENSIONES INDICADORES ÍTEMS

Acceso a servicios educativos

Escolarización. Ser escolarizado antes de los 3 años.

Abandonar la escuela de forma temprana. Actividades extraescolares.

Realizar actividades extraescolares.

Centros sociales y culturales.

Realizar actividades en centros culturales.

Recursos educativos e infraestructuras.

Contar con instalaciones deportivas y recreativas en el centro (piscina, gimnasio, pistas deportivas, etc.). Contar con instalaciones educativas específicas en el centro (laboratorios, sala de música, sala de informática, etc.) Contar con instalaciones deportivas y recreativas


cercanas al domicilio.

Se trata de concretar progresivamente el rasgo o dimensión a medir hasta llegar a la formulación final del ítem.

Una vez realizada la matriz de especificaciones se elabora un documento con los ítems que han sido construidos para que sea evaluado por un grupo de expertos.

B. VALIDACIÓN DE EXPERTOS

Los expertos adecuados para evaluar los distintos ítems deben dominar los contenidos que el cuestionario pretende medir.

El documento que se entrega a los expertos debe incluir los siguientes apartados, además de unas instrucciones para poder responder a las cuestiones planteadas.

A continuación se incluye un ejemplo que trata de conocer la opinión de los expertos respecto a la claridad y redacción del ítem, si es adecuado para medir la dimensión planteada y sí es relevante para el objetivo. También se añada una columna para que los expertos añadan los comentarios que deseen para mejorar el ítem.

DIMENSIONES ÍTEMS CLARIDAD

IDONEIDAD RESPECTO A LA DIMENSÓN

RELEVANCIA EN RELACIÓN AL OBJETIVO

COMENTARIOS

Acceso a servicios educativos

Ser escolarizado antes de los 3 años.

1 2 3 4 1 2 3 4 1 2 3 4

Abandonar la escuela de forma temprana.

1 2 3 4 1 2 3 4 1 2 3 4

Realizar actividades extraescolares.

1 2 3 4 1 2 3 4 1 2 3 4

Realizar actividades en centros culturales.

1 2 3 4 1 2 3 4 1 2 3 4

Contar con instalaciones deportivas y recreativas en el centro (piscina, gimnsaio, pistas deportivas, etc.).

1 2 3 4 1 2 3 4 1 2 3 4

Contar con instalaciones educativas específicas en el centro (laboratorios, sala de música, sala de informática, etc.)

1 2 3 4 1 2 3 4 1 2 3 4

Contar con instalaciones deportivas y recreativas cercanas al

1 2 3 4 1 2 3 4 1 2 3 4


domicilio.

La información que proporcionan los expertos debe utilizarse para mejorar el cuestionario elaborado inicialmente. También es posible incluir la introducción y las cuestiones relacionadas con las características de los sujetos para también valoren su adecuación y pertinencia.

C. APLICACIÓN Y RECOGIDA DE INFORMACIÓN

En esta fase se aplica el cuestionario definitivo a la muestra seleccionada para la investigación. Una validación completa del cuestionario implica llevar a cabo, previamente a la aplicación final, un estudio piloto con otra muestra similar a la que será objeto de estudio como se ha mencionado en la introducción.

En los TFM es muy difícil acceder a muestras amplias ya que no son investigaciones que cuenten con el respaldo de organismos oficiales que faciliten o garanticen ese acceso a un gran número de sujetos. Por tanto, la fase de pilotaje se obviará en esta guía.

D. FIABILIDAD Y VALIDEZ

Una vez recogida la información se estiman indicadores o índices que muestren la fiabilidad y validez del cuestionario. Estos indicadores son normalmente estadísticos que se calculan con los datos recogidos. Se incluyen en esta guía los indicadores fundamentales de fiabilidad y validez.

La fiabilidad de un cuestionario es un concepto relacionado con la estabilidad de la medida proporcionada por la prueba, con su consistencia y con la predictibilidad de la misma.

- Cuando a las mismas personas se les pasa la misma prueba en diferentes momentos, si no han cambiado, deberían obtener las mismas puntuaciones (o muy parecidas): Fiabilidad como estabilidad temporal (correlación test-retest)

- Cuando se aplican dos pruebas diferentes que miden el mismo rasgo o característica los sujetos deberían obtener puntuaciones similares en ambas pruebas: Fiabilidad como equivalencia procedimiento de formas paralelas (correlación)

- De un instrumento que evalúe, por ejemplo, la satisfacción con un docente se espera que todos los elementos (ítems) midan lo mismo o en el mismo sentido, y que, por tanto, sean sumables en una puntuación total única que representa ese rasgo: Fiabilidad como consistencia interna (alpha de Cronbach)

Normalmente se estima el coeficiente alpha de Cronbach para conocer ese grado de fiabilidad general del instrumento elaborado. No existe un criterio único para valorar los resultados pero sí cierto acuerdo en que este coeficiente debe situarse en torno a 0,60 en instrumentos utilizados en investigación básica como los TFM. Si el cuestionario se utiliza para la posterior toma de decisiones sobre sujetos (orientación o diagnóstico) los valores no deben ser inferiores a 0,8. Los autores Morales, Urosa y Blanco (2003, p. 92) elaboran una tabla de interpretación de este coeficiente:


Toma de decisiones sobre sujetos concretos

Descripción de grupos feedback a un grupo

Investigación teórica; investigación en general

0,85 o mayor Sí Sí Sí Entre 0,60 y 0,85 Cuestionable Sí Sí Inferior a 0,60 No Cuestionable cuestionable

La validez es un concepto general que indica el grado en el cual el instrumento de medida (cuestionario) evalúa el contenido que pretende y no otra cosa.

- De Contenido: comprobar si los ítems de la prueba representan el universo de medida que pretende medir el cuestionario (tabla de especificaciones, juicio de expertos, …)

- De Constructo: comprobar que mide el constructo teórico (rasgo) que pretende medir. Probar con hipótesis: diferencias entre grupos en el rasgo, análisis factorial, etc.

- Validez aparente o didáctica: cuestiones de formato, longitud, instrucciones, etc.

La validez de constructo será difícil de comprobar en los TFM porque su estudio podría ser objeto de una investigación con entidad propia. A no ser que el objetivo del TFM sea validar un instrumento o cuestionario. Los requisitos respecto al tamaño muestral para llevar a cabo un análisis factorial son muy estrictos y se necesita un gran número de sujetos. Sin embargo, la validez de contenido y didáctica si pueden garantizarse cuando se siguen los pasos de elaboración de instrumentos que se incluyen en esta guía.

A modo de conclusión conviene mencionar que el proceso descrito puede alcanzar un mayor grado de complejidad, sobre todo, en las cuestiones de fiabilidad y validez. Existen en la actualidad técnicas más potentes basadas en la Teoría Respuesta al ítem adecuadas para evaluar este tipo de cuestionarios.

No obstante puede conseguirse un buen instrumento siguiendo los pasos que se han mencionado en la guía: Definir el rasgo o contenido a evaluar, elaborar la matriz de especificaciones, juicio inicial de expertos y comprobación de la fiabilidad y validez.


TRABAJOS CITADOS

Morales, P., Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitudes tipo Likert. Madrid: La Muralla.

guÍa: validez de contenido en un cuestionario de opiniÓn (escala de actitud)

Education