diseño de cuestionarios. proceso estructurado de recogida de información

Diseño de cuestionarios

Proceso estructurado de recogida de información

Conseguir la máxima fiabilidad

La multiplicidad de escalas dificulta la comparación de resultados entre estudios

Encuestas:– Autocumplimentadas– Administradas por un encuestador:

• Cara a cara• Telefónicas

Autocumplimentadas-ventajas

• Bajo coste

• Gran número de personas

• No sesgo del entrevistador

• Contestación más cómoda

• Mayor estandarización

Autocumplimentadas-inconvenientes

• Mínimo grado de escolarización

• Preguntas han de ser simples y cerradas

• Incapacidad para clarificar

• Alto porcentaje de no respuestas

• No permiten observar respuestas emocionales

• No seguridad sobre quién responde

Encuestador-ventajas

• Alto porcentaje de respuestas

• Mayor control sobre la secuencia de preguntas

• Clarificar preguntas y respuestas

• Preguntas pueden ser más complejas

• Número de preguntas puede ser elevado

Encuestador-inconvenientes

• Alto coste

• Más tiempo

• Posibilidad de introducir sesgos

Telefónicas-peculiaridades

• Coste intermedio• Porcentaje de respuesta más alto que con el

correo• Ha de ser breve y sencilla• Evitar preguntas íntimas• Requiere presentación, fines del estudio, la

institución y como ha sido seleccionado• ¿Si muchos de los seleccionados no tienen

teléfono?

Tipos de preguntas

• Cerradas

• Abiertas

Cerradas-ventajas

• Obligan a reflexionar sobre detalles

• Uniformidad de respuesta

• Facilidad de codificación

Cerradas-desventajas

• No útiles para informaciones complejas

• Inducción de las respuestas

• Pueden no recoger datos importantes

Abiertas-ventajas

• Útiles para informaciones complejas

• Permiten observaciones o comentarios

• No se inducen respuestas

Abiertas-desventajas

• Mayor tiempo y esfuerzo

• Dificultad para codificar

• No útiles sobre hechos y actitudes mal vistas socialmente

Selección de los ítems

Cantidad mínima de datos necesarios para alcanzar el objetivo del estudio:– 60-90 minutos máximo– 40-50 por teléfono

Selección de los ítems

• Validez lógica

• Primera versión:– Se administra a un grupo de sujetos con el fin

de observar la frecuencia de respuesta de las distintas opciones

Selección de los ítems

Capacidad de discriminación

Homogeneidad de los ítems: cada ítem relacionado con los demás y a la vez con la puntuación total

Inclusión de los ítems

• Prueba piloto

• Eliminar o reformar

• Descartar los que se responden del mismo modo

• Evaluar la consistencia interna

de los ítems a las preguntas: redacción

Evitar preguntas ambiguas

A un diabético:

¿Qué tratamiento sigue usted?

de los ítems a las preguntas: redacción

No usar términos vagos o ambiguos: a menudo, en ocasiones,….

¿consulta a menudo a su médico por dolor de cabeza?

de los ítems a las preguntas: redacción

No formular las preguntas de forma negativa

¿no piensa usted que fumar perjudica su salud?

de los ítems a las preguntas: redacción

No formular dos preguntas en una

¿ha tenido alguna vez dolor en el pecho cuando sube escaleras o una cuesta?

¿es usted fumador/a de cigarrillos, puros o pipa?

de los ítems a las preguntas: redacción

Un concepto una pregunta

Utilizar lenguaje sencillo: jerga, abreviaturas, siglas,….

¿a qué edad tuvo la menarquía?

de los ítems a las preguntas: redacción

No sobrevalorar la memoria de los encuestados: utilizar listas (menú de opciones)

¿Cuántas veces ha consultado a su médico el último año?

de los ítems a las preguntas: redacción

Utilizar preguntas cerradas para las cuestiones personales

¿ha padecido alguna enfermedad venérea en los últimos dos años?

¿cuál?

de los ítems a las preguntas: redacción

Las preguntas han de ser neutras

desde el punto de vista sanitario es indudable que se debería prohibir fumar en los restaurantes

de los ítems a las preguntas: redacción

Evitar un número de opciones muy elevado en las preguntas cerradas

Siempre menor de 10

de los ítems a las preguntas: redacción

Considerar todas las posibles alternativas

señale en dónde tuvo lugar la última consulta que hizo usted al médico:

centro de saludconsulta externa hospitalservicio de urgencias APservicio de urgencias hospitalconsulta privada

de los ítems a las preguntas: redacción

Las alternativas han de ser mutuamente excluyentes

¿Cuántas mamografías le han hecho en los últimos tres años?

ninguna 1 o 2

2 o 3 más de 3

de los ítems a las preguntas: redacción

Ordenar lógicamente las alternativas

para comer el paciente:

no necesita ayuda

requiere cierta ayuda

requiere mucha ayuda

de los ítems a las preguntas: redacción

Para comer el paciente:

no necesita ayuda (lo hace sólo)

requiere cierta ayuda (necesita apoyo)

requiere mucha ayuda (hay que darle la comida)

Tarea

Aplicar lo visto hasta ahora para “enjuiciar” (prueba de jueces) este cuestionario:

- Autoadministrado o no

- Número de opciones

- Incluir alguna pregunta abierta

- Construcción de las preguntas

Códigos, puntuaciones y escalas

Transforman las respuestas en variables que pueden ser tabuladas y analizadas estadísticamente

Códigos, puntuaciones y escalas

¿Cuál sería la indicación para utilizar respuestas dicotómicas?

¿Cuál serán las limitaciones de su utilización?

Códigos, puntuaciones y escalas

Indicación: cuestionarios muy largos.

Limitaciones

pérdida de información

no se puede matizar la respuesta (menos contestación)

Códigos, puntuaciones y escalas

Posibilidad de que los participantes cuantifiquen sus respuestas

Gradación

Totalmente 1 2 3 4 5 6 7 Totalmente

adecuado inadecuado

Códigos, puntuaciones y escalas

¿Cuál es el número de puntos adecuado en una escala?

Escala de Likert

Grado de acuerdo o desacuerdo:

1 Total acuerdo

2 Acuerdo

3 No estoy seguro

4 Desacuerdo

5 Total desacuerdo

Escala de Likert

El número de frases que contengan actitudes positivas o negativas ha de ser similar

Suma aritmética: clasifica a los participantes (¿Problemas?)

Escala de Guttman

Frases de intensidad creciente y referidas a un solo tema o concepto

No superior a 4 o 5

Escala de Guttman

1. El tabaco puede causar enfermedad

2. El tabaco es una causa importante de enfermedad

3. El tabaco es una causa muy importante de enfermedad y muerte

4. El tabaco es la causa mas importante de enfermedad y muerte en España

Escala de Guttman

Índice de Katz

Escala de Guttman

No discriminan demasiado

Limita su uso generalizado

Escalas comparativas de Thurstone

Orden de las preguntas

• Las primeras preguntas han de despertar el interés

• Cuestiones como el estado civil, el trabajo, la dirección o el teléfono, deben dejarse para el final

Orden de las preguntas

• No empezar con preguntas personales o que puedan herir la sensibilidad

• ¿Cómo ha de ser la primera pregunta?

Orden de las preguntas

• Evitar que sea abierta o cerrada con muchas alternativas

• Neutral

Orden de las preguntas

• Primero las preguntas abiertas

• De lo general a lo específico

Orden de las preguntas

¿Puede influir en las respuestas?

Orden de las preguntas

Sucesos cronológicos:

comenzar por los últimos y retroceder hasta el primero

Formato del cuestionario

UN BUEN FORMATO EVITA ERRORES

Formato del cuestionario

Utilizar distintos formatos de letra para cada parte de la pregunta:

MAYÚSCULAS para la pregunta

negrita para las opciones de respuesta

cursiva para las instrucciones

Formato del cuestionario

Incluir junto a cada pregunta sus instrucciones específicas

Formato del cuestionario

Usar un formato vertical para las respuestas

Precodificar todas las respuestas cerradas

Asociar siempre el mismo código para una misma opción de respuesta

Formato del cuestionario

• Registrar poniendo un círculo o una cruz (siempre con lo mismo)

• Proporcionar espacio suficiente para las abiertas

• El diseño ha de facilitar la entrada de datos

Validación de cuestionarios

Características:– Sencillo– Viable y aceptado– Fiables– Válidos– Adaptados culturalmente– Útiles– Sensibles a los cambios

Validación de cuestionarios

“No existe un criterio concreto ni único a partir del cual pueda considerarse un cuestionario como válido”

Validación de cuestionarios

Viabilidad

Validación de cuestionarios

Fiabilidad– Repetibilidad– Fiabilidad interobservador– Consistencia interna

Validación de cuestionarios

Sensibilidad:

– Sensibilidad al cambio

Validación de cuestionarios

Validez– Validez lógica– Validez de contenido– Validez de criterio– Validez de constructo o de concepto

Viabilidad

• Tiempo empleado

• Sencillez

• Amenidad del formato

• Brevedad y claridad de las preguntas

• Facilidad en la codificación

• Interpretación de los resultados

Fiabilidad

Resultados consistentes:

Repetibilidad

Fiabilidad interobservador

Consistencia Interna

Repetibilidad

• Fiabilidad test-retest

• Elección de la muestra-población

• Nottingham Health Profile (artrosis n = 73)

Fiabilidad Interobservador

Concordancia:

– Escala cualitativa: kappa

– Escala cuantitativa: CCI (Bland-Altman)

Consistencia Interna

• Homogeneidad entre los ítems que miden un mismo atributo

• Subescalas

• Alfa de Cronbach

• Valor entre 0 y 1

Estadística de los diseños utilizados para estimar la fiabilidad

• Muestra: 801 estudios

• Alfa de Cronbach 533 (66.5 %)

• Test-retest 152 (19.0 %)

Fuentes de error

• Cambios a través del tiempo de la característica estudiada

• Cambios debidos a las condiciones de administración del cuestionario

• Variaciones debidas al propio cuestionario

• Cambios atribuidos a los encuestadores

• Errores en el manejo de los datos

Sensibilidad

• Sensibilidad al cambio

• Sobre todo cuando el instrumento se utiliza como variable respuesta

Validez

Capacidad para medir aquello para lo que

ha sido diseñado

Validez lógica

• Grado en que parece que un cuestionario mide lo que quiere medir

• Depende del tema que se este valorando con el cuestionario

Validez de contenido

• Contempla todos los aspectos relacionados con el concepto en estudio

• ECOE

• Se suele evaluar con la opinión de expertos

• Análisis factorial

Validez de criterio

• Existencia de un método de medición de referencia

• Consumo de tabaco

• Es la más importante

Validez de criterio

• Validez concurrente

• Validez predictiva

Validez de criterio

Escala de medida cualitativa:– Sensibilidad– Especificidad

Validez de criterio

Si la escala es cuantitativa:

Coeficiente de correlación intraclase

Validez de criterio

¿Cuándo está justificado el desarrollo de una nueva medida?

Validez de criterio

Criterio de referencia:

– Es muy caro– Requiere mucho tiempo de administración– Presenta muchos efectos secundarios

Guyatt

• EPOC

• Calidad de vida:– Disnea– Fatiga– Estado emocional– Sensación de control

Guyatt

• Repetibilidad: 100 pacientes

• Sensibilidad: – 13 pacientes antes y después de adecuar el

tratamiento– Y en 28 antes y después de entrar en un

programa de rehabilitación respiratoria

Guyatt

Validez de criterio:

– Compararon cambios en la puntuación del cuestionario con cambios espirométricos y con otros cuestionarios destinados a medir disnea y calidad de vida en general

Validez de constructo

• No es posible la validez de criterio

• Método de los grupos extremos

Validez de constructo

• ¿Es sencillo saber cuales son los grupos extremos?

• ¿En la realidad sólo hay grupos extremos?

Validez de constructo

Cuestionario de función familiar: validez de constructo sobre la hipótesis de que los casados tienen una mejor función familiar que los divorciados

Validez de constructo

• Validez convergente

• Validez divergente o discriminante

Validez de constructo

Cuestionario de apoyo social funcional Duke-UNC-11

Selección de variables que según la literatura están relacionadas con el apoyo social

Compararon la distribución de estas variables entre los sujetos con apoyo social normal o bajo, según el cuestionario, y determinaron los coeficientes de correlación entre el cuestionario evaluado y el resto de escalas cuantitativas

Fuentes de error

• El orden de las preguntas (las más conflictivas al final)

• La redacción de las preguntas

• Errores en la categorización de las respuestas (todas las posibilidades de respuesta)

¿Qué programa de salud elegiría?

Posibilidad: enfermar 600 individuos:

Programa A: salva 200 vidas

Programa B: un tercio tiene posibilidades de salvarse y dos tercios de morir.

Fuentes de error

• Sesgo de conveniencia social (dar siempre antes las opciones menos convenientes)

• Tendencia sistemática a dar siempre la misma respuesta

Fuentes de error

• Características del encuestador

• Elección de la categoría o puntuación intermedia

• Sesgo de la aversión hacia los extremos ¿Solución?

Fuentes de error

• Evitar términos absolutos: nunca, siempre

• Aumentar el número de categorías posibles en cada respuesta

Adaptación transcultural

• Conseguir un instrumento equivalente al desarrollado en el país de origen

• Traducción-retraducción

• Comprobación de su comprensión y aceptabilidad

Adaptación transcultural

• ¿El fenómeno que mide existe en la cultura actual?

• Traducciones conceptuales no literales

• I feel blue• Evaluación por un panel de expertos de la

equivalencia conceptual

Adaptación transcultural

• Se retraduce a su idioma original

• Se evalúa de nuevo su equivalencia conceptual

• Versión preliminar

• Pilotaje

• Comprobación de propiedades métricas

Adaptación transcultural

• Cuestionario SF-36 Health Survey

• Traducido al castellano por dos personas bilingües con experiencia clínica

• Se discutió y consensuó

• Otras dos personas bilingües: equivalencia conceptual, la claridad, la naturalidad de las frases y de las opciones de respuesta

Adaptación transcultural

• Traducción de nuevo al inglés por dos personas bilingües

• Comparación de retrotraducciones se compararon con la versión original por un grupo de expertos

• Estudios piloto con diversos grupos de pacientes crónicos