taller 4 encuestas y cuestionarios presentacion

Diseño de encuestas y cuestionarios. Aplicativos on-line.

Antonio García RomeroUniversidad Carlos III de Madrid

Objetivos del curso

1. Conocer y evitar los cuatro tipos de error asociados a una encuesta

2. Saber identificar la información para la que se realiza la encuesta

3. Elegir el mejor método de encuesta

4. Saber cuándo y cómo seleccionar una muestra

5. Escribir preguntas correctas que proporcionen información útil y precisa

6. Diseñar cuestionarios fáciles de responder

7. Medir la validez y fiabilidad de un cuestionario

8. Plantear el trabajo de campo de modo eficaz

9. Codificar y grabar datos

Organización del curso

Primera Parte

1. Aspectos clave de una encuesta

2. ¿Qué información necesito y qué método de encuesta debemos utilizar?

3 Diseño cuestionarios

4. Muestreo

Segunda parte

4. Muestreo (Continuación)

5. Codificación y gestión de datos

6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys

7. Algunas pistas para empezar a diseñar encuestas

Mensajes importantes

• Es posible hacer una buena encuesta que dé lugar a resultados creíbles aunque se tenga escasa experiencia

• Hay muchas encuestas realizadas por “profesionales” que presentan importantes deficiencias técnicas

• Para hacer una encuesta es necesario tomar una serie de decisiones:

• Entrevista cara a cara, telefónica o correo

• Cuándo y cómo debemos seleccionar una muestra

• Cómo redactar las preguntas de un cuestionario

• Cómo hacer el trabajo de campo

• Cómo recoger los resultados en un informe

• Nos centraremos en encuestas que tengamos la posibilidad de hacer

• Debemos evitar solicitar más información de la que necesitamos

• Es muy importante tener claro para qué hacemos una encuesta

Resultados esperados

• Saber hacer encuestas de calidad

• Saber valorar encuestas realizadas por otros

1. Aspectos Clave de una encuesta

Algunas creencias ¿erróneas?

• La redacción de las preguntas no es tan relevante como el número de respuestas

• Sólo es posible hacer una encuesta si eres un experto en estadística

• Hacer una encuesta es muy fácil

• La clave de una encuesta es un buen muestreo

• Las encuestas en el fondo no son tomadas en serio

Cuándo NO es aconsejable hacer una encuesta

• Si sólo necesitamos información que no sea sobre actitudes, opiniones o valoraciones

– Edad, Gasto, salarios, horarios.

• Si existen otros modos de conseguir la información que necesitamos

– Bases de datos, registros, informes, etc.

• Si no se conoce con precisión la población sobre la que se desea hacer el estudio

– Investigadores

• Si no se puede hacer un muestreo con garantías

– Los encuestados serán elegidos mediante criterios no aleatorios

• Si no se tiene claro el objetivo del estudio

– “Haremos una encuesta para ver qué piensa la gente”

• Si no hay apoyo de la organización para llevarla a cabo

– Publicar resultados, tomar decisiones, etc.


• PUNTO DE PARTIDA

– Estamos interesados en conocer características, comportamientos, opiniones o actitudes de un grupo de individuos (POBLACIÓN “N”)

– Para ello es posible que sea suficiente conocer sólo la opinión de una parte del grupo de interés (MUESTRA “n”)

A B C Muestra

Resultado 43 38 19 --

Sondeo 1 43 35 16 722

Sondeo 2 43 39 18 789

Sondeo 3 44 36 15 806

Sondeo 4 44 35 15 2086

¿Cuál crees que es el tamaño de la población en el ejemplo anterior? _____

Una encuesta puede servir para conocer opiniones de millones de personas a partir de la de unos miles con una precisión razonable (científicamente)

– Permiten ahorrar costes


• EL TAMAÑO SI IMPORTA

– Los resultados obtenidos para la muestra incluyen un margen de error (“e”)

– Dicho error depende fundamentalmente del tamaño de la muestra

– A mayor n, menos error. A mayor n, más precisión

A B C Muestra

Resultado 43 38 19 --

Sondeo 1 43 ± 4 35 ± 4 16 ± 4 722

Sondeo 4 44 ± 2 35 ± 2 15 ± 2 2086

Una muestra mayor permite obtener los resultados más precisos (menor error)Sin embargo una muestra más grande no garantiza mejor estimación (Columna C)

– Valor muestral– Valor poblacional– Valor estimado

Valores poblacionales– Se espera que una buena muestra debe permitir estimar valores de la población

IMPORTANTE: En una encuesta los valores poblacionales raramente se conocen


Una historia verdadera

• En 1936, Franklin D. Roosevelt se presentaba a la reelección. La revista The Literary Digest, predijo que Alf Landon ganaría las elecciones con un 57% de votos frente a un 43% para Roosvelt.

• La revista envió más de 10 millones de cuestionarios a nombres seleccionados de listas de propietarios de automóviles y teléfonos.

• Respondieron 2.300.000 personas (una muestra enorme). Fue la encuesta más grande que se había hecho nunca.

• Con este método, la revista había acertado las 5 elecciones anteriores.


Al mismo tiempo, un joven casi desconocido llamado George Gallup hizo un sondeo a partir de una muestra de sólo 50.000 personas y predijo que Roosevelt ganaría.La predicción de Gallup fue ridiculizada y considerada ingenua.

Sin embargo… Roosevelt ganó con el 62% de los votos.

¿Por qué la predicción de LiteraryDigest fue tan mala en 1936 pese a que había acertado las cinco anteriores?

En 1929 debido a la gran depresión, muchos americanos se arruinaron.En 1936, sólo una pequeña proporción de los que tenían coche y teléfono antes del 29 se podían permitir ese lujo. La mayoría eran republicanos.


Gallup hizo una selección aleatoria de su muestra

La muestra era más representativa de la población

Pese a que tamaño muestral es importante, también lo es la composición de la muestra

Concepto importante: SESGOTres requisitos de una buena muestra:1. El tamaño muestral es suficiente para

garantizar el nivel de precisión (error) deseado

2. Todos los miembros de la población tienen la misma probabilidad (o conocida) de ser incluidos en la muestra

3. Los individuos que son seleccionados en la muestra pero no participan (no responden) deben tener características similares a quienes lo hacen

A propósito …


Universo, Población y CensoUniverso = PoblaciónCenso es un listado exhaustivo de una población determinada.• Si la población es muy grande (ej: un país) puede usarse el

censo electoral aunque no es muy realista• Cuando la población es de tamaño medio (ej: profesionales

de enfermería en el SMS), se puede usar un censo para seleccionar la muestra

• Cuando la población es pequeña (ej: profesionales sanitarios de un centro de salud) no tiene mucho sentido seleccionar una muestra. Entonces se habla de una encuesta censal.

• En algunos casos, no es posible disponer de un censo a priori (ej. Pacientes que pasan por consulta, visitas hospitalarias)

• Es deseable contar con un censo lo más actualizado y depurado posible.


CUATRO FUENTES DE ERROR EN UNA ENCUESTA1. Error de cobertura2. Error de muestreo3. Error de medida4. Error de no respuesta

La encuesta ideal y la encuesta real

Tenemos un listado completo y actualizado de los miembros de la población de interés (prob)

No tenemos identificados los individuos. A veces, ni si quiera sabemos el valor de N

La muestra tiene un tamaño suficiente

Las muestras son pequeñas o la composición no es la adecuada (no aleatoria)

Todas cuestiones tienen una respuesta fácil y clara

Es difícil plantear cuestiones cuya respuesta sea fácil y clara

Todos los individuos de la muestra responden o los que no lo hacen tienen el mismo perfil que los que si

No responden todos y generalmente siempre hay alguna razón de interés para no hacerlo (sesgo)

¡¡¡MUY IMPORTANTE!!!Las CUATRO fuentes de error son

relevantes para el estudioSólo el error de muestreo se puede

cuantificar matemáticamenteEsto hace que muchos estudios no le

presten atención a los otros tipos (especialmente el error de medida)

La CLAVE: Hay que saber cómo se pueden minimizar los cuatro tipos de errores (muestreo y ajenos al muestreo).


ERROR DE COBERTURASucede cuando la lista de donde es seleccionada la muestra no incluye todos los elementos de la población de estudio (diana)

Ejemplo: Encuesta Gallup¿Qué podemos hacer cuando no tenemos un listado?

OBSERVACIONES SOBRE LAS LISTAS

Más fácil conseguirlas cuando el estudio tiene un ámbito local

Es útil tener el apoyo de una institución (gerencia, consejería)

Involucrar investigadores de universidades y centros (credibilidad)

Generalmente hay que depurar las listas (repeticiones, omisiones, ausencias, errores, etc.)

A VECES ES IMPOSIBLE TENER LISTAS (*)• Médicos que hayan participado en

congresos en el último año• Población asignada a un centro de

salud / hospital• Hombres mayores de 50 años con

hipercolesterolemia.• Visitantes de enfermos en un hospital

CONSECUENCIAS DE ESTE TIPO DE ERROR• Los resultados pueden estar sesgados

aunque no haya sesgos causados por otras fuentes de error

• No se puede cuantificar la contribución de este error a la precisión de los resultados

• En casos extremos, se llega a resultados muy alejados de la realidad.


ERROR DE MUESTREO• Sucede cuando son encuestados sólo un subconjunto de los

miembros de la población de interés (muestra)• No hay cuando la encuesta es censal y _______• Es el único tipo de error que puede cuantificarse (fórmulas)• Este error se minimiza ampliando el tamaño muestral• Es el único que se menciona cuando se presenta una encuesta

Sesión 1. Aspectos Clave de una encuesta

COMENTARIOS SOBRE ESTE TIPO DE ERROR• Incide directamente sobre la precisión de los

resultados• Aumenta cuando se consideran sub-

poblaciones• Técnicamente su valor depende de varios

factores:• Del nivel de confianza• De la homogeneidad de la población• El parámetro que se estima (media,

proporción, etc.)• -Carácter finito de la población• -Si el muestreo se hace con o sin reposición• Generalmente, se usa un estándar para la

medida del error de muestreo (proporción del total, p=q=1/2, 95% significación)

± 3% ± 5%

Población 50/50 80/20 50/50 80/20

100 92 87 80 71

500 341 289 217 165

1.000 516 406 278 198

5.000 880 601 357 234

10.000 964 639 370 240

100.000 1.056 678 383 245

1.000.000 1.066 682 384 246

ERROR DE MUESTREO: FICHA TÉCNICACada encuesta debe ir acompañada de una

ficha técnicaFicha técnica

Ámbito: Nacional excepto Ceuta, Melilla y las Islas Canarias.

Universo: Población de 15 y más años de edad.Muestra: 2.016 casos.Entrevistas: Personales en el hogar del

entrevistado. Selección: Aleatoria de secciones censales

para la determinación del hogar y por cuotas de sexo y edad para el entrevistado.

Trabajo de campo: Del 3 al 20 de marzo de 2003.

Margen de error: ± 2,2% para p=q=0,5 y un nivel de confianza del 95,5% para datos globales.

Fuente: INTERGALLUP, S.A. (Gallup España)


ERROR DE MEDIDA• Se produce cuando la respuesta a una pregunta del cuestionario es imprecisa, falsa o

no puede compararse con la de otros encuestados• Tiene lugar en el diseño del cuestionario y durante el trabajo de campo (recogida de

datos)Fuentes de error de medida

1.Método de encuesta 2.Cuestionario3.Entrevistador4.Encuestado

Ejemplo: ¿Con qué frecuencia se ducha usted?

0

20

40

60

80

100

1 2 3 4

HombresMujeres

1: Una vez al año o menos; 2: Más de una vez al año pero menos de una vez al mes; 3: entre una vez al mes y una vez a la semana; 4: al menos una vez a la semana

¿Qué tipo de error es este?¿Cuál es su fuente?


ERROR DE NO RESPUESTA•Se produce cuando un número significativo de individuos de la muestra no responden el cuestionario.

•Este tipo de error resulta especialmente grave cuando los que no responden difieren de los que si lo hacen en cuanto a características relevantes para el estudio (sesgo)

•También existe la modalidad de falta de respuesta parcial•La falta de respuesta total o parcial debe ser tenida en cuenta cuando se inicia el estudio pues es posible tomar medidas para minimizarla:

• Implicación de los promotores del estudio• Identificación clara de los objetivos• Carta de presentación• Adaptarse a las limitaciones de los encuestados (tiempo, lugar, etc.)• Recordatorios (cartas, telefónico, etc.)• Participación de universidades y/o centros de investigación• Cortesía y elegancia• Redacción de las preguntas y diseño del cuestionario• Pre-test del cuestionario• Validez y fiabilidad de las preguntas del cuestionario• Entrenamiento de los encuestadores• Incentivos a la respuesta• Calidad en los materiales


¿QUÉ NIVEL DE ERROR DEBEMOS ASUMIR?

RESPUESTA 1: Depende de cada casoRESPUESTA 2: De modo general debemos considerar

1. Un error de muestreo para el total entre el 2-5%2. Minimizar el error de cobertura:

– Disponer del mejor listado posible – Considerar quiénes no están pero deberían estar y cómo afectan a los

resultados3. Minimizar el error de medida:

– Evitando preguntas vagas o imprecisas– Haciendo un buen pre-test del cuestionario– Diseñando adecuadamente el cuestionario

4. Minimizar el error de no respuesta:

RESUMENUna encuesta bien hecha requiere conocer y controla r los cuatro tipos de error al

mismo tiempoNingún tipo de error es más importante que el restoDebemos ser críticos con los estudios que sólo valoran el tamaño muestral (error de

muestreo)



Primera Parte




4. Muestreo

Segunda parte





2. ¿Qué información necesito y qué método de encuesta debo utilizar?

Resulta esencial definir los objetivos del estudio

–No es lo más habitual.

¿Qué problema queremos resolver?

¿Qué sabemos ya de él?

¿Qué información no disponible es necesaria para resolverlo?

¿Por qué es importante el problema?

La encuesta debe servir para obtener información nueva

Es necesario evitar tres situaciones:

1. Vaguedad

–Hay que definir claramente lo que queremos saber

–Ej: “El objetivo de la encuesta es mejorar la calidad”

2. Sesgo. Evitar ideas preconcebidas a la hora de plantear el estudio

–Si conocemos la respuesta, ¿para qué hacer la pregunta?

–A menudo las encuestas se hacen para corroborar lo que se sabe (¿evidencia?)

3. Falta de crítica

–Es necesario identificar los aspectos realmente importantes

–No podemos hacer una encuesta a partir de 50 objetivos propuestos en un brainstorming

–Conviene hacer antes una selección de los más relevantes

¿CÓMO IDENTIFICAR LOS OBJETIVOS?

Es muy útil pensar en los resultados que nos gustaría obtener (tablas, gráficos, etc.)

– Datos por sexos, edades, centros

También debemos pensar en variables relevantes– Qué factores pueden estar detrás de las diferencias entre

grupos de individuos

Especial atención a las variables sobre las que es posible actuar

– Son aquellas que podemos configurar para elaborar programas y actuaciones

– Puede ser interesante proponer hipótesis

Usar entrevistas a individuos clave o grupos para responder las cuestiones más importantes

– Si se trabaja con grupos (focales) conviene que en él estén los “clientes” o usuarios del estudio


MÉTODOS DE ENCUESTA

¿CÓMO ELEGIR EL MÉTODO DE ENCUESTA?

• Disponibilidad de tiempo y recursos

• Población (accesibilidad, nivel educativo, etc.)

• Información que se quiere obtener

MÉTODOS DE ENCUESTA:

1. Por correo postal

2. Por teléfono

3. Entrevista personal (cara a cara)

4. Por ordenador

5. Por correo electrónico

6. Encuestas Web


MÉTODOS DE ENCUESTA1.ENCUESTAS POR CORREOVentajas:• No son excesivamente caras • Encuestado tiene tiempo para responder• Preguntas elaboradas. Se pueden incluir imágenes, gráficos, etc.• Ausencia sesgo entrevistador• Comodidad para responderla (método menos molesto) • Anonimato de la respuesta (preguntas “delicadas”)Inconvenientes: • Baja tasa respuesta. Las mejores tasas de respuesta se obtienen cuando

los encuestados tienen especial interés en la encuesta. – Cuidado: puede dar lugar a sesgos

• Se desconoce quién responde realmente• Duración del trabajo de campo. Se puede alargar mucho tiempo hasta

que responden un número suficiente• Disponibilidad de censos fiables y actualizados• Nivel educativo de los encuestados o conocimientos de un idioma

(inmigrantes)


2. ENCUESTAS TELEFÓNICASVentajas:• Agilidad para contactar a los encuestados• Posibilidad de realizarla cuando no tenemos listas (muestra aleatoria de

números de teléfono)• No es muy caro• Corta duración trabajo de campo y alta tasa respuesta• Poco sesgo entrevistador• Control sobre quien responde• Interactivo: posibilidad de aclarar preguntas y recoger respuestas

complejas.Inconvenientes:• Cuestionarios cortos• Preguntas generalmente son sencillas• Menos precisión que las entrevistas• Confusión con telemarketing• Accesibilidad: horarios• No se pueden mostrar imágenes


3.ENTREVISTA PERSONAL “CARA A CARA”Ventajas:

• Tasa respuesta muy alta

• Acceso a población aislada

• Permite cuestionarios más largos, complejos y elaborados

• Más precisión que otros métodos

• Más fácil identificar a la población diana

Inconvenientes:

• Tienen un coste mayor que el resto de métodos (desplazamientos, encuestadores, etc.)

• Duración trabajo de campo (viajes, entrevistas, concertar cita, aplazamientos, etc.)

• Falta de anonimato

• Presencia de sesgos de entrevistador


4. ENCUESTA ASISTIDA POR ORDENADORVentajas:• Sin coste de grabación de datos • Respuestas más fiables a preguntas sensibles

– Se ha comprobado que colectivos como drogadictos o infectados de SIDA son más honestos contestando a un ordenador que mediante entrevistas o cuestionarios en papel.

• No hay sesgo de entrevistador • Los saltos (SKIP patterns) se realizan correctamente. • Tasas de respuesta generalmente elevadas Inconvenientes:• Los encuestados deben tener acceso a un ordenador o bien hay que proporcionárselo • Puede tener tasas de respuesta bajas en poblaciones con bajo nivel educativo o escasas habilidades

informáticas

5. ENCUESTA POR CORREO ELECTRÓNICOVentajas:• Rapidez (?) • Trabajo de campo prácticamente sin coste • Se pueden adjuntar ficheros de imágenes, sonido, video, etc. • Su carácter novedoso hace que haya más respuestas que por correo postal Inconvenientes:• Es preciso disponer de una lista de direcciones • Algunos pueden responder varias veces o reenviar el cuestionario a otras personas • Poco control sobre quien responde • Rechazo por parte de quien no le gusta el correo no solicitado• No se pueden utilizar para generalizar resultados a la población general (sesgos)• No son interactivas por lo que no se puede automatizar la respuesta


6. ENCUESTAS WEBVentajas:• Muy rápidas. Se pueden obtener miles de respuestas en varias horas• Su coste es muy bajo tanto en trabajo de campo como en grabación de datos• El tamaño muestral no influye en el coste, exceptuando la compra de los datos (si es necesaria) • Se pueden incluir imágenes, sonido, video, etc.• Se pueden utilizar diseños complejos con saltos (skipping logic), selecciones aleatorias de preguntas, etc. • Aspecto más elaborado que los cuestionarios por e-mail. • Las respuestas a preguntas delicadas son más sinceras que en el caso de entrevistas o encuesta por correo• También se observa que en este tipo de encuesta las respuestas a preguntas abiertas son más completas

que en otro tipo de cuestionarios autoadministradosInconvenientes:• El uso de Internet no está tan generalizado como para considerarlo universal. Por este motivo las encuestas

a través de Internet no sirven para obtener un resultado extrapolable a la población en general. Esto es cierto aunque no haya sesgo en término de edad, sexo, etc.

• Los encuestados pueden abandonar la encuesta antes de terminar (cansancio, falta de interés, etc.)• Puede haber una gran falta de control sobre quien responde • También pueden existir varias respuestas de un mismo encuestado

Los métodos anteriores se pueden clasificar en dos grupos:• Cuestionarios autoadministrados• EntrevistasENCUESTAS SIN PREGUNTAS• Recogida de datos estructurada• Observación estructurada


CARACTERÍSTICAS MÉTODO

CORREO TELÉFONO ENTREVIS.

Coste Medio Medio Alto

Duración Alto Bajo Alto

Control encuestado Bajo/Medio

Alto Alto

Tasa respuesta Media Alta Alta

Acceso población “oculta” Medio Medio Alto

Extensión cuestionario Medio/Alto

Bajo Alto

Complejidad preguntas Medio Bajo Alto

Respuestas preguntas difíciles Medio Medio Alto

Respuestas preguntas delicadas Alto Medio Medio

Sesgo entrevistador Bajo Medio Medio/Alto

Respuestas abiertas Medio Bajo Alto

Anonimato Medio/Alto

Medio/Alto Bajo



Primera Parte




4. Muestreo

Segunda parte





3. Diseño del cuestionario

El cuestionario debe facilitar la tarea al encuestado y/o entrevistadorEs importante saber mantener el interés y la atención del encuestado al máximo nivel

(especialmente en cuestionarios auto-administrados)

Algunos consejos generales:• Minimizar número ítems (preguntas)

– A veces el número de cuestiones de un primer borrador resulta excesivo

• Elaborar enunciados cortos y claros (20-25 palabras)• Salvo excepciones justificadas, no sobrepasar 4 páginas• No pedir información si no se sabe cómo se va a usar para cubrir objetivos o si no

la necesitamos– Una encuesta no es una caza indiscriminada de datos

• Repartir el cuestionario a colegas, amigos y recoger opiniones y sugerencias– Al margen del pre-test

• Usar otros cuestionarios como modelo• El cuestionario debe elaborarse del modo más específico posible a la población a

la que va dirigido– Nivel educativo, cultura, etc.

¿Cómo empezar? ¿Por dónde empezar?1. Desarrollar una lista clara y exhaustiva de objetivos específicos del estudio2. Cada objetivo debe ser una sección o apartado en el cuestionario3. Descomponer cada objetivo en variables. Cada variables debe ser una pregunta (*)4. Identificar los indicadores de cada variable. Cada indicador será un ítem5. Es conveniente apilar los ítems

Ejemplo:• Objetivo general: Satisfacción de los pacientes de un centro de salud• Objetivo específico: Satisfacción con las instalaciones del centro (será una sección del cuestionario)• Variables: limpieza, temperatura, comodidad, etc.• Indicadores: limpieza (suelo, consultas, aseos, etc.)

Mejor opciones apiladas …Valore la limpieza de: Mal Regular Bien

Suelos

Consultas

Aseos

.. que un listado de preguntas¿Qué opinión tiene acerca de la limpieza de los suelos?Mal Regular Bien

¿Qué opinión tiene acerca de la limpieza de las consultas?Mal Regular Bien

¿Qué opinión tiene acerca de la limpieza de los aseos?Mal Regular Bien


El cuestionario permite obtener información de tres tipos:

Actitud u opinión (valoración)

– Valore la utilidad que tiene para su tarea asistencial los siguientes elementos

Comportamiento o hábito (frecuencia de una actividad)

– Indique cuáles qué instalaciones del hospital usa al menos una vez a la semana

Características encuestados (demográficas)

– Sexo, edad, titulación, etc.

– Sólo deben incluirse si van a se utilizadas dado que afecta a la respuesta

– Pueden ser útiles para identificar subpoblaciones de interés (grupos de control)

Los cuestionarios no son apropiados para obtener información objetiva

– No es posible obtener la información por otro medio

– La encuesta es anónima


Debemos decidir también el tipo de respuesta

• El tipo de respuesta elegido proporciona una información determinada y estáasociado a la técnica estadística que se puede emplear

• La respuesta puede ser ABIERTA o CERRADA

• En el caso de respuesta CERRADA hay varios subtipos

– Intervalo, ratio (edad, % de tiempo dedicado a formarse, etc.)

– Escala ordinal o Likert

– Escala nominal

– Binaria (Si-No)

– Multirrespuesta

• Aunque la pregunta sea la misma, cada tipo de respuesta aporta una información diferente que influye en el análisis estadístico que podamos hacer.

• Consejo: pensar en qué tipo de análisis estadístico queremos hacer antes de plantear el tipo de respuesta.

O B J E T I V O P R E G U N T A D A T O S T É C N I C A E S T .

A N Á L I S I S


Preguntas abiertas o cerradas

Pregunta abierta: deja espacio para recoger la respuesta (no estructurada)

Pregunta cerrada: ofrece una lista de respuestas posibles

Preguntas abiertas: puntos débiles.

Difíciles de codificar y analizar

Sesgan el estudio porque la propensión a contestarlas dependen del individuo.

La codificación requiere un esquema teórico muy bien desarrollado.

La respuesta podría haber sido ≠ si se hubieran ofrecido opciones.

Preguntas abiertas: puntos fuertes.

Útiles si se desconoce el número y diversidad de respuestas. También cuando hay demasiadas opciones.

Cuando se quiere determinar qué ideas, pensamientos o conceptos surgen al leer la pregunta (PRE TEST).

Cuando se requiere que el encuestado opine libremente sobre aspectos que no se incluyen en el cuestionario.


Cuando la respuesta es cerrada se pueden elegir distintos tipos de respuestaExisten varios criterios para clasificar los tipos de respuestaUno de estos criterios es la escala

1. Escala nominal (categórica)–Los números no tienen valor–Ejemplo: Categoría profesional, Centro de salud, servicio, etc.

2. Escala ordinal–Los números tienen valor relativo (orden)–Ejemplo: Escalas de valoración (Likert)

3. Escala intervalo (numérica)–Los números representan cantidades–Ingresos, edad, horas, frecuencias, etc.–Es recomendable solicitar la información cuantitativa mediante escalas ordinales (facilita responder el cuestionario)

–Los tramos deben ser iguales

4. Escala ratio (numérica)–Los números representan cantidades–En general no son números enteros–Proporción de tiempo, número de fumadores respecto del total–No suele usarse en cuestionarios individuales sino en los destinados a organizaciones


Algunas observaciones sobre diferentes tipos de respuesta:

A. Escalas Likert o respuesta ordinal: • Son listas jerarquizadas de respuestas que van de un extremo a otro de una escala

de valoración determinada– Ejemplo: mal, regular, bien

• Número de niveles variable (5-7)– Las escalas de 5 ó más niveles son fiables (miden correctamente)– Un número elevado puede confundir al encuestado (+7)

• Escala digital: 0 a10– Permite valorar en una escala estandarizada y conocida por todos los encuestados

• Orden de los niveles:– Puede ser creciente o decreciente, pero es recomendable mantener un criterio único a lo

largo del cuestionario

• Inclusión de alternativa central:– No se incluye si se quiere forzar al encuestado a comprometerse– Tendencia a seleccionar nivel neutro en cuestiones “delicadas”

• Las opciones deben ser exhaustivas y excluyentes.– Exhaustivas: Cubren todos los posibles valores. Modalidad OTROS.– Excluyentes: No se solapan. (No es tan fácil conseguirlo)


A. Escalas Likert o respuesta ordinal:

Descriptiva de las variables mediante porcentajes• Ejemplo: el 65% de los encuestados está satisfecho con la limpieza del centro de

salud

Análisis multivariante• Tabulación cruzada: mide asociación entre dos variables (test chi-cuadrado)• Modelos logarítmico-lineales: permite explicar una variable en función de otras

(modelos)• Análisis factorial de correspondencias: es una técnica multivariante exploratoria.

Representa las variables en dos dimensiones.

Un tema polémico …• ¿Es posible considerar las escalas Likert como variables de intervalo

(cuantitativas)?– Ejemplo: Malo = 0; Regular = 1; Bueno = 2; Excelente = 4– ¿Se puede calcular la media? ¿Por qué?– Ventajas e inconvenientes de calcular usar las escalas Likert como variables de intervalo


B. RESPUESTA BINARIA (SI/NO)

Este tipo de respuesta se puede considerar como nominal, ordinal o incluso de intervalo.

Nominal: ¿Tiene hijos?Ordinal: ¿Le han concedido el proyecto?Intervalo: Si = 1; No = 0nº SI / nº respuestas Є (0,1)

Este tipo de preguntas es muy útil en el análisis estadístico.

Descriptiva mediante porcentajes–El 35% de los encuestados fuma

Análisis multivariante:Tabulación cruzada (asociación)Análisis discriminanteRegresión Logit (Probit)


C. RESPUESTA MÚLTIPLESon aquellas en las que el encuestado

puede seleccionar varias opciones simultáneamente

Ventajas:• Son realistas dado que se adaptan a

cada encuestado (una o varias opciones)• Aportan información interesante para

casi cualquier estudio

Inconvenientes:• Dificultades para su análisis• Dos criterios para calcular proporciones

– Dividir por el número de encuestados– Dividir por el número de respuestas

Pese a que su análisis resulta bastante complejo, a veces, es inevitable incluir este tipo de preguntas en un cuestionario

• Obligar a elegir un número determinado de opciones sesgaría los resultados

• Solución: reformular la pregunta y convertirla en batería de Likerts

5. ¿Cómo localiza contenidos de Internet que le interesan profesionalmente? A través de buscadores Accediendo a direcciones concretas Ambos

5. ¿Qué utilidad tienen para usted las siguientes vías para localizar información en Internet? Ninguna Alguna Mucha A través de buscadores Accediendo a direcciones concretas Ambos


OTRAS OPCIONES DE RESPUESTA

A veces el encuestado, no tiene opiniones formadas sobre lo que se le pregunta.

También puede ocurrir que el encuestado no quiere contestar.

Por eso es preciso incluir dos modalidades adicionales en dada pregunta cerrada.

NO APLICABLE: Para permitir a los encuestados identificar una opción en las preguntas que no le competen. (NA)

NO SABE: Mejor no incluirla porque baja la tasa de respuesta, genera valores perdidos (NS/NC).

Es una opción muy cómoda.

Debe incluirse en preguntas que hacen referencia al pasado o a intenciones futuras.

Usualmente se considera una categoría para los que no contestan en la que se incluye el no sabe. (MAR, MCAR, SIST).

Los cuestionarios pueden no incluir estas modalidades en la práctica.


CONSEJOS PARA REDACTAR PREGUNTAS• Hacer preguntas

– Concretas – Cortas siempre que sea posible

• Estilo neutral, claro y fácil de responder– La mayoría de los cardiólogos recomienda tomar una manzana al día ¿Está usted

de acuerdo?

• Si hay algún concepto o término que sea poco claro, se debe incluir una definición o aclaración

– ¿Qué opinión le merecen los comentarios de MAFO?

• Usar palabras comunes, evitando siglas y palabras poco usadas– Siguiendo las pautas del NICE, indique el valor en número de AVACS

• Evitar dobles negaciones, frases compuestas y formatos complejos– ¿Ha considerado la posibilidad de cambiar de trabajo o de pedir un ascenso en

su centro actual?– ¿Qué espera usted de sus superiores compañeros?

• Evitar items que no puedan preguntarse a todos los encuestados (SKIP). Si se incluyen hay que añadir instrucciones

– ¿Cuántos cigarrillos fuma al día?


CONSEJOS PARA REDACTAR PREGUNTAS (Cont.)• Cada pregunta debe estar referida a un solo tema

– Valore su opinión acerca de la limpieza de las instalaciones comunes, las salas de espera, las consultas y los quirófanos

• Evitar preguntas orientadas, sesgadas – ¿Qué opinión tiene acerca de la pésima organización del trabajo en su centro?

• Evitar preguntas negativas– El consumo de cannabis no debería legalizarse ¿Qué opina?– Si no hay más remedio, se recomienda enfatizar el NO

• Evitar preguntas que requieran motivos por los que se tiene una determinada opinión

– ¿Está usted a favor del uso de células madre con fines terapéuticos? ¿Por qué?

• Evitar preguntas que exigen al encuestado jerarquizar opciones– Es mejor usar escalas de valoración

• Cuando se mide la frecuencia de un determinado comportamiento, evitar escalas verbales como: a menudo, a veces, etc..

– Es mejor emplear frecuencias numéricas


PROBLEMA: RECUERDO DE HECHOS PASADOS

Los cuestionarios suelen incluir preguntas sobre:Motivos que le llevaron a hacer algo

Grado satisfacción con algo que ocurrió en el pasado

Resultados obtenidos durante el periodo 2000-2004

Las respuestas a estas preguntas suelen presentar dos tipos de error de _____:

– Olvido: depende del tiempo transcurrido y de la importancia de los hechos.

– Compresión temporal (Efecto telescópico): Tendencia a recordar hechos como si hubiesen ocurrido más cercanos al momento actual.

Posibles soluciones:

Opciones de respuesta cerradas

Usar fechas de referencia relevantes

Usar unidades específicas de tiempo

Los datos que hacen referencia a periodos temporales poco determinados están sujetos a ERROR adicional

Deben usarse fundamentalmente técnicas para datos cualitativos


CONSEJOS PARA DISEÑAR CUESTIONARIOS

Cuestionario visualmente atractivo y fácil de rellenar.

Hay que MOTIVAR al encuestado a que conteste adecuadamente

Debemos PROPORCIONAR instrucciones claras y hacer que el cuestionario sea fácil de usar

• Equilibrar el espacio en blanco y el texto. Se recomienda orden y no demasiado cargado.

• Encuadernar el cuestionario y trabajar en tamaño menor al de una hoja estándar.

• Tipo de letra de fácil lectura. Máximo 2 tipos de letra distinta en un cuestionario.

• Dar instrucciones acerca de cuántas opciones marcar.

- Respuesta simple

- Respuesta múltiple

• Incluir cuadros para marcar o números para rodearlos con círculos. No líneas en blanco

○ ( ) [ ]


• Tipos de letra:– Texto pregunta: Negrita; – Opciones respuesta: Normal– Instrucciones y comentarios: Cursiva

• Imprimir el cuestionario en las dos caras de la página (+ compacto).• Incorporar algún gráfico o logo en la portada• Dividir el cuestionario en secciones lógicas (temáticas) y poner título a las secciones

para indicar el cambio– Añadir, si es necesario una breve explicación de cada bloque.

• Incluir nº de cuestionario• No usar más de dos colores• Dos columnas por página (diseño atractivo)• No poner más de 10 ítems en la misma pregunta (fatiga)• Para evitar respuesta sistemática, poner escalas en páginas ≠• Poner números de códigos junto a las opciones

– Ventaja: Reduce error de codificación– Inconveniente: Distrae al encuestado

• No utilizar dos páginas ≠ para una misma pregunta• Colocar las casillas de respuesta alineadas para dar un aspecto ordenado• Si se usan etiquetas en los Likert, que sean horizontales• Dejar suficiente espacio en las preguntas de respuesta abierta


ORDEN DE LAS PREGUNTAS (no es siempre así)AL PRINCIPIO:Preguntas de interés para todos los encuestados.No empezar con preguntas abiertas ni con Likert.AL FINAL:Preguntas demográficas (ingresos, nivel profesional) PREGUNTAS “DELICADAS”.Nunca al principioMejor en la segunda mitad del cuestionarioSALTOS (SKIP PATTERNS).Evitarlos si es posibleQue el salto no sea mayor a una página.Incluir instrucciones y gráficos.

1. Indique su relación como docente con formación continuada (FC) a. Tengo actividad como docente en FC �Responda todas las cuestiones de este apartado b. No tengo actividad docente en FC �Continúe en el apartado B.3


14. Valore la influencia que tiene la formación de residentes sobre los siguientes aspectos de su actividad profesional Ninguna Poca Alguna Mucha Su práctica clínica Su carrera y desarrollo profesional La calidad de la asistencia que usted ofrece Sus habilidades y conocimientos técnicos Su actividad investigadora Su relación con los pacientes Su capacidad de gestión Su capacidad de formar a otros Su uso de las tecnologías de la información Su habilidad de comunicar Su habilidad de trabajar en equipo El nivel de comunicación en su servicio El funcionamiento de su servicio Otros:

9. A partir de su propia experiencia, valore la utilidad de las actividades de FC según... Nada Poco Algo Mucho

Lugar: En su centro de trabajo Fuera del centro de trabajo

Horario: Mañana y tarde Sólo mañana Sólo tarde

Días: Laborables Fines de semana

Enfoque: Presencial A distancia

1. ¿Conoce alguna fuente de información en relación con la evaluación de tecnologías sanitarias? SI NO

Especificar:


PRE – TEST O PRUEBA PRELIMINAR

El cliente no suele apreciar el valor de realizarlo.

Especialmente útil si no hay precedentes del estudio que se realiza.

Sirve para encontrar defectos en el cuestionario.

- Preguntas mal redactadas, Instrucciones incompletas, Aspectos difíciles de contestar.

RECOMENDACIONES

Mínimo 25 individuos pertenecientes a la población estudiada

Para estudios “pioneros” hacer 2 pre – test.

1º Preguntas abiertas para identificar las posibles respuestas.

2º Preguntas cerradas para corregir defectos (error de medida).

Grupo de 10–15 personas que rellenan el cuestionario y opinan.

UTILIDAD DEL PRE – TEST

Poco espacio para preguntas abiertas.

Saltos poco claros.

Preguntas muy similares (solapamientos).

Preguntas sin respuesta.

Muchas respuestas en categorías OTROS.

Mala interpretación de las preguntas.

Solapamiento de las modalidades de respuesta.

Términos poco claros. Respuesta múltiple con una sola respuesta.


Principios de medida: aspectos básicos

Concepto (constructo): Concepto hipotético que forma parte de las teorías que intentan explicar la conducta humana: inteligencia, creatividad, satisfacción, motivación, etc.

El concepto se descompone en dimensiones (variables)

Las dimensiones se corresponden con ítems (o indicadores)

• Cuando necesitamos incorporar una medida original en un estudio (pregunta), debemos controlar los errores de medida

• El error de medida es de dos tipos: sistemático y aleatorio• Sabemos cómo reducir el error de medida (redacción de preguntas,

diseño del cuestionario)• Además, existen dos propiedades, validez y fiabilidad, que garantizan

que un determinado constructo (pregunta) tiene un nivel aceptable de error de medida


Principios de medida: aspectos básicos

1. Fiabilidad equivale a consistencia, precisión y reproducibilidad– La fiabilidad garantiza que el nivel de error aleatorio de los datos

(respuestas) es aceptable– Existen cinco (*) tipos distintos de fiabilidad

2. Validez se refiere a si los indicadores miden la variable (parcialmente) del modo adecuado

– La fiabilidad es condición necesaria pero no suficiente de la validez, ya que esta incluye los errores de medida de tipo aleatorio y sistemático

– Existen cuatro tipos diferentes de validez

Si se opta por usar medidas fiables y validadas que hayan sido empleadas en otros estudios y encuestas

– A priori no es preciso que analicemos fiabilidad ni validez– No obstante, sí es preciso tener en cuenta que ambos conceptos pueden

depender de aspectos individuales (nacionalidad, edad, sexo, nivel cultural, región, etc.)

– Si se sospecha que las medidas pueden no ser válidas o fiables deberían realizarse las pruebas correspondientes


Principios de medida: Aspectos básicos de la fiabilidad La fiabilidad hace referencia al error de medida aleatorio de una determinada

pregunta (test).Dado que hay diferentes fuentes de error aleatorio también existen distintos

tipos de fiabilidad (externa e interna)

1. Fiabilidad test-retest (ext)Se aplica el mismo test a una muestra en dos ocasiones diferentesMétodo:• Se aplica la misma medida dos veces al mismo grupo de individuos en

dos instantes distintos. • Se calcula el coeficiente de correlación entre las puntuaciones de los

individuos en las dos formas del test. – El coeficiente de correlación (Pearson) es el de fiabilidad.

• Si rxy es bueno el error aleatorio debido a sucesos como la fatiga, ruido, etc. es bajo

• Es apropiado para medir la fiabilidad de un test del que sólo tenemos una forma


Principios de medida: Aspectos básicos de la fiabilidad

2. Fiabilidad de formas alternativas (ext)

Se aplican diferentes formas del mismo test (pregunta) a un mismo grupo de individuos en una misma sesión

Método:

• Se elaboran dos formas paralelas de un mismo test

• Se aplica una forma del test a la muestra. Tras un periodo de tiempo no demasiado largo se aplica la otra forma del test a la misma muestra.

– También debe aplicarse en las mismas condiciones (lugar, personas, momento del día, etc.)

• Se calcula el coeficiente de correlación entre las puntuaciones de los individuos en las dos formas del test.

– El coeficiente de correlación (Pearson) es el de fiabilidad.

• Si rxy es bueno el error aleatorio debido al uso de ítems diferentes es bajo

• Es apropiado para test con respuesta verdadera (aptitudes y rendimientos)


Principios de medida: Aspectos básicos de la fiabilidad 3. Fiabilidad inter-rater (ext)• Es muy apropiada para medidas de escalas de valoración subjetivas

(varios evaluadores opinan sobre un mismo aspecto)• Si rxy es bueno indica que la escala está libre de errores debidos a los

evaluadores

4. Fiabilidad basada en mitades (split-half reliability) y fiabilidad de consistencia interna (int)

• Las dos se refieren a la fiabilidad de las respuestas de los encuestados en un mismo cuestionario

• La de dos mitades se refiere a la estabilidad de las respuestas de los encuestados en dos mitades (por ejemplo ítems par e impar)

• La de consistencia interna hace referencia a la estabilidad de la respuesta en pares de ítems (Ejemplo: ¿alguien que está contento con la limpieza de las consultas también debe estarlo con el mobiliario?)

• Sólo es aplicable si los cuestionarios pueden dividirse en dos partes semejantes


Cálculo del coeficiente de fiabilidad

• Es posible que para una determinada medida no sea aplicable algún tipo de fiabilidad

• Cada tipo de fiabilidad se mide con el denominado coeficiente de fiabilidad rxy ∈ [0,1], donde 0 indica que no hay fiabilidad y 1 que es perfecta

• También se puede utilizar el coeficiente alpha de Cronbach (ver validez)

• La fiabilidad se ve influenciada por la longitud del cuestionario, el número de ítems y la variabilidad de las puntuaciones (son correlaciones)

Valor coeficiente Fiabilidad

rxx ~ 0,9 Excelente

rxx ~ 0,8 Muy buena

rxx ~ 0,7 Aceptable

rxx ≤ 0,5 No recomendable


Principios de medida: Aspectos básicos de la validez

“ La validez es el grado en que un test o conjunto de operaciones mide lo que

dice medir”La validez es un concepto múltiple de modo que se puede hablar de varios tipos

de validez1. Validez de contenido

• ¿Representan los ítems el dominio que supuestamente miden?

• Valoración: opinión de expertos (no estadística)

• Cómo: depende del concepto aunque se puede partir de una lista de posibles indicadores para que un grupo de expertos en la materia decida si son o no apropiados

2. Validez relativa a criterio

• La medida (subjetiva) se correlaciona adecuadamente con un criterio de valoración externo

• Valoración: coeficiente de correlación rxy entre la/s medida/s y el criterio

• Cómo: se calcula la matriz de correlaciones de medidas y criterio

• Ejemplo: percepción del estado de salud y pruebas diagnósticas


Sesión 3. Diseño de Cuestionarios

Principios de medida: Aspectos básicos de la validez

3. Validez convergente y discriminante

• Validez convergente: correlación (coeficiente Cα

o alpha Cronbach) aceptable para todos los indicadores del mismo concepto

• Validez discriminante: correlación baja para indicadores de constructosdiferentes

• Cómo: se calcula el alpha para los indicadores del mismo concepto (debe ser superior a 0,8) se calcula el alpha para indicadores de conceptos diferentes (debe ser inferior a 0,6)

• Una alta correlación entre indicadores no implica necesariamente que midan el mismo constructo

• El coeficiente Cα

puede utilizarse para evaluar también la fiabilidad

4. Validez de concepto (construct)

• Los tres tipos de validez anteriores son útiles para evaluar la validez de constructo

• No existe una prueba única para evaluar la validez de constructo la cual requiere las tres anteriores


Primera Parte




4. Muestreo

Segunda parte





4. Muestreo

POBLACIÓN ≡ UNIVERSO = conjunto de todas las unidades que se estudianMUESTRA: Subconjunto de la poblaciónObjetivo: Trabajar con la muestra más pequeña posible � Balance COSTE- PRECISIÓN

Importante: Definición precisa de la poblaciónEjemplo: Encuesta de morbilidad hospitalaria (INE)–“se considera enfermo a toda persona que haya ingresado en un centro hospitalario para ser atendida,

diagnosticada u observada en régimen de internado y haya dado lugar a un alta hospitalaria”

TIPOS MUESTREOMuestreo probabilístico

Se conoce la probabilidad de cada individuo de la población de ser incluido en la muestra

Es posible determinar el error de muestreo mediante fórmulas matemáticas.Se pueden inferir y contrastar hipótesis.Muestreo no probabilístico

No se conoce la probabilidad de cada individuo de la población de ser incluido en la muestra

No es posible determinar el error de muestreo mediante fórmulas matemáticas.No se pueden inferir y contrastar hipótesis.–Muestreo por cuotas, Conveniencia, RutasJustificado cuando se quiere estudiar un grupo concreto

Muestreo probabilísticoTodas las muestras de tamaño “n” tienen la misma probabilidad de ser elegidas

Tipos de muestreo probabilístico:Muestro aleatorio simpleMuestreo aleatorio sistemáticoMuestreo aleatorio estratificadoMuestreo aleatorio por conglomeradosMuestreo polietápico (*)

A.Muestreo aleatorio simple:

1)Se asigna un número a cada individuo de la población.

2) A través de algún medio mecánico (bolas dentro de una bolsa, tablas de números aleatorios, números aleatorios generados con una calculadora u ordenador, etc) se eligen tantos sujetos como sea necesario para completar el tamaño de muestra requerido.

Este procedimiento, atractivo por su simpleza, tiene poca o nula utilidad práctica cuando la población que estamos manejando es muy grande

4. Muestreo

B. Muestreo aleatorio sistemático:

• Se numeran todos los elementos de la población, pero en lugar de extraer n números aleatorios sólo se extrae sólo uno.

• Se parte de ese número aleatorio i, que es un número elegido al azar, y los elementos que integran la muestra son los que ocupan los lugares i, i+k, i+2k, i+3k,...,i+(n-1)k, es decir se toman los individuos de k en k, siendo k el resultado de dividir el tamaño de la población entre el tamaño de la muestra: k=N/n. El número i que empleamos como punto de partida será un número al azar entre 1 y k.

• El riesgo se este tipo de muestreo está en los casos en que se dan periodicidades en la población ya que al elegir a los miembros de la muestra con una periodicidad constante (k) podemos introducir una homogeneidad que no se da en la población.

• Imaginemos que estamos seleccionando una muestra sobre listas de 10 individuos en los que los 5 primeros son varones y los 5 últimos mujeres, si empleamos un muestreo aleatorio sistemático con k=10 siempre seleccionaríamos o sólo hombres o sólo mujeres, no podría haber una representación de los dos sexos.

4. Muestreo

C. Muestreo aleatorio estratificado:

•Consiste en considerar categorías típicas diferentes entre sí (estratos) que poseen gran homogeneidad respecto a alguna característica (se puede estratificar, por ejemplo, según la profesión, el municipio de residencia, el sexo, el estado civil, etc).

•Lo que se pretende con este tipo de muestreo es asegurarse de que todos los estratos de interés estarán representados adecuadamente en la muestra.

•Cada estrato funciona independientemente, pudiendo aplicarse dentro de ellos el muestreo aleatorio simple o el estratificado para elegir los elementos concretos que formarán parte de la muestra.

•En ocasiones las dificultades que plantean son demasiado grandes, pues exige un conocimiento detallado de la población. (tamaño geográfico, sexos, edades,...).

•La distribución de la muestra en función de los diferentes estratos se denomina afijación, y puede ser de diferentes tipos:

–Afijación Simple: A cada estrato le corresponde igual número de elementos muestrales. –Afijación Proporcional: La distribución se hace de acuerdo con el peso (tamaño) de la población en cada estrato. –Afijación Optima: Se tiene en cuenta la previsible dispersión de los resultados, de modo que se considera la proporción y la desviación típica. Tiene poca aplicación ya que no se suele conocer la desviación.

4. Muestreo

D. Muestreo aleatorio por conglomerados:

•Los métodos presentados hasta ahora están pensados para seleccionar directamente los elementos de la población, es decir, que las unidades muestrales son los elementos de la población.

•En el muestreo por conglomerados la unidad muestral es un grupo de elementos de la población que forman una unidad, a la que llamamos conglomerado.

–Ejemplo: Servicios hospitalarios, centro de salud, departamentos universitarios, son conglomerados naturales.

•En otras ocasiones se pueden utilizar conglomerados no naturales como, por ejemplo, las urnas electorales. Cuando los conglomerados son área geográficas suele hablarse de "muestreo por áreas".

•El muestreo por conglomerados consiste en seleccionar aleatoriamente un cierto numero de conglomerados (el necesario para alcanzar el tamaño muestral establecido) y en investigar después todos los elementos pertenecientes a los conglomerados elegidos.

Muestreo polietápico

•Ante lo compleja que puede llegar a ser la situación real de muestreo con la que nos enfrentemos es muy común emplear lo que se denomina muestreo polietápico.

•Este tipo de muestreo se caracteriza por operar en sucesivas etapas, empleando en cada una de ellas el método de muestreo probabilístico más adecuado.

–Ejemplo: Primera etapa por conglomerados y segunda etapa muestreo aleatorio estratificado.

4. Muestreo

Muestreo no probabilístico

• No todos los sujetos de la población tienen la misma probabilidad de se elegidos. • Esto implica que no se tiene certeza de que la muestra extraída sea representativa.

Y entonces, ¿por qué se usa?1. Es el único método cuando se hacen estudios exploratorios2. A veces el muestreo probabilístico resulta costoso o imposible

Este muestreo puede depender de criterios subjetivos. La muestra se selecciona porque es conveniente, “Típica” o “está compuesta por casos muy interesantes”

Ejemplo “grupos focales”. Los individuos se eligen cuidadosamente pero no sistemáticamente, según características que tienen (psiquatras, residentes, etc.)

Este tipo de muestreos puede ser el apropiado para• Hacer una investigación exploratoria que permita obtener ideas que se puedan contrastar de modo

sistemático en una encuesta posterior.• Organizar colectivos, identificar líderes, crear redes, etc.

No obstante, este muestreo debe evitarse si lo que se desea es inferir los resultados a poblaciones mayores. Podría ser precisa o no pero no podemos distinguirlo. No hay manera de estimar el error de muestreo

Los datos son representativos de la muestra y por ello, resultan difíciles de defender ante quienes van a emplear los resultados.

4. Muestreo

Tipos de muestreo no probabilístico

1. Muestreo por cuotas2. Muestreo opinático o intencional3. Muestreo casual o incidental4. Muestreo bola de nieve5. Muestreo RDS

1. Muestreo por cuotas

• En este tipo de muestreo se fijan unas "cuotas" que consisten en un número de individuos que reúnen unas determinadas condiciones.

–Ejemplo: 20 pacientes de 25 a 40 años, de sexo femenino y fumadores.

• Una vez determinada la cuota se eligen los primeros que se encuentren que cumplan esas características. Este método se utiliza mucho en las encuestas de opinión.

• También denominado en ocasiones "accidental". • Se asienta generalmente sobre la base de un buen conocimiento de los estratos de la población y/o de los

individuos más "representativos" o "adecuados" para los fines de la investigación.• Es similar al muestreo aleatorio estratificado, pero no tiene el carácter de aleatoriedad de aquél.

Ejemplo: La Consejería de Sanidad y Consumo desea estudiar la incidencia de las drogas en la adolescencia. Primer paso: conocer cuales son los centros más afectados por el problema (informes de la Consejería de Educación).Segundo paso: fijar un número de sujetos a entrevistar proporcional a cada uno de los estratos (cuotas).Tercer paso: dejar en manos de los responsables del trabajo de campo a que sujetos concretos se deberáentrevistar.

4. Muestreo

Muestreo opinático o intencional:Este tipo de muestreo se caracteriza por un esfuerzo deliberado de obtener muestras

"representativas" mediante la inclusión en la muestra de grupos supuestamente típicos. Es muy frecuente su utilización en sondeos preelectorales de zonas que en anteriores votaciones han marcado tendencias de voto.

Muestreo casual o incidental: Se trata de un proceso en el que el investigador selecciona directa e

intencionadamente los individuos de la población. El caso más frecuente de este procedimiento el utilizar como muestra los individuos a los que se tiene fácil acceso (los profesores de universidad emplean con mucha frecuencia a sus propios alumnos). Un caso particular es el de los voluntarios.

Bola de nieve: Se localiza a algunos individuos, los cuales conducen a otros, y estos a otros, y así

hasta conseguir una muestra suficiente. Este tipo se emplea muy frecuentemente cuando se hacen estudios con poblaciones "marginales", delincuentes, sectas, determinados tipos de enfermos, etc.

RDS (Respondent Driven Sampling):

4. Muestreo

Selección de un encuestado a partir de un grupo• A veces la selección de la muestra no nos proporciona directamente las

personas que deben responder (respondents)• Ejemplo A: Tenemos una lista de hogares (direcciones) pero queremos

encuestar personas.• Ejemplo B: Tenemos una lista de empresas pero queremos encuestar

responsables de RRHH• Es más común de lo que parece. • Si telefoneamos a una casa y encuestamos al que responda, no tendremos

una muestra representativa de la población• ¿Qué se hace?• Pregunta filtro

– ¿Puedo hablar con el empleado de mayor edad?– ¿Puedo hablar con la persona +18 que haya celebrado su cumpleaños

más recientemente?• Método Kish

– Permite obtener una muestra aleatoria en estas situaciones– Generalmente se usa para entrevistas cara a cara aunque ya se han

hecho algunas propuestas para encuestas telefónicas y por correo

4. Muestreo

Método Kish:Situación de partida: • Queremos encuestar a una persona por domicilio. El único criterio de selección es

que el encuestado sea mayo de 18 años. – Puede haber varias personas que puedan responder en cada casa.

Paso 1:Se listan alfabéticamente todas las personas +18 años del hogar (apellido/nombre)Número total de personas: nPaso 2:A partir del último dígito del número de la casa (o de la planta) y del número de

personas utilizar la tabla siguiente para identificar a la persona que debe responder. • Importante: No puede elegirse otra persona para evitar sesgos.

4. Muestreo

¿Qué se hace cuando no se pueden inferir los resultados?

A. Se intentan inferir los resultados a una subpoblación (la formada por quienes han respondido)

Ejemplo: supongamos que en una encuesta dirigida a fumadores, la mayoría de las respuestas corresponden a hombres de 25-30 años.

En tal caso, seleccionaremos sólo las respuestas de este grupo y las inferiremos al total de ese segmento de la población (subpoblación). Previamente habráque determinar el tamaño de dicha subpoblación para medir el error de muestreo.

B. Se interpretan los resultados como descriptivos de los que han respondido.

C. Hay que tener en cuenta que NUNCA se debe hacer inferencia con muestras sesgadas. La discusión de los datos debe ser muy cautelosa.

D. No obstante, si se explica claramente en la metodología y los resultados son valorados e interpretados por un grupo de expertos, el estudio tendrá un nivel de calidad aceptable.

4. Muestreo


Primera Parte




4. Muestreo

Segunda parte






Sobre el trabajo de campo (encuesta por correo/Internet)Objetivo: maximizar la tasa de respuesta. En esta parte del proceso se pierde control sobre la encuestaPRENOTIFICACIÓN, ENVIO CUESTIONARIO + CARTA PRESENTACIÓN, RECORDATORIOS

CARTA PRESENTACIÓN / INTRODUCCIÓN• 1 página, agradeciendo participación• Personalizarla usando nombre o apellidos.• Mencionar el propósito del estudio, cómo y por qué ha sido elegido así como quién patrocina el estudio.• Dar razones que justifican el estudio. (Importancia, utilidad, etc…)• Garantizar confidencialidad y anonimato.• Explicar cómo se usará la información.• Dar plazos flexibles (*).• Dar instrucciones para devolver el cuestionario.• Datos de contacto para dudas.

Si la tasa respuesta es igual o mayor al 80%, no debe haber problemas. Si la tasa respuesta es inferior al 50%• Posiblemente no se puedan inferir los datos • Usar estadística descriptiva• Especial cuidado al obtener conclusiones• En el peor de los casos, se puede optar por describir los que han respondido• Es necesario determinar la presencia de sesgos en la no respuesta (hay técnicas estadísticas para ello)Posibles soluciones• Comparación de variables demográficas conocidas para quienes responden y quienes no lo hacen• Imputación aleatoria de respuesta• Contacto con una muestra aleatoria de los que no responden para tratar de estimar el sesgo

Sobre el trabajo de campo (encuesta por correo)

Tarea Mes 1 Mes 2 Mes 3 Mes 4 Mes 5 Mes 6

0. Objetivos E

1. Censo

2. Muestreo

3. Cuestionario E E

4.Trabajo campo

5. Grabación

6. Análisis

7. Informe E

8. Conclusión E E


•Codificar: establecer una serie de reglas y procedimientos que transforman las respuestas a una encuesta en códigos (números) para grabarse en un fichero informático. (Ejemplo: SPSS)

•Grabación de datos es el proceso por el que se introducen los datos en el fichero y se etiquetan tanto las variables como las modalidades

–Deben emplearse códigos numéricos siempre que sea posible–Conviene elaborar un plan de códigos–Se puede hacer al mismo tiempo que se hace el cuestionario pero conviene revisarlo cuando se hayan recibido algunas respuestas

–Número de cuestionario: el primer dato que se introduce–Cada cuestionario se graba en una sola fila

•Depuración de datos–Antes de grabar conviene revisar los cuestionarios–Comentarios en los márgenes, Marcas irregulares, Patrones de respuesta, falta de respuesta (VP)

–Quienes no deben responder una pregunta pero lo hacen: se asigna el código NA (no aplicable)

–Quien selecciona varias opciones en una pregunta en la que sólo se pide una: se le declara VP o se elige una de las respuestas

–Todas las asignaciones que se hagan deberán explicitarse en la metodología


Antes de asignar códigos conviene determinar cuántas columnas de datos necesitamos para cada pregunta

Tipo pregunta Columnas Códigos

Si/No 1 2 (0,1)

Likert (y similares) 1 N (1,..,N)

Escala (nº hijos) 1 No hay

Multirrespuesta (K modalidades) 1 ó k 1 ó 2 (0,1)

• Todas las preguntas del mismo tipo deben codificarse igual• Valores perdidos

• Todas las encuestas tienen valores perdidos. Hay tres tipos: NA, NS, NC• NA (No aplicable) cuando el encuestado no debe responder• NS (No sabe) cuando el encuestado selecciona esta opción o la deja en blanco• NC (No contesta) cuanto el encuestado deja en blanco la casilla correspondiente• En ocasiones se omite la opción NS y se agrupa a NC• NC: 8; NS: 9; NA: 0 // NC: 98; NS: 99; NA: 0 Estos códigos deben ser declarados como valores

perdidos a la hora de hacer el análisis• Preguntas abiertas. Hay dos opciones

– Grabar la respuesta literalmente (tipo cadena de caracteres)– Asignar códigos a grupos de respuestas similares– Codificar los primeros 25 y probar si es suficiente

Preguntas de respuesta múltiple. Se pueden codificar de dos modos diferentes• Si se graba en una sola columna se determina un código para cada combinación de elecciones (resulta útil cuando hay un número máximo de posibles elecciones)

• Si se graba en tantas columnas como opciones la codificación se realiza con 1 y 0 dependiendo de si la opción ha sido elegida o no



Primera Parte




4. Muestreo

Segunda parte





6. Encuestas en Internet

• CheckMarketCheckMarket is an enterprise tool and services provider in Europe. It has an extensive API and automated alerts. Works in 30 languages. Distribution channels include e-mail, SMS, social media, kiosk, etc. Reporting has native Office formats and sharable dashboards.http://www.checkmarket.com

• Survey MonkeyOffers a web-based interface for creating and publishing custom web surveys, and thenviewing the results graphically in real time.http://www.surveymonkey.com

• eSurveysProOnline tool that allows users to create and deploy free surveys, polls and questionnaires.http://www.esurveyspro.com

• QuestionProOnline service provider offering online surveys, survey panel management, idea panel management and micro polls. Case studies, demo and pricing available.http://www.questionpro.com

• Google Drive

• En http://www.survey-reviews.net/index.php/business-directory/ pueden encontrarse más herramientas


Primera Parte




4. Muestreo

Segunda parte





Tendencias en la investigación con encuestas

• Metodológicas:– Encuestas deliberativas: se encuesta a una muestra representativa, posteriormente se convoca a

los encuestados a una reunión en la que son informados por expertos sobre el tema de la encuesta dándoles elementos para reflexionar. Posteriormente se repite la encuesta con el mismo cuestionario para medir el impacto del proceso deliberativo.Referencia: http://www.cis.es/cis/export/sites/default/-Archivos/Marginales/Encuesta_deliberativa_dossier_prensa.pdf

– RDS (Respondent Driven Sampling): a partir de muestreos basados en red (ejemplo: bola de nieve) se aplican modelos matemáticos (Cadenas de Markov) para suprimir los efectos debidos al carácter no probabilístico de este tipo de muestreos. Referencia: http://www.respondentdrivensampling.org/

• Trabajo de campo:– Uso combinado de diferentes procedimientos: se encuesta inicialmente a todos por correo,

aquellos que no responden son encuestados mediante entrevista (telefónica, cara-a-cara)

• Análisis:– Análisis factorial de correspondencias múltiples: técnica especialmente indicada para encuestas.

Equivale al análisis factorial pero para variables cualitativas (escalas, Likert, etc.)– SEM (Structural Equation Modeling): Métodos estadísticos multivariantes que incluyen técnicas

como: • CFA (análisis factorial confirmatorio) apropiados para analizar la validez de constructos• Modelos estructurales con variables latentes que permiten incorporar varios indicadores por variable en

modelos causales en ecuaciones simultáneas• PLS (Partial Least Squares) permite trabajar con conceptos (constructs) sobre los que no existe un amplio

conocimiento teórico, bien estén basados en indicadores reflexivos o formativos.

Referencias bibliográficas

• Libros sobre el proceso completo de elaboración y análisis de encuestas– How to conduct your own survey

Salant, P.;Dillman, D.A. New York, 1994. John Willey & Sons. ISBN: 0-471-01273-4– Designing and conducting survey research

Rea, LM.; Parker, RA. San Francisco, 1997. Jossey-Bass. ISBN: 0-7879-0810-X– Surveys with confidence: A practical guide to survey research using SPSS

Rodeghier, M. Chicago, 1996. SPSS. ISBN: 1-56827-100-X

• De la serie “Cuadernos Metodológicos del CIS”– Encuestas telefónicas y por correo

Bosch, Josep Lluis C.; Torrente, Diego. Madrid, 1993. ISBN: 84-7476-184-0

– Manual de trabajo de campo en la encuestaDíaz de Rada, Vidal. Madrid, 2005. ISBN: 84-7476-388-6

– Métodos de Muestreo. Casos PrácticosRodríguez Osuna, Jacinto. Madrid, 1993. ISBN: 84-7476-179-4

• Libros sobre psicometría:– Escalas de medición en Ciencias Sociales

Wainermann, Catalina H. Buenos Aires, 1976. Ediciones Nueva Visión. – Teoría de la Fiabilidad y la Validez

Meliá, JL. Valencia (2001). Ediciones Cristóbal Serrano. ISBN: 84-89596-73-5Accesible en http://www.uv.es/~meliajl/Research/LibroTFVpdf/TFVindex.htm

Dr. Antonio García RomeroResponsable de la Unidad de Política de Investigación Biomédica.

Agencia Laín Entralgo

Departamento de Economía. Universidad Carlos III de Madrid

[email protected]

Teléfono: 913089423

taller 4 encuestas y cuestionarios presentacion

Health & Medicine