el metodo delphi - universidad autónoma de madrid · 2016-03-04 · presentar las principales...

55
EL METODO DELPHI Jon Landeta Rodríguez [email protected] eman ta zabal zazu universidad del país vasco euskal herriko unibertsitatea Seminario Dpto. de Estructura Económica y Economía del Desarrollo Universidad Autónoma de Madrid

Upload: vuonganh

Post on 14-Oct-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

EL METODO DELPHI

Jon Landeta Rodríguez [email protected]

eman ta zabalzazu

universidad

del país vasco

euskal herriko

unibertsitatea

Seminario

Dpto. de Estructura Económica y Economía del Desarrollo

Universidad Autónoma de Madrid

Page 2: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

OBJETIVOS DEL SEMINARIO

Presentar los fundamentos metodológicos del método

Delphi

Presentar las principales utilidades y/o campos de

aplicaciones del Delphi en la investigación

Dar pautas de actuación sobre los elementos de una

aplicación Delphi para su desarrollo eficaz.

Exponer ejemplos de diferentes ejercicios Delphi

Proporcionar información y bibliografía para la

aplicación autónoma del método Delphi

Analizar entre todos asistentes al seminario la viabilidad

de diferentes propuestas de investigación a través del

método Delphi.

Page 3: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Método Delphi

Proceso iterativo.

Anonimato de los participantes.

Feedback controlado.

Respuesta estadística de grupo.

Técnica de investigación social que tiene como objeto

la obtención de una opinión grupal fidedigna a partir

de un grupo de expertos.

Características

Page 4: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Utilidad del método Delphi Técnica de último resorte.

Técnica de complemento.

Técnica exploratoria

– Previsiones a largo plazo

– Alimentación de modelos cuantitativos

– Planteamiento y selección de alternativas de actuación

– Jerarquización de objetivos y valores

– Instrumento de comunicación y participación...

Page 5: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

“Los científicos naturales, en contraposición

a los sociales, tuvieron la oportunidad de

interesarse desde el principio por las cosas

que creían poder explicar, en lugar de que

alguien les exigiera a cada paso que

explicaran lo que a los demás les interesaba

conocer”

C. Levi Strauss..Criterios científicos en las disciplinas sociales y humanas

Page 6: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Premisas I 1º El futuro se construye: el futuro no ocurre por

simple inercia del pasado, sino que es el resultado

de complejas interacciones entre muchas fuerzas

diferentes:

2º El análisis tradicional, basado en el tratamiento de

la información objetiva, bien extrapolándola hacia

el futuro, bien detectando las relaciones que se dan

entre variables y construyendo modelos, presenta

importantes limitaciones.

3º En determinadas disciplinas y circunstancias es

aconsejable el recurso al juicio subjetivo

Page 7: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Premisas II

4º El juicio subjetivo de los expertos está

sujeto a numerosas limitaciones,

imperfecciones y sesgos

5º La calidad del juicio grupal es superior

generalmente al juicio individual

6º En los procesos de creación de juicio grupal

cara a cara se suelen producir efectos no

deseados que limitan la calidad del juicio

grupal

Page 8: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Proceso

1. Obtener información de un grupo de

expertos

2. Aplicar una metodología de selección,

integración y mejora de esa información

3. Alcanzar una opinión/juicio grupal de mayor

calidad que el de la mayoría de los expertos

individuales y, deseablemente, que el de

cualquier experto individual

Page 9: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Proceso

GRUPO

COORDINADOR

PLANTEAMIENTO

DEL OBJETO

DE PRONÓSTICO

CUESTIONARIO 1 EXPERTOS

ANÁLISIS Y

AGREGACIÓN

DE RESPUESTAS

GRUPO

COORDINADOR

RESPUESTAS

EXPERTOSCUESTIONARIO 2

RESPUESTAS

GRUPO

COORDINADOR

ANÁLISIS Y

AGREGACIÓN

FINAL

ANÁLISIS Y

AGREGACIÓN

DE RESPUESTAS

CUESTIONARIO 3 EXPERTOS

RESPUESTAS

GRUPO

COORDINADOR

Page 10: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: el grupo coordinador

1º Estudiar y aprobar el protocolo de trabajo

2º Estudiar y aprobar la lista de expertos participantes

3º Confeccionar los cuestionarios e impulsar la participación efectiva de

los expertos

4º Analizar las respuestas, preparar los siguientes cuestionarios y facilitar

el feedback oportuno

5º Interpretar los resultados

6º Supervisar la correcta marcha de la investigación y proponer y tomar medidas

correctoras, si fuera necesario

Grupo coordinador: equipo reducido de

personas conocedoras del objeto de estudio y de la

técnica Delphi Funciones:

Page 11: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: los expertos

1º Nivel de conocimientos

2º Capacidad predictiva

3º Grado de afectación por las consecuencias del estudio

4º Capacidad facilitadora

5º Grado de motivación

6º Otros (coste, proximidad, facilidad de participación…)

Experto: aquella persona aquella persona cuya situación

y recursos le posibiliten contribuir positivamente a la

consecución del fin que ha motivado la iniciación del

trabajo Delphi.

Criterios de selección:

¿QUIENES SON EXPERTOS?

Page 12: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: los expertos II

1º Expertos sabios o especialistas

2º Expertos afectados

3º Expertos facilitadores

Tipología básica

Page 13: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: los expertos III

¿CUÁNTOS EXPERTOS?

1. Orientativamente, un mínimo de 7 por

área de conocimiento compartida

2. Alcance geográfico

3. Colectivos que participan

4. Áreas de conocimiento representadas

5. Consideraciones económicas,

organizativas, temporales,

motivacionales…

Page 14: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: los expertos IV

No hay receta.

Interés del tema, retribución, recomendación,

…seducción.

Clave:

ponerse en lugar del experto al que le

pedimos su colaboración

¿COMO PONERSE EN CONTACTO Y

CAPTAR LOS EXPERTOS?

Page 15: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Agentes: los expertos V

1. Previamente:

Indicadores indirectos, grupos de expertos,

bola de nieve, autoselección de afectados,

autoselección por colectivos, tests directos…

2. Durante el proceso:

Autovaloración, valoración subjetiva externa.

¿COMO EVALUAR SU PERICIA E

IDONEIDAD?

Page 16: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Cuestionario I

Optativo: preguntas abiertas preparatorias de las

preguntas Delphi. (ronda previa)

Ejemplos de preguntas

Yacimientos de empleo que, en su opinión, vayan a tener especial relevancia en los próximos años

Competencias y habilidades más importantes para un directivo

Cursos de postgrado para un titulado en LADE

Page 17: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Cuestionario II

Preguntas Delphi: preguntas cerradas, que permitan

el tratamiento estadístico de los datos

Optativo: datos objetivos que centren la pregunta y

las respuestas

Área abierta, para la aportación de información

cualitativa y cuantitativa por parte de los expertos

que justifique su respuesta

Información cuantitativa y cualitativa obtenida en la

ronda anterior (a partir de la segunda ronda).

Page 18: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Ejemplos de preguntas, si queremos saber sobre:

El precio de un hotel de 5 estrellas en Barcelona

Porcentaje sobre el total del producto que supone el consumo de una determinada materia prima

La opinión respecto a la configuración de un régimen de acceso y promoción para el personal docente dentro del modelo laboral

La opinión respecto a que los profesores contratados tengan los mismos complementos docentes, investigadores o de gestión que los profesores funcionarios

La opinión respecto a la creación de una Agencia Autonómica de Evaluación de la Calidad y de la Acreditación (AAECA)

La opinión respecto al origen y número de los miembros que integrarían la parte no perteneciente a la comunidad universitaria del Consejo Social

Page 19: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Ejemplos de preguntas, si queremos saber sobre:

El papel de la innovación en un nuevo modelo económico español. Ejemplo 1: Es preciso establecer incentivos para que las pequeñas y medianas empresas inviertan más en Sociedad de la Información Ejemplo 2: Para que haya más empresas investigadoras e innovadoras es preciso que los incentivos fiscales gocen de continuidad en el tiempo

La importancia de la presencia de diversos factores para el éxito de un proceso de coaching

La eficacia de diferentes medidas para mejorar la formación continua de los directivos

La evolución futura de diferentes variables económicas

La actuación futura de diferentes mecanismos de control financieros

Page 20: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Hipótesis, datos y pregunta Su grado de

Conocimiento

Su previsión

4 Muy alto

3 Alto

2 Bajo

1 Muy bajo

Cuota de las

exportaciones

de los países

BRIC 2020

Cuota de las

exportaciones

de los países

BRIC 2030

Cuota de las

exportaciones

de los países

BRIC 2050

La cuota de las exportaciones de los países

BRIC, comparada con las exportaciones

mundiales, estará al mismo nivel que la

cuota de exportaciones europea (EU 27)

en 2030, siendo la cuota de

aproximadamente del 23%.

Fuente: En la actualidad es del 14%, a

partir del 5,8% en 1990.

ROLAND BERGER, «Trend Compendium

2030».

Indique su previsión sobre el incremento

de la cuota de las exportaciones de los

países BRIC en el total de exportaciones,

en los horizontes propuestos.

Razones/ comentarios

Page 21: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Hypothesis, data and question Level of

knowledge

Your foresight

4 Very high

3 High

2 Low

1 Very low

Central Banks

will keep their

main goal as

price stability

Central Banks

will pay more

attention to

the real

economic

activity,

although price

stability will

remain the

main goal

Central

banks will

give a

similar

relevance

to price

stability

and real

economic

activity

Central banks

will give higher

relevance to real

economic

activity than to

price stability,

even setting

targets for

economic

activity

Do you think that central banks

whose main objective is price

stability (like, among others, the

ECB) will in the short-medium

term change their monetary

strategy adopting e.g. a dual

mandate à la Fed: i.e., including

in their objectives not only

inflation-price stability but also

high real economic activity (e.g.,

employment, economic growth,

etc.)

Reasons

/comme

nts

Question 14. Objectives of monetary policy

Page 22: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

La CAV tiene competencia para desarrollar una Agencia Vasca de Evaluación de la Calidad y de la

Acreditación. De ser creada, esta Agencia debería, en general, evaluar, certificar y acreditar las enseñanzas

universitarias y las actividades docentes, investigadoras y de gestión de los agentes universitarios.

Específicamente, esta Agencia Autonómica asumiría cometidos que, de no constituirse, recaerían por ley

directamente en la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) que se creará

con este fin. Estos cometidos son:

•Evaluación previa de las tareas docentes e investigadoras de los doctores que accedan a concursos para su

contratación como Profesores Ayudantes Doctores o Profesores Contratados Doctores. Esta evaluación

deberá resultar positiva para poder concursar a la plaza.

•Emisión de informes previos a la contratación de Profesores Colaboradores. Estos informes deberán ser

necesariamente favorables para poder concursar a la plaza.

•Valoración de los méritos docentes, de investigación y de gestión de los profesores contratados y

funcionarios para el establecimiento, en su caso, de retribuciones adicionales ligadas a esos conceptos

8- ¿Le parece conveniente y necesaria la creación de una Agencia

Autonómica de Evaluación de la Calidad y de la Acreditación?

0 1 2 3 4 5

Muy

inconveniente Inconveniente

Algo

conveniente

Bastante

conveniente

Muy

conveniente

Imprescindible

Ns/

nc

Razones de su respuesta: -

-

-

Page 23: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Preguntas Delphi I

Jerarquizaciones, valuaciones o

comparaciones

Estimaciones cuantitativas

Estimaciones puntuales

Absolutas

Probabilistas

No puntuales

Intervalos de confianza

Tripletas de confianza

Page 24: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Preguntas Delphi II. Consejos

Preguntas claras y concisas

Realizar pretests

Orientadas hacia la valuacion, jerarquización,

comparación o hacia estimaciones cuantitativas

concretas

Items procedentes de preguntas abiertas anteriores

Adaptadas al colectivo que debe responder

No incluir demasiadas preguntas (<30)

Page 25: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Preguntas Delphi III. Respuestas Integrar las respuestas empleando preferentemente la

mediana (o media en ocasiones)

Mediana de las posiciones (jerarquización)

Mediana de las valoraciones (valuación)

Mediana de las estimaciones puntuales

Mediana de las estimaciones no puntuales

Acompañar la medida de tendencia central con

indicadores de dispersión (rango intercuartílico,

desviación típica, varianza…)

Page 26: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Preguntas Delphi IV. Feedback

Información cuantitativa indicadora de la opinión

general del grupo (mediana y cuartiles,

generalmente)

Información, comentarios, razonamientos aportados

por los expertos (mediados por los coordinadores)

Información aportada por el propio grupo

coordinador

Page 27: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Preguntas Delphi. 2ª ronda

Ejemplos

Page 28: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Question 14. Objectives of monetary policy

Hypothesis, data and question Level of

knowledg

e

Percentage of total responses

4 Very

high

3 High

2 Low

1 Very

low

main

goal as

price

stability

attention

to the

real

economic

activity,

price

stability

the main

goal

similar

relevance

to price

stability

and real

economic

activity

relevance

to real

economic

activity

Do you think that central

banks whose main objective is

price stability ...

3.2 xx.x* yy.y* zz.z* Gg.g*

Number

of answers

Mean Median Standard

deviation

Quartile 1 Quartile 3

50 2.04 2 0.87 1 2

Descriptive statistics question 14 *Datos sin publicar

Page 29: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

xx% of experts think that central banks will give more importance than nowadays to

objectives directly related to the real economic activity (employment, unemployment,

GDP growth, etc.). This does not mean that they consider that central banks will

significantly alter the ranking of objectives, putting real economic activity at a similar

level than price stability. Indeed, yy% of experts believe that price stability will remain

the main objective of monetary policy despite the higher relevance attributed to real

economic activity. Actually, these data imply that zz% of experts believe that in the next

years price stability will be the main objective of monetary policy, and only gg% of

answers think that real economic activity will have a similar or higher relevance than

price stability.

Experts argue that due to the stagnation in economic activity, central banks are being

forced to more importance to real economic activity:

•“With the deflationary pressures and lack of aggregate demand, the CB’s may have to

give relevance to real economic activity”

•“It will not shift easily but I suspect with economic stagnation the pressure for a more

subtle and interventionist policy will increase”.

However, some experts also think that, mainly in the case of the ECB there are political

and legal obstacles to change the significantly upgrade the role given to real economic

activity:

•“I doubt whether setting targets for economic activity is possible, as it would require,

among others, the change in the ESCB Statute. However, eclectic approach to monetary

policy replacing pure direct inflationary targeting seems unavoidable”

•“In the case of FED and ECB, there is a lot of pressure from financial sector to move

back to a monetary policy focused on price stability as main goal”

•“It is very difficult to change the EU Constitution”

Page 30: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

- Una buena evaluación implica conocer la realidad y características particulares

de la sociedad y universidades vascas

- Se podría formar por gente adecuada para ser más ágil, específica y eficiente

que la ANECA

- La CAV dispone de capacidad suficiente para desarrollar dicha agencia

- Contribuiría a asegurar la autonomía universitaria

- Permitiría a la sociedad vasca desarrollar sus propios mecanismos de gestión

universitaria, adecuándolos a las necesidades de cada momento

- Todas las comunidades crearán su propia agencia, y el no hacerlo aquí nos

podría perjudicar

- Una única agencia nacional podría ser controlada por grupos de presión,

académicos o políticos, que ejercerían su influencia sobre todo el Estado

- Ayudaría a que se conozcan las ventajas de trabajar bajo patrones de calidad y

mejora

8- ¿Le parece conveniente y necesaria la creación de una Agencia

Autonómica de Evaluación de la Calidad y de la Acreditación (AAECA)?

(lea las razones aducidas a favor y en contra en la ronda anterior por los

expertos consultados, así como algunas de sus puntualizaciones, y vuelva a

emitir su opinión personal)

Razones que justifican la CONVENIENCIA de la creación de una

Agencia Autonómica de Evaluación de la Calidad y de la Acreditación:

Page 31: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

- En la CAV no hay suficientes investigadores con el debido reconocimiento

académico como para integrar una AEECA exclusivamente vasca

- Carecen de sentido las agencias autonómicas, ya que en el ámbito de la

declaración de Bolonia se debe ir hacia una única agencia europea.

- Bastaría con una agencia; o se crean agencias autonómicas o se crea una

nacional, para no duplicar funciones

- Sólo es una cuestión política

- No tiene sentido que si son funcionarios del Estado sean evaluados por una

agencia autonómica

- La AEECA debería estar homologada en cuanto a criterios y metodología

con la ANECA.

0 1 2 3 4 5

Muy

inconveniente Inconveniente

Algo

conveniente

Bastante

conveniente

Muy

conveniente

Imprescindible

Ns/

nc

Razones que justifican la INCONVENIENCIA de la creación de una

Agencia Autonómica de Evaluación de la Calidad y de la Acreditación:

Marque una X al lado del número de la casilla de la respuesta que

considere más apropiada para la pregunta 8:

Puntualizaciones adicionales

Marque una X al lado del número de la casilla de la respuesta que considere más

apropiada para la pregunta 8:

Page 32: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

RESULTADOS (Ejemplo de la evolución de un item):

Hotel (sólo alojamiento) / Consumo externo – Destino: Barcelona

Hotel (sólo alojamiento)/Consumo Externo- BCN

1.500

2.000

2.500

3.000

3.500

4.000

1 2 3

Mediana Cuartil 25% Cuartil 75%

Cuest. 1 Cuest. 2 Cuest. 3

Mediana 2,800 2,800 2,800

Cuartil 25% 2,000 2,375 2,438

Cuartil 75% 3,500 3,100 3,000

Media Pond. 3,000 2,804 2,783

Var. RIR 27.68% 5.80%

Var. Res. Exp. 57.14% 35.71%

Consenso 53.57% 25.89% 20.09%

Page 33: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Fin del proceso Delphi. Criterios

Estabilidad.

Variación del rango intercuartílico relativo (Q3-Q1)/Q2

menor a X

Variación del oeficiente de variación (desv. tip/ media)

menor a X

Criterios ad hoc

Proporción de expertos que modifican su respuesta

Criterio práctico: número preestablecido de rondas

Page 34: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Análisis de los resultados

Análisis cuantitativo de la distribución de las respuestas

Posiciones mayoritarias: medianas, medias

Posiciones controvertidas: rango intercuartílicos, varianzas,

desviación típica, desviación media

Existencia de subgrupos diferenciados

Análisis global

Integración del análisis cuantitativo de los resultados con el

análisis cualitativo de las informaciones cualitativas de los

expertos y con las propias percepciones de los coordinadores

Page 35: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Valoración de la calidad de los

resultados

Estabilidad y calidad del panel

(autoevaluación)

Tiempo transcurrido entre rondas

Comentarios recogidos de los expertos

(información cualitativa)

Consenso / convergencia de opiniones.

Estabilidad de los resultados entre rondas

Valoración positiva de los propios expertos

participantes

Page 36: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Informe final

Descripción de la situación en la que se plantea el estudio,

objetivos y reseña metodológica

Datos técnicos de los participantes (coordinadores y expertos –

caracterización, bajas, reposiciones-)

Evolución de las opiniones en las distintas rondas

Resultados finales

Análisis por subgrupos

Escenarios o realidades negociadas y compartidas sobre las que

se asientan estos resultados

Indicadores de calidad del estudio

Page 37: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Informe final

FESSUD Percentage of total responses (%)

Strongly

disagree

Disagree Agree Strongly

agree

I think that the Delphi method has been

effective to obtain and improve the

opinions of the members of the experts

panel

4.8 9.5 69.0 16.7

The feedback obtained of the first

questionnaire (statistics and qualitative

comments) has been useful to improve

the confidence in my responses to the

second questionnaire

4.7 14 74.4 7

The questionnaire was clear and

precise

0 4.8 57.1 38.1

I am satisfied with my participation in

this study

0 9.5 52.4 38.1

Question 34. Assessment of the Delphi study

Page 38: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Tipología I

Por el soporte

Delphi convencional

Delphi en tiempo real

Por el objetivo

Delphi consenso

Delphi disenso (Policy Delphi)

Page 39: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Tipología II

Por la utilidad

Delphi previsión o estimación consensuada

Delphi análisis y comprensión de realidades complejas

Delphi de decisión y creación de realidad (asesoramiento o

decisión)

Delphi de aprendizaje

Delphi de información y participación

Delphi de aceptación y confianza en la decisión final

Page 40: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Limitaciones. Debilidades

metodológicas I

Se basa en el juicio subjetivo

El consenso puede ser ficticio y no garantiza que sea

real

El feedback controlado limita el intercambio de

información

Restringe la posibilidad de recompensa social

El anonimato puede favorecer una participación

irresponsable

Page 41: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Limitaciones.

Aplicaciones deficientes

Selección poco rigurosa de expertos

No explicitación de la evolución del panel

Formulación defectuosa de las preguntas

Insuficiente definición del problema

Análisis superficial de las respuestas

Análisis cuantitativo incompleto de los resultados

Falta de visión global

Page 42: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Aportaciones del Delphi

Anonimato de las aportaciones individuales

Feedback controlado

Iteración

Cuantificación de los resultados

Metodología flexible

Conducción relativamente sencilla

Page 43: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Delphi e investigación

Poco conocido, bastante utilizado

Table 1. Frequency of Delphi articles Published over the Study Period.

Database Period Delphi articles

Science Direct 1995-99 367 Science Direct 2000-04 571 ABI Inform 1995-99 47 ABI Inform 2000-04 106 Psycho 1995-99 86 Psycho 2000-04 162 Medline 1995-99 361 Medline 2000-04 547

Table 2. Frequency of Delphi Dissertations and Theses.

Years Delphi Theses % of total

1965-69 0 0.000000 1970-74 44 0.000152 1975-79 99 0.000487 1980-84 298 0.001320 1985-89 335 0.001398 1990-94 335 0.001157 1995-99 281 0.000924

2000-04 260 0.000924

Page 44: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Delphi e investigación

En Economía, empleo preferente en:

Estudios explorativos

Trabajos normativos

Forecasting

Hybrid Delphi

Page 45: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Delphi e investigación:

Hybrid Delphi Process

Researchers

FGModified

NGTDelphi

1st round

Delphi2nd round

5-10

experts

Information

Theoretical approach

Approach to the problem

Focused

and

involved

experts

Focused

and

involved

experts

Focused

and

involved

experts

Questions 1st Delphi

questionnaire

2nd Delphi

questionnaire

List of

proposals

Other proposals

Information

Theoretical approach

Approach to the problem

Delphi Answers

Arguments

New proposals

Information

processing

ResearchersResearchersResearchers

Satisfied

experts

Lists of ordered

proposals and

arguments

input

output

Face-to-face stage Non face-to-face stage

Page 46: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Dimensiones influyentes en el coaching ejecutivo

PROCESO

COACH COACHEE RELACIÓN

CONTEXTO ORGANIZATIVO

(Jarvis et al., 2006; Hill, 2010; Passmore & Fillery-Travis, 2011).

Page 47: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

factores influyentes en el coaching ejecutivo

COACH

Compromiso del coach

Manejo de habilidades para fomentar la relación

Capacidad del coach para desarrollar confianza

Capacidad del coach para desafiar al coachee

COACHEE

Compromiso coachee

Apertura coachee a nuevas alternativas

Motivación del coachee por aprender

RELACIÓN COACH-COACHEE

Confianza / Empatía

Calidad de la relación / Confidencialidad

PROCESO

Feedback / Desafío continuo

Establecimiento de objetivos claros

CONTEXTO ORGANIZATIVO

Apoyo jefatura/ Coach externo

Cultura organizativa

Page 48: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Investigadores

FG TGNabreviado

Delphi 1ª ronda

Delphi 2ª ronda

Información

Aproximación teórica

Aproximación al problema

Expertos

centrados e

implicados

Expertos

centrados e

implicados

Expertos

centrados e

implicados

Preguntas 1º cuestionario

Delphi

2º cuestionario

Delphi

Lista de

factores

Información

Aproximación teórica

Aproximación al problema

Otros factores

Respuestas Delphi

Argumentos

Nuevos factores

Proceso de la

información

InvestigadoresInvestigadoresInvestigadores

Expertos

satisfechos

e implicados

Listado ordenado

y jerarquizado

de factores y

argumentos

input

output

Fase presencial Fase no presencial

Investigadores

Fase Previa

Selección de

los expertos

12 expertos12 expertos 35 expertos 35 expertos

FG15 expertos

Listado final ordenado,

jerarquizado y contrastado

de factores y argumentos

Page 49: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

FACTORES COACHMediana

Global MediaQ3-Q1 Impacto

Mediana

Coach

Mediana

CoacheeMediana R.H.

Ser capaz de transmitir y generar confianza en el coachee 9 9,33 1

MUY

ALTO

9 10 9

Competencia en el manejo de habilidades de comunicación (

escucha activa, asertividad, análisis y síntesis…)9 8,85 0 9 9 9

Vocación. Interés genuino por comprender en profundidad la

naturaleza humana y sus comportamientos.9 8,78 2 9,5 9 9

Compromiso con el coachee y la empresa 9 8,73 2 8 9 9

Conocimientos profundos de la naturaleza humana por parte del

coach (generados a través de la experiencia y/o la formación

específica)

9 8,44 1 9 9 8

Bagaje experiencial adicional al de coaching (experiencia directiva,

laboral, vivencial…)8,5 8,18 1

ALTO

7 9 8

Ser capaz de transmitir eficientemente el feedback

(retroalimentación adecuada del coach al directivo coachee)8 8,39 1 8 9 8

Experiencia de coaching ejecutivo 8 8,39 1 9 8 8

Competencia en el manejo de habilidades de motivación

(superación de resistencias, desafío al coachee…)8 8,31 1 8 9 8

Conocimiento de coaching ejecutivo 8 8,18 1 8 8 8

Humildad profesional: el coach solo es un facilitador, el directivo es

el "protagonista" en la relación. Empoderamiento al directivo8 7,84 1 8 9 8

Poseer la certificación como coach 8 7,30 2 6 8 8

Toma de conciencia sobre aspectos de dirección, política y negocio

de la organización7 6,97 2 7 8 7

Dominio de un amplio abanico de técnicas y herranientas

formativas7 6,82 0 7 7 7

Reputación 7 6,55 2 7 7 7

Formación o estudios en sicología 5 5,24 3

MEDIO

5 6 5

Edad (la edad del coach puede influir negativamente en el éxito del

proceso: coach demasiado joven, diferencia de edad entre coach-

coachee…)

5 4,61 3 5 5 4

Sexo (que el coach sea hombre o que sea mujer, o que sea de igual

o de distinto género que el coachee…)0 1,97 4 BAJO 2 0 0

FACTORES COACHMediana

Global MediaQ3-Q1 Impacto

Mediana

Coach

Mediana

CoacheeMediana R.H.

Ser capaz de transmitir y generar confianza en el coachee 9 9,33 1

MUY

ALTO

9 10 9

Competencia en el manejo de habilidades de comunicación (

escucha activa, asertividad, análisis y síntesis…)9 8,85 0 9 9 9

Vocación. Interés genuino por comprender en profundidad la

naturaleza humana y sus comportamientos.9 8,78 2 9,5 9 9

Compromiso con el coachee y la empresa 9 8,73 2 8 9 9

Conocimientos profundos de la naturaleza humana por parte del

coach (generados a través de la experiencia y/o la formación

específica)

9 8,44 1 9 9 8

Bagaje experiencial adicional al de coaching (experiencia directiva,

laboral, vivencial…)8,5 8,18 1

ALTO

7 9 8

Ser capaz de transmitir eficientemente el feedback

(retroalimentación adecuada del coach al directivo coachee)8 8,39 1 8 9 8

Experiencia de coaching ejecutivo 8 8,39 1 9 8 8

Competencia en el manejo de habilidades de motivación

(superación de resistencias, desafío al coachee…)8 8,31 1 8 9 8

Conocimiento de coaching ejecutivo 8 8,18 1 8 8 8

Humildad profesional: el coach solo es un facilitador, el directivo es

el "protagonista" en la relación. Empoderamiento al directivo8 7,84 1 8 9 8

Poseer la certificación como coach 8 7,30 2 6 8 8

Toma de conciencia sobre aspectos de dirección, política y negocio

de la organización7 6,97 2 7 8 7

Dominio de un amplio abanico de técnicas y herranientas

formativas7 6,82 0 7 7 7

Reputación 7 6,55 2 7 7 7

Formación o estudios en sicología 5 5,24 3

MEDIO

5 6 5

Edad (la edad del coach puede influir negativamente en el éxito del

proceso: coach demasiado joven, diferencia de edad entre coach-

coachee…)

5 4,61 3 5 5 4

Sexo (que el coach sea hombre o que sea mujer, o que sea de igual

o de distinto género que el coachee…)0 1,97 4 BAJO 2 0 0

Page 50: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

FACTORES COACHEEMediana

Global MediaQ3-Q1 Impacto

Mediana

Coach

Mediana

Coachee

Mediana

R.H.

La necesidad o motivación por aprender, desarrollarse o estar bien 9 9,30 1

MUY

ALTO

9 10 10

Responsabilidad del coachee en su propio proceso de

aprendizaje/autodesarrollo9 9,30 1 9 10 10

Compromiso con el proceso 9 9,27 1 9 10 10

Flexibilidad cognitiva (apertura a nuevas alternativas) 8 8,31 1

ALTO

8 9 8

Autoconciencia (reconocimiento de sus fortalezas, debilidades y

necesidades)8 7,66 1 7 8,75 8

Autoeficacia (conciencia de ser capaz de alcanzar la mayoría de los

objetivos que se proponga)7 7,13 1,75 7 8 7

Oportunidad del momento para el directivo 7 7,06 2 7 8 7

Autoestima 7 6,79 1 6 7 7

El directivo otorga al coach el poder para dirigir su cambio 7 5,97 3 6 5 7

Cargo ocupado 5 4,12 1

MEDIO

5 5 5

Edad 5 3,95 2 5 5 5

Sexo 0 1,48 4 BAJO 0 0 0

FACTORES COACHEEMediana

Global MediaQ3-Q1 Impacto

Mediana

Coach

Mediana

Coachee

Mediana

R.H.

La necesidad o motivación por aprender, desarrollarse o estar bien 9 9,30 1

MUY

ALTO

9 10 10

Responsabilidad del coachee en su propio proceso de

aprendizaje/autodesarrollo9 9,30 1 9 10 10

Compromiso con el proceso 9 9,27 1 9 10 10

Flexibilidad cognitiva (apertura a nuevas alternativas) 8 8,31 1

ALTO

8 9 8

Autoconciencia (reconocimiento de sus fortalezas, debilidades y

necesidades)8 7,66 1 7 8,75 8

Autoeficacia (conciencia de ser capaz de alcanzar la mayoría de los

objetivos que se proponga)7 7,13 1,75 7 8 7

Oportunidad del momento para el directivo 7 7,06 2 7 8 7

Autoestima 7 6,79 1 6 7 7

El directivo otorga al coach el poder para dirigir su cambio 7 5,97 3 6 5 7

Cargo ocupado 5 4,12 1

MEDIO

5 5 5

Edad 5 3,95 2 5 5 5

Sexo 0 1,48 4 BAJO 0 0 0

Page 51: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

FACTORES RELACION COACH COACHEE Mediana Media Q3-Q1 Impacto

Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Confidencialidad 10 9,73 0 MUY

ALTO

10 10 10

Confianza 9 9,42 1 9 10 9

Empatía 9 9,03 2 8 9 9

Autenticidad (transparencia, honestidad, no hipocresía) 9 8,88 2 9 9 9

Respeto mutuo incondicional 9 8,82 1 9 10 9

Profesionalidad en la relación (equilibrio entre distancia y

proximidad)8 8,76 2 ALTO 8 10 8

FACTORES RELACION COACH COACHEE Mediana Media Q3-Q1 Impacto

Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Confidencialidad 10 9,73 0 MUY

ALTO

10 10 10

Confianza 9 9,42 1 9 10 9

Empatía 9 9,03 2 8 9 9

Autenticidad (transparencia, honestidad, no hipocresía) 9 8,88 2 9 9 9

Respeto mutuo incondicional 9 8,82 1 9 10 9

Profesionalidad en la relación (equilibrio entre distancia y

proximidad)8 8,76 2 ALTO 8 10 8

Page 52: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

FACTORES DEL PROCESO Mediana Media Q3-Q1 Impacto Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Feedback (retroalimentación adecuada del coach al directivo coachee) 8 8,45 1

ALTO

8 9 8

Enfoque en la fijación y alcance de objetivos (establecimiento de objetivos

claros, orientación permanente hacia objetivos concretos)8 8,32 1 8 9 8

Desafío continuo a través de nuevas acciones 8 7,82 2 7 8 8

Medición continua de los resultados durante el proceso 8 7,52 1 7 8 8

Evaluación de los progresos realizados a la conclusión del proceso (por

ejemplo, feedback 360º)8 7,48 1 7 8 8

Evaluación del coach 8 7,45 1 8 8 8

Lugar y condiciones donde se realizan las sesiones de coaching 8 7,36 1 7 8 8

Duración adecuada en tiempo y número de sesiones 7 7,21 1 7 8 7

Diagnóstico de la situación inicial del directivo (por ejemplo, feedback

360º, MBTI)7 7,15 1 7 8 7

Modalidad de la sesión (presencial, videoconferencia, telefónica…) 7 7,09 1 7 8 7

Trabajo y contacto continuo entre sesiones 7 7,00 1 6 8 7

Seguimiento consistente (sesiones de apoyo una vez finalizado el proceso) 7 6,91 1 6 8 7

Complementar el proceso del coaching ejecutivo individual con procesos

grupales (coaching de equipos, dinámicas outdoor, diferentes áreas vs

áreas similares, etc)

7 6,45 3 7 7 7

Evaluación y presentación de resultados a la empresa contratante 6 6,27 1MEDIO

6 6 6

Sesión grupal de sensibilización sobre el coaching 6 6,00 2 6 6 6

FACTORES DEL PROCESO Mediana Media Q3-Q1 Impacto Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Feedback (retroalimentación adecuada del coach al directivo coachee) 8 8,45 1

ALTO

8 9 8

Enfoque en la fijación y alcance de objetivos (establecimiento de objetivos

claros, orientación permanente hacia objetivos concretos)8 8,32 1 8 9 8

Desafío continuo a través de nuevas acciones 8 7,82 2 7 8 8

Medición continua de los resultados durante el proceso 8 7,52 1 7 8 8

Evaluación de los progresos realizados a la conclusión del proceso (por

ejemplo, feedback 360º)8 7,48 1 7 8 8

Evaluación del coach 8 7,45 1 8 8 8

Lugar y condiciones donde se realizan las sesiones de coaching 8 7,36 1 7 8 8

Duración adecuada en tiempo y número de sesiones 7 7,21 1 7 8 7

Diagnóstico de la situación inicial del directivo (por ejemplo, feedback

360º, MBTI)7 7,15 1 7 8 7

Modalidad de la sesión (presencial, videoconferencia, telefónica…) 7 7,09 1 7 8 7

Trabajo y contacto continuo entre sesiones 7 7,00 1 6 8 7

Seguimiento consistente (sesiones de apoyo una vez finalizado el proceso) 7 6,91 1 6 8 7

Complementar el proceso del coaching ejecutivo individual con procesos

grupales (coaching de equipos, dinámicas outdoor, diferentes áreas vs

áreas similares, etc)

7 6,45 3 7 7 7

Evaluación y presentación de resultados a la empresa contratante 6 6,27 1MEDIO

6 6 6

Sesión grupal de sensibilización sobre el coaching 6 6,00 2 6 6 6

Page 53: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

FACTORES DEL CONTEXTO ORGANIZATIVO Mediana Media Q3-Q1 Impacto Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Garantizar la confidencialidad 10 9,59 0,5

MUY

ALTO 9 10 10

Apoyo y compromiso de la dirección (apertura y aceptación de los

cambios adoptados por el coachee)8 8,45 1

ALTO

8 9 9

Apoyo directo del jefe jerárquico del directivo (coachee) durante y

después del proceso8 8,30 1 8 9 8

Cultura organizativa propicia ( cambio, innovación, personas, etc) 8 8,06 2 7 8 9

Comportamiento ejemplar de la dirección de máximo nivel, participando

también como un directivo más en el proceso de coaching8 7,94 2 7 9 8

Políticas coherentes de recursos humanos/personas (formación,

desarrollo, promoción,…)8 7,88 1 8 8 8

Asignación de tiempo y presupuesto 8 7,48 1 8 8 8

Coherencia de valores coach-coachee-empresa 8 7,45 1 7 8 7,5

Sintonía entre los objetivos organizacionales y los personales del

directivo8 7,39 1 8 8 8

Procedencia del coach (interno/externo) 8 7,09 2 7 8 8

Evaluación del impacto del proceso de coaching en la organización 7 7,52 2 7 8 8

Oportunidad del momento para la empresa 7 7,45 1 7 8 8

Comunicación a todos los miembros de la organización de la puesta en

marcha de los procesos de coaching6 6,55 2 MEDIO 6 6,5 6,5

FACTORES DEL CONTEXTO ORGANIZATIVO Mediana Media Q3-Q1 Impacto Mediana

Coach

Mediana

Coachee

Mediana

R.H.

Garantizar la confidencialidad 10 9,59 0,5

MUY

ALTO 9 10 10

Apoyo y compromiso de la dirección (apertura y aceptación de los

cambios adoptados por el coachee)8 8,45 1

ALTO

8 9 9

Apoyo directo del jefe jerárquico del directivo (coachee) durante y

después del proceso8 8,30 1 8 9 8

Cultura organizativa propicia ( cambio, innovación, personas, etc) 8 8,06 2 7 8 9

Comportamiento ejemplar de la dirección de máximo nivel, participando

también como un directivo más en el proceso de coaching8 7,94 2 7 9 8

Políticas coherentes de recursos humanos/personas (formación,

desarrollo, promoción,…)8 7,88 1 8 8 8

Asignación de tiempo y presupuesto 8 7,48 1 8 8 8

Coherencia de valores coach-coachee-empresa 8 7,45 1 7 8 7,5

Sintonía entre los objetivos organizacionales y los personales del

directivo8 7,39 1 8 8 8

Procedencia del coach (interno/externo) 8 7,09 2 7 8 8

Evaluación del impacto del proceso de coaching en la organización 7 7,52 2 7 8 8

Oportunidad del momento para la empresa 7 7,45 1 7 8 8

Comunicación a todos los miembros de la organización de la puesta en

marcha de los procesos de coaching6 6,55 2 MEDIO 6 6,5 6,5

Page 54: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

COACH Generar confianza

Comunicación Vocación

Conocimiento

COACHEE Necesidad

Responsabilidad Compromiso

RELACIÓN Confidencialidad

Confianza Empatía

Autenticidad Respeto

Profesionalidad

PROCESO Feed back

Enfoque objetivos Desafío continuo

CONTEXTO ORGANIZATIVO Garantía confidencialidad

Apoyo y compromiso Dirección Apoyo directo del jefe jerárquico del directivo

Page 55: EL METODO DELPHI - Universidad Autónoma de Madrid · 2016-03-04 · Presentar las principales utilidades y/o campos de ... simple inercia del pasado, ... comparación o hacia estimaciones

Muchas gracias a todos

Eskerrik asko denori

Jon Landeta Rodríguez

[email protected]