importancia de evaluacion en la calidad de investigacion

7/21/2019 importancia de evaluacion en la calidad de investigacion

1/43

EVALUACIN

DE LA CALIDADDE LA

INVESTIGACIN

Mg. Kati Mansilla Torres1


2/43

Plan Estratgico Institucional PUCP 2011-2017

Al 2017 (centenario PUCP):

sentar las bases paratransformarnos en una Universidad

de nvesti!aci"n#

2


3/43

LAN ESTRATGICO INSTITUCIONAL

2011 2017

(LNEA DE ACCIN DE INVESTIGACIN)

1. Fortalecer la produccin y difusin de las investigacionesrealizadas en la PUCP

2. Poner los resultados de la investigaciones producidas enla PUCP al servicio de la comunidad

3. Asegurar las condiciones que permitan promover unamayor produccin de investigaciones de calidad.

3


4/43

DGI

Of. Estrategias

para laPromocin deInvestigacin

Oficina deAdministracinde Proyectos

Of. Evaluacinde la

Investigacin

Oficina deInnovacin

Oficina deDireccin

4


5/43

QU ES UNA INVESTIGACINDE CALIDAD?

5

EN

INVESTIGACINProceso de actividades de preparacin, organizacin,

elaboracin de trabajos, ajustes, utilizacin de resultados

DECALIDAD

Metodologa rigurosa para laconduccin de nuevo

conocimiento Cumplimiento de principiosticos

Proceso de pares Gestin de la Investigacin

Comunicacin de resultados

FLEXIBILIDAD


6/43

EN

Asignacin de fondosadecuada?Buenos resultados deinvestigacin?Resultados que impactan,generan conocimiento?

Es novedoso el proyecto?La bibliografa esactualizada?La metodologa esadecuada?El presupuesto es

adecuado?

6

Una investigacin ser de calidad en la medida que garantice que segenera nuevo conocimiento, y que este conocimiento ha sido obtenidomediante procedimientos vlidos.


7/43

POR QU EVALUAR?

7

Evaluacinde la

Investigacin

Generar conocimiento/insumos/ informacin

para apoyar polticas y programasde gobierno destinados a la

investigacin.

Anlisis de inversin.Acercamiento de investigacin y

empresa para desarrolloeconmico y social.

Contexto de polticaseducativas de

produccin y culturade la productividad


8/43

La calidad de la investigacin debe ser tomada encuenta durante eldiseo,ejecucin, culminacinydivulgacinde una investigacin.

CUNDO EVALUAR?

Diseo Ejecucin Divulgacin

Culminacin

Evaluacin

preliminar del

proyecto

Seguimiento a

proyecto de

investigacin

Evaluacin deresultados de

investigacin

Medicin de

impacto de la

investigacin

8


9/43

QU EVALUAR? ELEMENTOS PARUNA INVESTIGACIN EN Y DE

CALIDAD

EVALUACIN EN CALIDAD EVALUACIN DE CALIDAD

Relevancia temtica

Integridad cientfica

Coherencia argumentativa

Planificacin del trabajo de investigacin

Anlisis presupuestal

Posibles riesgos

Impacto acadmico

Relaciones interinstitucionales

Actividades de divulgacin

9

Relaciones interinstitucionales


10/43

10

RELEVANCIA TEMTICA

Gracias por no realizar investigaciones que ya se han hecho.


11/43

11

INTEGRIDAD CIENTFICA ANTECEDENTES NORMATIVOS

1947 Cdigo de Nremberg

1964, 2013 Declaracin de Helsinki

1966 Pacto Internacional de DerechosCiviles y Polticos

1979 Informe Belmont

1982, 2002 Protocolo tico internacional para lainvestigacin biomdica con seres humanos

2005 Declaracin universal sobrebiotica y derechos humanos


12/43

12

INTEGRIDAD CIENTFICA PRINCIPIOS

Anlisis y comunicacin deresultados

Ver, Dr. Henderson No tiene derecho a tratar aestas personas como ratas de laboratorio. Bueno, supongo que somos el grupo de control.

Uso y conservacin de los datosque sirven de base a unainvestigacin


13/43

13

COHERENCIA ARGUMENTATIVA

Para respaldar mi teora estn todos los artculosacadmicos publicados en los ltimos 150 aos. Yo tengo esto.


14/43

14

COHERENCIA ARGUMENTATIVA

Para patentarlo, tendra que entenderlo.


15/43

15

PLANIFICACIN DEL TRABAJO DEINVESTIGACIN

Considera todas las etapas de la investigacin,incluyendo la divulgacin

El equipo debe tener las capacidades necesarias paradesarrollar el plan de trabajo

Incluir metodologa y herramientas de trabajopertinentes

Contemplar tiempo y presupuesto disponibles


16/43

16

ANLISIS PRESUPUESTAL

Overhead

Tcnico delaboratorio

Empresa deimplementoscientficos

Posdoctor

Egresada

Estudiantede pre grado


17/43

17

POSIBLES RIESGOS

Considerar dinero de reserva para imprevistos

Considerar mtodos y herramientas alternativas


18/43

18

RELACIONESINTERINSTITUCIONALES

PUCPFondosinternacionales

Empresasnacionales RPU

FINCyT

CONCYTEC RED IDi


19/43

19

TIPOS DE EVALUACIN DE LAINVESTIGACIN


20/43

20

PROYECTOEs hecha por uno o ms expertos en el tema de investigacin,bajo los sistemas de simple ciego o doble ciego

S Tal vez No

!rinda retroalimentacinacad"mica a losinvestigadores

#arantiza una posicinm$s imparcial de la

evaluacin


21/43

21

PROYECTOLas opiniones de los pares pueden diferir entre s.

Cmo es que se siente la revisin por pares (a veces)

Revisor 1 Revisor 2

Revisor3

Promueve el de%atecient&fico

!rinda informacin de lasituacin de lainvestigacin


22/43

PROYECTO

22

Busca escoger las propuestas ms idneas parafinanciamiento o apoyo.

Permite tener una visin m$samplia' detallada' precisa delos tra%a(os presentados en

una disciplina

Promueve redes y lazosde investigacin

Se desmay. Alguien debe haber enviado una idea original.


23/43

Directorio de 1100 evaluadores externosnacionales e internacionales!

23

EVALUACIN PRELIMINAR DEL PROYECTO EN LA PUCP

PERFIL DEL EVALUADOR

Grado de DoctorCon experiencia previa enevaluacin para revistasacadmicasNo tener vnculo actual con

la PUCPContar con suficientespublicaciones arbitradas

Pertenecer en la actualidada una institucinacadmica de prestigio


24/43

24

"#E$%E& PA'A (#&)A' *)O$+O)A' E+A,#ADO'E&- )epartamentos- Centros' *nstitutos- #rupos de investigacin- *nvitados PUCP en el a+o- ,-*/ 0evistas de prestigio- ,-*/ uestros

evaluadores

)O-PA'A)I$ )O$ (A&E&DE DA%O& I$%E'$A&- i se lo convoc

anteriormente- i es o a sido profesor

PUCP- i cumple con el perfil m&nimo

eigido

I$+I%A)I$*C,0P,0AC*4 --5 )*0-C6,0*,

CA06A )-!*-7-*)A8C,6AC*A )-5

70*


PROCESO DE INVITACIN A PARES EXTERNOS


25/43

25

)riterios de Evaluacin

)oncurso Anual de Proyectos deInvestigacin

Punta/e

(yA

Punta/e

ID

'elevancia de la temtica 19 19

)ongruencia entre o2/etivos3 4iptesis ymetodolog5a

:; 39

'esultados e impactos esperados 29 3;

(i2liograf5a 1; 9

Plan de %ra2a/o y )ronograma 1; 19

%otal 100 100


CRITERIOS DE EVALUACIN PRELIMINAR

* Para proyectos interdisciplinarios, se agrega el criterio Justificacin del carcter interdisciplinario de lapropuesta, con puntaje de 15 puntos. El puntaje del resto de criterios se redistribuye.


26/43

26

EVALUACIN DE RESULTADOS DELA INVESTIGACIN

Como parte de un proceso depublicacin.

Como revisin de cumplimientode objetivos y resultados.

Un blog cuenta como una publicacin?La mayora de cientficos calificaron al nuevo proceso

agilizado de revisin por pares como una mejora.

EVALUACINDERESULTADOSDE


27/43

27


7erifica el cumplimientode los o%(etivos de lainvestigacin

Asegura que se a

creado nuevoconocimiento a trav"s de

m"todos correctos

Si esta evidencia es correcta, remover los cimientos denuestra propuesta de investigacin.



28/43

28


!rinda retroalimentacinal tra%a(o del investigador

Promueve el de%atecient&fico

Creo que deberas ser ms explcito en el paso 2

Luego, ocurri

un milagro



29/43

29


Prepara los resultadosde investigacin para ser

divulgados

)e%e considerar

confidencialidad deinformacin y derecosde pu%licacin

Y as concluye mi informe federal sobre el estado del calentamiento global. Ahora, elagente especial Coffield los pondr bajo arresto por saber informacin confidencial.


30/43

30

EVALUACIN DE RESULTADOS DE LA INVESTIGACIN ENLA PUCP

QU NO SE ENVA A PARES EXTERNOS?

Proyectos que presenten como resultados art&culos en revistasindeadas y ar%itradas pu%licadas o aceptadas para su pu%licacin.

Proyectos que presenten li%ros pu%licados en editoriales con

ar%itra(e o en proceso de edicin

Proyectos que presenten productos concretos concluidos/prototipos' patentes' soft


31/43

31

EVALUACIN DE RESULTADOS DE LA INVESTIGACIN ENLA PUCP

CRITERIOS DE EVALUACIN DE RESULTADOS PROYECTOS

INTERDISCIPLINARIOS

)riterio6DepartamentoInterdiscip

linarios

Aporte de los resultados de la investigacin3;

Correspondencia con el proyecto presentado 19

Coerencia argumentativa y8o epositiva 3;Actualidad y pertinencia de las referencias %i%liogr$ficas 1;

Pertinencia de la metodolog&a >

#rado efectivo de interdisciplinaridad de la investigacin

realizada

19

INVESTIGACIN EVALUACIN


32/43

32

INVESTIGACIN EVALUACINBIBLIOMTRICA

Rendimientodel investigador

Indicadores Indicadores

NO se est considerando:

Otras bases

de datosacadmicas

(Latindex, INE!S,

EI"#

Impacto noacadmico de

la investigacin

$arias %reas

acadmicas

a&ectadas

(ciencias sociales,

artes, 'umanidades#

epresentatividadde las bases de

datos, sesgos de

idioma y regin

INVESTIGACIN EVALUACIN


33/43

33

INVESTIGACIN EVALUACINBIBLIOMTRICA

CRTICAS AL SISTEMA DE INDIZACIN DE REVISTAS

En su presentacin, Timo describe el negocio de la revista Nature:1.Los cientficos nos dan su trabajo gratuitamente.

2.Luego, contactamos a cientficos voluntarios para que lo evalen demanera gratuita.

3.Los unimos y se los vendemos para tener ganancias.

Suena escandaloso, pero loscientficos lo harn porquequieren que sus trabajos sean

publicados.

Les podemos cobrar lo quequeramos. Es, en esencia, unmonopolio

MEDICINDEIMPACTODELA


34/43

34

MEDICIN DE IMPACTO DE LAINVESTIGACIN

Nmero deCitaciones

Nmero depublicaciones

Colaboracin conEntidadesExtranjeras

Factor deImpacto

ndiceH

36912

3

ndicesBibliomtricos

INVESTIGACIN NDICES


35/43

35

INVESTIGACIN NDICESBIBLIOMTRICOS

200520042003

Artculo fuente - publicado en 2005

Citado como referencia - publicado en 2004 y 2003

Citaciones

Factor de Impacto 2005

AllPrevious Years

2002 2006

Factor de Impacto =

Nmero de citaciones de artculos en el mismo perodo

Nmero de artculos publicados por unarevista en los ltimos 2 aos

Time

FACTOR DE IMPACTO

INVESTIGACIN NDICES


36/43

36

INVESTIGACIN NDICESBIBLIOMTRICOS

NDICE HUn docente public 185 artculos que fueron clasificados enorden descendente de citas.

El investigador tiene un ndice H de 29 porque 29 de

sus 185 artculos tienen al menos 29 citas cada uno ylos otros 156 documentos (185-29) tienen menos de 29referencias cada uno.



37/43

37

Solo tiene una

publicacin importante

Est% escrita en 'ebreo

No tiene re&erencias

Es posible )ue 'aya

creado el universo,

pero no public los

resultados

NO PODRA SER PROFESOR UNIVERSITARIO


INCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS



38/43

38

MEDICIN DE IMPACTO DE LAINVESTIGACININCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS

Asegrate de citar todos misartculos!

Lo que quiere el profesor Tansu esque su ndice H crezca! Tpica

autoindulgenciaTengo ms de 1000 autocitaciones!

Profesor, Qu lo hace famoso?

Tengo ms de 2000 citaciones y unndice H de 22.

Segn ISI, el profesor tiene ms

de 1000 autocitaciones y su ndiceH real es 10.

Si puedo decir que soy el investigador

ms joven de la historia, puedo decir loque quiera los medios no saben acercade la autocitacin.



39/43

39


INCONVENIENTES DE LOS INDICADORES BIBLIOMTRICOS

Factor de impacto(corregido)

# veces quecitan tu trabajo

# citaciones quecritican tu trabajo

# veces quecitas tu trabajo(buen intento)

# veces que te citaronpara rellenar laintroduccin

# citaciones que el editoroblig al autor a colocarpara aumentar el factorde impacto de la revista

# artculosinditos que has

escrito

# artculos donde teaadieron por pena o

fines polticos

# artculos no muyoriginales que has

escritoCopiad

oypegado



40/43

40


CONSECUENCIAS OBSERVADAS *bandono de la carrera investigadora+

&rustracin, desmotivacin

!omportamientos oportunistas+ Se

investiga y publica cuestiones m%s

vendibles, revistas m%s accesibles y

coautor-as nocivas

*paricin de otras redes y bases de datos



41/43

41

MEDICIN DE IMPACTO DE LAINVESTIGACINAPARICIN DE OPEN ACCESS

Open Access permite difusin gratuitade material cientfico en internet.

La informacin cientfica se encuentraahora disponible para mayor cantidad

de personas.

Mayor cantidad de material puede serconsultado y citado como si fuerapublicado en revistas cientficas.



42/43

42


PRINCIPAL CRTICA AOPEN ACCESS PRINCIPAL PUNTO A FAVOR DEOPEN ACCESS

Yo apoyo el acceso abierto pero quiero que mi artculosea altamente reconocido

Hay ms de 15 disciplinas, mientras que el preciopromedio de una revista acadmica es S1,000 por ao

MEDICINDEIMPACTONO


43/43

43

MEDICIN DE IMPACTO NOACADMICO DE LA INVESTIGACINDivulgacin en medios noacadmicos (blogs, TV, radio,peridicos)

Citaciones en entidadesinteresadas (ONGs,ministerios, empresas, etc)

Transferencia a personasinteresadas en los resultadosde la investigacin

Presencia en redes socialesGeneracin de material paradocencia

Logro de normas

importancia de evaluacion en la calidad de investigacion

Documents