visión sistémica de la evaluación por pares en ciencia
TRANSCRIPT
Visão Sistêmica da Avaliação Por Pares em Ciência Jornadas de Investigación Brasil-España, Casa do Brasil, Madrid, 2015
Jornadas de Investigación Brasil-Españaen la Casa do Brasil
Visión Sistémica de la Evaluación Por Pares en Ciencia
Vinícius M. KernUniversidade Federal de Santa Catarina (UFSC, Brasil)
Programa de Pós-Graduação em Ciência da Informação (PGCIN)Grupo de Pesquisa em Informação, Tecnologia e Sociedade (@DGP/CNPq)
Becario Capes en pasantía de postdoctorado en el CSIC/Instituto de Filosofia, Madrid, 3/2015-2/2016 (Sup.: Elea Giménez)
FAQ o “Preguntas que espero contestar en esta presentación”:1. ¿Qué me importa (esta investigación)? [INTRODUCCIÓN]2. “Sistémica de los pares”... ¿Eso se come, se bebe o se pone en el pelo?
[FUNDAMENTOS]3. ¿Y que vas a hacer? [OBJETIVO]4. No funciona. ¿Cómo lo harás? [MÉTODO]5. ¿Sirve para algo? [RESULTADOS Y DISCUSIÓN]6. ¿Quienes querrán pagar por eso? (¿Vas a hacerte rico?) [“POST VENTA” o
IMPACTO] Jornadas de Investigación Brasil-España Colegio Mayor Casa do Brasil Diciembre, 2015
Estos slides en http://www.slideshare.net/vmkern
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 2
Importa cuanto a 2 cosas
El tema específico
La evaluación por pares tiene mucha importancia socioeconómica y
muchos defectos.Esta investigación podría ayudar a
mejorarla [a ver cómo]
¿Que me importa (esta investigación)?
El modo de hacerse ciencia
La ciencia tradicional es analítica: reduce, descompone... y no resuelve problemas de verdad (complejos)
Esta investigación usa una reducción al sistema, distinta de la ciencia tradicional (al átomo) y de la anticiencia ('al todo')
[a ver cómo]
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 3
Cuanto al modo de hacerse ciencia (perdona la simplificación)
Ciencia analítica (reduccionismo)
Cada ciencia estudia un tipo de átomo y además sus componentes, pero no supraentidades:
espécie (y espécime - biología),aglomerado celeste (y cuerpo - astronomía),compuesto químico (y elemento - química),
sociedad (y individuo - sociología).Explicar es demostrar correlación e inferir
causa-efecto (sin confundir correlación y causación).
Holismo (anticiencia) (Bunge: es “reducción al todo”)
¿Que me importa (esta investigación)?
Sistemismo de Bunge
Redución al sistema:C Composición: que cosas (átomos) tiene.E Entorno: qué lo afecta o es por él afectado.S Estructura: que ligaciones hay entre componentes y entre estos y el entorno.M Mecanismo: cuáles procesos lo hacen un sistema.
Es el modelo CESM (de la sigla en inglés).
Explicar es revelar mecanismos (eso requiere antes describir C-E-S).
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 4
Tema específico: Evaluación por paresEvaluación, hecha por otros científicos (pares), de proyectos de investigación para recibir financiación o de
artículos sometidos a publicación. La decisión es del gestor de la financiación o del editor del periódico.
Mucho dinero1, principalmente públicoMundo: ~US$ 1.000.000.000.000 en 2010Brasil: ~US$ 19.400.000.000, 11o en el mundo (2011)Mundo: ≈ gasto militar2. Brasil: 60% gasto militar. China: 150%
Es necesario rendir cuentas
Evaluación por pares: Sorprendentemente obscura y problemática (errores, fraudes, intereses ocultos, falta de transparencia, falta de responsabilizar a los
participantes desonestos...)
1 https://en.wikipedia.org/wiki/List_of_countries_by_research_and_development_spending 2 https://en.wikipedia.org/wiki/List_of_countries_by_military_expenditures
¿Que me importa (esta investigación)?
Es como se decide:$ para investigar y
verdad científica.Implica: qué se consolida como...
… conocimiento, tecnología, innovación
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 5
“Abordaje sistémico”Hay muchos. Empezó con Bertalanffy1. Expresión maldita:"[C]uando cientistas sociales contemporáneos rigurosos oyen la palabra 'sistema', quedan dispuestos a sacar sus armas intelectuales" 2
Abordaje sistémico bungeano2:Analisa la composición del sistema y sus ligaciones para comprender el todo.
Postula que todo es sistema (o componente).
Define um modelo de sistema (CESM).Da reglas metodológicas generales...
Poner cosas em contexto/sistema (no decomponer).
Describir composición-entorno-estructura C-E-S .
Conjeturar (hipotesis de) mecanismos.Verificar mecanismos experimentalmente.
... Pero no dice cómo describir C-E-S.
¿Eso se come, se bebe o se pone en el pelo? “Revisión/evaluación por
pares”
Principal método de evaluación y control de calidad en ciencia.
El gestor del fondo de financiación o editor de la revista solicita opinión de expertos (científicos pares del autor).
La decisión de dar $ o publicar es del gestor o del editor.
Muchas variaciones: anonimato o no de autor y revisor; uno o + ciclos; selección de revisores...
Muchos problemas: interese económicos, revisor parcial, autor defraudador, editor/gestor incompetente...
No se sabe qué es la evaluación por pares.
1 Bertalanffy, L. (1968). General system theory: Foundations, development, applications. New York: Braziller.2 Bunge, M. (2003). Emergence and convergence: qualitative novelty and the unity of knowledge. University of Toronto Press.
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 6
“Abordaje sistémico de Bunge”
Ejemplos de sistemas:
Átomo:C: Partículas y campos asociadosE: Cosas (partículas/campos) que interactúan con
el átomoS: Campos que mantienen el átomo unido y sus
interacciones con el entornoM: Procesos de emisión y absorción de luz,
combinación etc.
Empresa:C: Empleados y gerenciaE: Mercado y gobiernoS: Relaciones de trabajo internas, relaciones entre
componentes y entornoM: Actividades que resultan en los productos de la
empresa
Comunidad linguística:C: Personas que hablan la misma lenguaE: Cultura(s) en que la lengua es usadaS: Colección de relaciones de comunicación
lingüísticaM: Producción, transmisión y recepción de
símbolos
¿Eso se come, se bebe o se pone en el pelo? y más sistemismo de Bunge
Como se formulan hipótesis de mecanismos: Diagramas de Boudon-Coleman:
Cada diagrama representa un proceso que se da en 2 niveles de sistema.
Cada transición de estado es una hipótesis de causa-efecto a investigar empiricamente.
Ejemplo: Retraso agrícola francés en Siglo XVII (Tocqueville as drawn by Bunge)
Centralización política Empobrecimiento y alienación
Ausencia del noble Estancamiento cultural, proprietario debilidad de vínculos sociales
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 7
Objetivo de la investigación
Cuanto a que la revisión por pares es tan variada y problemática que
no se sabe qué es
Describir la parte detectable del sistema (C-E-S) de evaluación por pares, para
después poder formular hipótesis de funcionamiento
¿Y que vas a hacer?
Cuanto a que Bunge da reglas metodológicas generales pero no explica cómo crear modelos de sistemismas
Desarrollar um proceso o método para crear modelos C-E-S de sistemas (o sea, describir la parte detectable)
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 8
Descripción C-E-S de la evaluación por pares
Fuentes bibliográficas:Nature Peer Review Debate (2006),
colección de 22 blog posts.
Expertos:Entrevistados en los papeles:
autor, revisor, editor
Hay resultados preliminares...[más adelante]
(Abordaje sistémico) no funciona. ¿Cómo lo harás?
Método para crear modelos C-E-S
Basado en 2 tipos de fuentes Literatura científica – conceptos consolidados Expertos – conocimiento aprofundado y a veces no disponible en texto
De la literatura, señalamos términos en los textos y abstraimos elementos del sistema
Resultan modelos rastreables pero incompletos. Los peritos los critican y completan.
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 9
Quizás.
Modelos C-E-S-(M) son representaciones ontológicas (la esencia del ser).
En sistemas de información hay una "brecha proverbial"1 de comunicación entre expertos en TIC y en negócios (CESM podría ayudar).
En repositorios institucionales de acceso abierto, modelamos el sistema y mostramos (utilizando un estudio existente con conclusión tímida) que la adopción de un estándar establecido (Dublin Core) es fatal (algo contraintuitivo).
En Plataforma Lattes (4.500.000 CV brasileños) queremos demostrar que la quiebra de reglas disciplinarias fue esencial al éxito del sistema (admitir redundancia, llamar externos a decidir el futuro, no estandarizar palabras-clave).
1 Kilov, H., & Sack, I. (2009). Mechanisms for communication between business and IT experts. Computer Standards & Interfaces, 31(1), 98-109.
¿Sirve para algo?
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 10
Resultados: Modelo preliminar del sistema de evaluación por pares y elementos involucrados en algunos mecanismos discutidos corrientemente en la literatura: open review, recompensa al revisor y distorción por subjetividad e ideología. La formulación de hipótesis de mecanismos viene de ahí.
¿Sirve para algo?
Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 11
Nah... Rico, no. Con suerte, publico.
Pero hay futuro: alumnos y potenciales socios interesados.• Una tesis de maestría defendida en el tema1 (sistemismo) y outra por empezar.
• Experiencias en proyectos de grandes plataformas de Instituto Stela (desarrollador de Plataforma Lattes 1999-2004)
• Contactos com bungeanos en Sudamérica, especialmente Argentina
Para mi investigación y grupo:• Consolidación de uma base teórica• Por lo menos 2 artículos en revistas de alto impacto en el 2016 deben dar visibilidad a la investigación
1 Silva, L. M. (2014). Repositório institucional como sistema técnico-social. Florianópolis-SC, Brasil: UFSC. (Disertación de maestría, Universidade Federal de Santa Catarina).
¿Quienes querrán pagar por eso? (¿Vas a hacerte rico?)
Visão Sistêmica da Avaliação Por Pares em Ciência Jornadas de Investigación Brasil-España, Casa do Brasil, Madrid, 2015
¡Gracias! www.kern.prof.ufsc.br
UFSC (Brasil) – Programa de Pós-Graduação em Ciência da InformaçãoCSIC/CCHS/IF (España) – Grupo de Investigación sobre el Libro Académico