LA EVALUACIÓN DE LA INVESTIGACIÓN EN REPÚBLICA DOMINICANA: PERSPECTIVA DE LOS ACTORES DEL SISTEMA NACIONAL DE CIENCIA, TECNOLOGÍA E INNOVACIÓN

The evaluation of research in the Dominican Republic: the perspective of stakeholders in the National Science, Technology and Innovation System

Authorship SCIMAGO INSTITUTIONS RANKINGS

Abstract

The National System of Science and Technology Indicators of the Dominican Republic is at an advanced stage of design and will soon be implemented. This system will facilitate the systematic monitoring of different dimensions of the country's scientific and technological performance. As part of the research project entitled "Baseline Study for the Implementation of the National System of Science and Technology Indicators of the Dominican Republic", a focus group was carried out to assess the experiences, perceptions and opinions of different stakeholders of the national science and technology ecosystem on the scientometric indicators and the processes of evaluating research and innovation. The results highlight managers' and researchers' assessments of current evaluation models, policies and systems, as well as the methods and instruments they use in their evaluation practice. This article presents a detailed analysis of the focus group results and their implications.

Key words:
research evaluation; scientometric indicators; universities; Dominican Republic

Dimensiones	Categorías
1. Modelos, políticas y sistemas de evaluación	– Grado de sistematización – Objetivos de la evaluación – Valoración de la calidad – Valoración del impacto – Importancia de la colaboración científica – Perspectiva de la ciencia abierta – Perspectiva de la diversidad e inclusión – Sesgos y malas prácticas de evaluación – Disposición al cambio
2. Práctica de la evaluación	– Métodos cienciométricos – Instrumentos – Fuentes de datos – Métricas de producción científica – Medición de la calidad científica – Medición del impacto social – Medidas de capacidad científica – Medidas de capacidad competitiva – Medidas de capacidad de innovación

vertical_align_top file_download show_chart

more_horiz close
- image
- translate
- link
- article
- vertical_align_top
- file_download
- show_chart
- image
- translate
- link
- article

location_on

Instituto Tecnológico de Santo Domingo

rss_feed Acompanhe os números deste periódico no seu leitor de RSS

Acessibilidade / Reportar erro

¿Su organización realiza procesos de monitoreo y evaluación de sus propias actividades y resultados de investigación e innovación?

¿La evaluación de la investigación en su organización se realiza de manera sistemática y periódica?

Indique el grado de sistematización del proceso de evaluación de la investigación en su organización.
	0	1	2	3	4	5	Puntuación media
Gestores	0%	17%	42%	25%	17%	0%	2.4
Investigadores	15%	0%	15%	15%	46%	8%	3.0
Todos	8%	8%	28%	20%	32%	4%	2.7
¿Cuáles son los objetivos de la evaluación de la investigación que se hace en su organización?

¿Qué se evalúa? Indique únicamente las dimensiones o aspectos que efectivamente se evalúan.

¿Qué tan importante es demostrar a la sociedad el rendimiento y el impacto de la investigación que se lleva a cabo en su organización?
	0	1	2	3	4	5	Puntuación media
Gestores	0%	0%	8%	8%	17%	67%	4.4
Investigadores	0%	0%	0%	8%	15%	77%	4.7
Todos	0%	0%	4%	8%	16%	72%	4.6
¿Por qué es importante demostrar un buen desempeño científico? Indique los tres motivos que considere más importantes.

¿Qué importancia tiene la construcción sistemática y periódica de indicadores cienciométricos con fines evaluativos?
	0	1	2	3	4	5	Puntuación media
Gestores	0%	0%	0%	17%	17%	67%	4.5
Investigadores	0%	0%	8%	8%	15%	69%	4.5
Todos	0%	0%	4%	12%	16%	68%	4.5
¿Cuenta su organización con una base de datos institucional o un sistema de información de la investigación (CRIS, RIS) en implementación actualmente?

¿Este sistema de información, se consulta de forma abierta o cerrada?

Indique la cobertura del sistema o base de datos.

Si no hay un sistema o una base de datos institucional, ¿cómo se registran las actividades y los productos de investigación?

¿Cuáles fuentes de datos externas utiliza para la generación de los indicadores?

¿Cuáles fuentes de datos desaprueba que se utilicen para la generación de indicadores cienciométricos comparables entre distintas instituciones o países? No sé, no tengo criterio. Base de datos que no estén normalizadas. Bases de datos institucionales. Bases de datos que incluyan revistas de editoriales predadoras. Google Scholar. ResearchGate. Fuentes sin reconocimiento en los sistemas de ciencia y tecnologia de Norteamérica y Europa. Bases de datos de acceso cerrado o de pago.
¿Cuáles son las principales limitaciones o desafíos para implementar un sistema de indicadores?

INDICADORES DE CALIDAD: Valore cada uno de estos aspectos según considere su relevancia o idoneidad como indicadores de calidad de la investigación.
				Muy importante		Puntuación media (0-5)
Rigor del método científico				76%		4.8
Ética de la investigación				80%		4.7
Revisión de pares				80%		4.7
Efectos demostrables de la investigación				64%		4.5
Núrnero de citas				52%		4.3
Impacto social o económico				56%		4.2
Influencia en politicas públicas				40%		4.2
Factor de impacto o cuartil de la revista				40%		4.1
Otros indicadores de calidad de la investigación no mencionado antes.
Índice h de los investigadores. Los indicadores deben definirse según el interés de investigación de la universidad, por áreas, por tipo de investigación. Incidencia en los elementos de bienestar subjetivo. Utilidad. Vinculación sociedad, empresa y academia. Participación de investigadores internacionales. Publicaciones de libre acceso.
INDICADORES DE IMPACTO: Valore la relevancia e idoneidad de cada uno de estos aspectos como indicadores de impacto de la investigación.
				Muy importante		Puntuacion media (0-5)
Efectos demostrables de la investigacion				64%		4.5
Impacto social o economico				56%		4.2
Influencia en politicas publicas				40%		4.2
Menciones en redes sociales academicas				24%		3.4
¿Está de acuerdo en que el número o proporción de investigadores miembros de la Carrera Nacional de Investigadores en Ciencia y Tecnología (CNI-MESCYT) es una medida de reconocimiento a la calidad de la actividad investigadora de su organización?
	0	1	2	3	4	5	Puntuación media
Gestores	0%	8%	17%	33%	33%	8%	3.2
Investigadores	15%	0%	8%	31%	15%	31%	3.2
Todos	8%	4%	12%	32%	24%	20%	3.2
¿Está de acuerdo en que el número o la proporción de los proyectos que son aprobados para financiamiento del FONDOCYT son medidas de la capacidad competitiva de su organización en materia de CyT?
	0	1	2	3	4	5	Puntuación media
Gestores	8%	25%	33%	8%	25%	0%	2.2
Investigadores	8%	8%	15%	31%	31%	8%	2.9
Todos	8%	16%	24%	20%	28%	4%	2.6
¿Cómo se mide el volumen de la actividad y de la producción científica en su organización?

¿Cuáles productos se toman en cuenta en su organización para medir los resultados de las actividades de innovación?

¿Cómo se mide la calidad de la investigación que se lleva a cabo en su organización?

¿Cómo se mide el impacto de la investigación que se lleva a cabo en su organización?

¿Cómo se mide el grado de la colaboración científica nacional e intersectorial?

¿Cómo se mide el grado de la colaboración científica internacional?

¿Qué tan importante considera el liderazgo en los grupos internacionales de investigación?
	0	1	2	3	4	5	Puntuación media
Gestores	8%	0%	0%	0%	42%	50%	4.2
Investigadores	0%	8%	8%	8%	0%	77%	4.3
Todos	4%	4%	4%	4%	20%	64%	4.2
¿Cómo propone usted que se puede operacionalizar la evaluación de impacto social de la investigación? No sé, es dificil operacionalizar, definir indicadores medibles, estandarizados... Deben diseñarse procedimientos. MESCYT debe definir indicadores cualitativos y cuantitativosde impacto social. En los informes de cierre de proyectos. Evidencias de implementaciones de soluciones a problemas sociales. Identificando los actores sociales (públicos o privados) beneficiarios de los resultados de investigacion de los proyectos. Número de beneficiarios. En función de los Objetivos de Desarrollo Sostenible. Tomar en cuenta que en algunas investigaciones el impacto social no se puede medir en un corto plazo. No solo lo cuantificable; reportar, por ejemplo, transformaciones actitudinales. Mejoras en la calidad de vida de las comunidades. Relacionando el monto de la financiación del proyecto [la inversión] con su incidencia en políticas públicas, nacionales o sectoriales. En función de los retos de desarrollo, en el ámbito nacional o regional. Mediante acciones de transferencia del conocimiento generado por la investigación (seminarios, formación avanzada de postgrado, propiedad intelectual). Mediante indicadores de inversión extranjera.
¿Tiene su organización una política de ciencia abierta explícita y estrategias para contribuir al acceso abierto a la producción científica?

¿Considera importante la publicación de artículos científicos en acceso abierto?
	0	1	2	3	4	5	Puntuación media
Gestores	0%	0%	0%	0%	0%	100%	5.0
Investigadores	0%	0%	0%	0%	8%	92%	4.9
Todos	0%	0%	0%	0%	4%	96%	5.0
¿Considera beneficioso y está de acuerdo en compartir abiertamente los datos de investigación y permitir que se reutilicen?
	0	1	2	3	4	5	Puntuación media
Gestores	0%	0%	0%	8%	25%	67%	4.6
Investigadores	0%	0%	0%	23%	0%	77%	4.5
Todos	0%	0%	0%	16%	12%	72%	4.6
¿Considera importante que se integre el enfoque de género en los procesos de evaluación del desempeño del personal investigador?
	0	1	2	3	4	5	Puntuación media
Gestores	8%	0%	0%	17%	17%	58%	4.1
Investigadores	15%	0%	15%	23%	15%	31%	3.2
Todos	12%	0%	8%	20%	16%	44%	3.6
¿Considera importante integrar la dimensión de género para mejorar la calidad de la investigación?
	0	1	2	3	4	5	Puntuación media
Gestores	8%	0%	0%	17%	25%	50%	4.0
Investigadores	15%	0%	15%	31%	15%	23%	3.0
Todos	12%	0%	8%	24%	20%	36%	3.5
¿Considera que se deben promover y producir cambios en la forma en la que se evalúa el desempeño y el impacto de la ciencia y la tecnología en su organización y en el ecosistema nacional y mundial?

¿Considera que se deben promover y producir cambios en la forma en la que se evalúa el desempeño y el impacto de la ciencia y la tecnología en su organización y en el ecosistema nacional y mundial? Falta de transparencia de políticas y procedimientosde evaluatión. Errores metodológicos, débil definitión de los indicadores. Sobrevaloración de las publicaciones en revistas Q1. Infravaloración de las publicaciones en revistas nacionales o locales. Recopilación manual de los datos. Inclinatión por una determinada corriente de pensamiento en el ámbito de la ciencia. Juicios y valoraciones subjetivas de los evaluadores. Prejuicios de cualquier tipo. No utilizar indicadores contextuales o relativos, no considerar las diferencias de los distintos campos de investigatión. No emplear indicadores cualitativos para medir la calidad y el impacto. Priorizar el volumen sobre la calidad. No tomar en cuenta el financiamiento. Emplear los mismos criterios de los rankings internacionales. Evaluadores no expertos o poco especializados. Evaluadores internos (de la misma institution). Sesgos de dependencia (pensar que las prioridades del regulador se corresponden con las de las instituciones o de los investigadores. Sesgos de simetría (entre investigadores de muy alto nivel y pares de nivel inferior y viceversa). Visión de corto plazo sobre los proyectos de investigatión por parte del regulador (se debe incorporar el principio de latencia). Ausencia de un enfoque de continuidad de líneas y programas de investigation
¿Qué cambio importante le gustaría ver que se produjera en la forma en que la calidad y el impacto de la investigación son medidos y evaluados? Contarcon un sistema nacional de indicadores con datos públicos y dinámicos, obtenidos de fuentes externas (no auto reportadospoirlas instituciones. Sistemas de evaluatión y categorizatión de los investigadores transparentes y a prueba de influencias y recomendaciones personales. Evaluaciones que se orienten a promover el avance de los investigadores y de las instituciones. Contar con una base de datos nacional de acceso abierto que abarque toda la productión cientifica y tecnológica del país. Que se evalúe el impacto social de las investigaciones, en el desarrollo humano. Que se evalúe de forma diferenciada la investigatión según las áreas del conocimiento. Métodos e instrumentos estandarizados, qué las evaluaciones se hagan de forma sistemática. Mayor foco en el rigor científico. Considerar métricas alternativas. Procesos transparentes, por pares expertos. Combinar indicadores cualitativos y cuantitativos. Establecer indicadores medibles y comparables. No limitarse únicamente a la investigatión básica y experimental. Más foco en la constructión de capacidades, la formación de doctores. Más valor a los artículos publicados en revistas de alto factor de impacto y a los indicadores basados en recuentos de citas. Más atención a la proyección internacional de los investigadores nacionales. Más atención al financiamiento internacional de los proyectos. Más valor a la elaboratión con entidades internacionales de prestigio.