How to reform research evaluation in Spain. Institutional accreditation as a response to the European Agreement on research assessment. Letter
DOI:
https://doi.org/10.3145/epi.2022.nov.01Palabras clave:
Research evaluation, Qualitative evaluation, Institutional accreditation, Evaluation, Research, Organic Law of the University System (LOSU), Accreditation agencies, Indicators, Metrics, Promotion, Researchers, SpainResumen
The reform of evaluation proposed at European level in the recent Agreement on Reforming Research Assessment represents a window of opportunity to reform the Spanish evaluation system, at a moment when the new Organic Law of the University System (LOSU) is being debated. This agreement establishes the primacy of peer review based on qualitative criteria in order to be able to recognize the diversity of contributions and research careers, and advocates to stop the inappropriate use of journal-based metrics. How can evaluation in Spain, heavily based on these metrics, be reformed to align with these principles? In this letter we propose that it is not possible to move towards the principles of the European agreement without making structural changes in the governance of evaluation, with a return of autonomy to the universities. We advocate that individual evaluations by agencies outside the university should be limited, and that, instead, institutional evaluation should be encouraged. We collect a proposal for "˜institutional accreditation´ as a public control mechanism for the hiring and promotion of professors at the university.
Descargas
Citas
Ahedo-Gurrutxaga, Igor; Martínez-Palacios, Jone; Ormazabal-Gaston, Andere (2022). "Letter: Central nodes in the reform of the Spanish Universities Law". Profesional de la información, v. 31, n. 3, e310309. https://doi.org/10.3145/epi.2022.may.09
Cañibano, Carolina; Vilardell, Immaculada; Corona, Carmen; Benito-Amat, Carlos (2018). "The evaluation of research excellence and the dynamics of knowledge production in the humanities: The case of history in Spain". Science and public policy, v. 45, n. 6. https://doi.org/10.1093/scipol/scy025
Cruz-Castro, Laura; Rodríguez-Navarro, Alonso; Sanz-Menéndez, Luis (2022). "¡Que veinte años no es nada (en investigación)! La situación de la investigación no mejora como sería deseable". En: Informe CYD 2021 sobre la contribución de las universidades al desarrollo económico y social, Barcelona: Fundación CYD.
Delgado-López-Cózar, Emilio; Martín-Martín, Alberto (2022). Detectando patrones anómalos de publicación científica en España: Más sobre el impacto del sistema de evaluación científica. Research Gate preprint. https://shorturl.at/clny1
Delgado-López-Cózar, Emilio; Ràfols, Ismael; Abadal, Ernest (2021). "Letter: A call for a radical change in research evaluation in Spain". Profesional de la información, v. 30, n. 3, e300309. https://doi.org/10.3145/epi.2021.may.09
DEVA (2022). Propuestas de DEVA-AAC para una reforma del sistema de acreditación del profesorado universitario. Documento del Comité Técnico de Evaluación y Acreditación, Dirección de Evaluación y Acreditación (DEVA). Agencia Andaluza del Conocimiento.
European Commission (2021). Towards a reform of the research assessment system: scoping report, European Commission, Directorate-General for Research and Innovation. https://data.europa.eu/doi/10.2777/707440
Hicks, Diana; Wouters, Paul; Waltman, Ludo; De-Rijcke, Sarah; Ràfols, Ismael (2015). "Bibliometrics: the Leiden Manifesto for research metrics". Nature, v. 520, n. 7548. https://doi.org/10.1038/520429a
Janssen, Matthijs J.; Bergek, Anna; Wesseling, Joeri H. (2022). "Evaluating systemic innovation and transition programmes: Towards a culture of learning". PLoS sustainability and transformation, v. 1, n. 3. https://doi.org/10.1371/journal.pstr.0000008
Ministerio de Universidades (2022). Datos y cifras del Sistema Universitario Español. Publicación 2021-2022, Ministerio de Universidades. https://www.universidades.gob.es/stfls/universidades/Estadisticas/ficheros/DyC_2021_22.pdf
Moher, David; Bouter, Lex; Kleinert, Sabine; Glasziou, Paul; Sham, Mai-Har; Barbour, Virginia; Coriat, Anne-Marie; Foeger, Nicole; Dirnagl, Ulrich (2020). "The Hong Kong Principles for assessing researchers: Fostering research integrity". PLoS Biology, v. 18, n. 7. https://doi.org/10.1371/journal.pbio.3000737
Molas-Gallart, Jordi; Boni, Alejandra; Giachi, Sandro; Schot, Johan (2021). "A formative approach to the evaluation of Transformative Innovation Policies". Research evaluation, v. 30, n. 4, pp. 431-442. https://doi.org/10.1093/reseval/rvab016
Osuna, Carmen; Cruz-Castro, Laura; Sanz-Menéndez, Luis (2011). "Overturning some assumptions about the effects of evaluation systems on publication performance". Scientometrics, v. 86, n. 3. https://doi.org/10.1007/s11192-010-0312-7
Ràfols, Ismael (2019). "S&T indicators in the wild: Contextualization and participation for responsible metrics". Research evaluation, v. 28, n. 1. https://doi.org/10.1093/reseval/rvy030
Rodríguez-Navarro, Alonso (2021). "La evaluación de la investigación: España suspende". Revista española de física, v. 35, n. 2.
Saenen, Bregt; Morais, Rita; Gaillard, Vinciane; Borrell-Damián, Lidia (2019). Research assessment in the transition to open science, European University Association (EUA). https://eua.eu/resources/publications/888:research-assessment-in-the-transition-to-open-science.html
Scott, James (1998). Seeing like a state. How certain schemes to improve the human condition have failed, New Haven; London: Yale University Press.
Weingart, Peter (2005). "Impact of bibliometrics upon the science system: Inadvertent consequences?". Scientometrics, v. 62, n. 1. https://doi.org/10.1007/s11192-005-0007-7
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2022 Profesional de la información
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Condiciones de difusión de los artículos una vez son publicados
Los autores pueden publicitar libremente sus artículos en webs, redes sociales y repositorios
Deberán respetarse sin embargo, las siguientes condiciones:
- Solo deberá hacerse pública la versión editorial. Rogamos que no se publiquen preprints, postprints o pruebas de imprenta.
- Junto con esa copia ha de incluirse una mención específica de la publicación en la que ha aparecido el texto, añadiendo además un enlace clicable a la URL: http://revista.profesionaldelainformacion.com
La revista Profesional de la información ofrece los artículos en acceso abierto con una licencia Creative Commons BY.