Desarrollan herramienta para determinar el impacto y la veracidad de las publicaciones científicas

Se denomina HERA (Herramienta para Enriquecimiento de Recursos Académicos) y surge como una solución informática que apunta a simplificar, agilizar y apoyar el proceso de determinar la calidad y el impacto de un recurso académico. Los aportes de la UNLP.

A la hora de utilizar la información publicada en revistas, congresos, libros, tesis, y otras fuentes, los lectores deben contar con criterios que les permitan evaluar el grado de veracidad del contenido de cada artículo. La gran disponibilidad de material académico y de espacios donde se publica este contenido hace inviable conocer de antemano los procesos que se utilizan para controlar la calidad, asegurar la transparencia, y obtener métricas en cada uno de ellos. Un equipo de investigadores de la Universidad Nacional de La Plata desarrolló una herramienta web que busca dar respuesta a esta problemática.

HERA (Herramienta para Enriquecimiento de Recursos Académicos) surge como una solución informática que apunta a simplificar, agilizar y apoyar el proceso de determinar la calidad y el impacto de un recurso académico. Para ello consulta múltiples fuentes en tiempo real para luego ofrecer información de un recurso, como sus metadatos, su pertenencia a índices y bases de datos, sus métricas de citas y menciones, e información de la publicación donde figura dicho recurso en caso de que corresponda. Cabe destacar que este desarrollo nació como un proyecto conjunto entre PREBI-SEDICI, la Facultad de Informática y la Facultad de Ciencias Económicas de la UNLP.

Gonzalo Villarreal, uno de los autores del trabajo explicó que “a la hora de utilizar la información publicada en revistas, congresos, libros, tesis, etc., los lectores deben contar con criterios que les permitan evaluar el grado de veracidad del contenido de cada artículo. La gran disponibilidad de contenido académico y de espacios donde se publica este contenido hace inviable conocer de antemano los procesos que se utilizan para controlar la calidad, asegurar la transparencia, y obtener métricas en cada uno de ellos. Así es como nace la necesidad de establecer criterios genéricos para determinar y diferenciar la calidad de las publicaciones”.

Otra característica buscada intensamente y asociada estrechamente con la calidad tanto de una revista como de un artículo es su impacto. Mientras que la calidad de una revista se asocia a los procesos que sigue y a los requisitos que impone para que un artículo sea finalmente publicado, el impacto se asocia a la repercusión que la revista o el artículo tiene en la comunidad científica, usualmente medido en número de citas y menciones. La necesidad de determinar la calidad y el impacto de las publicaciones se traduce en lo que hoy vemos como sistemas de evaluación, indicadores y métricas de revistas o artículos. Si bien no son una herramienta automatizada en su totalidad, ni mucho menos estandarizada, estos elementos nos permitirían tener valores concretos o numéricos, que posiblemente darían respuesta a preguntas como: ¿es este artículo o esta revista de buena calidad? ¿Es este artículo o una revista de alto impacto? ¿Se puede predecir el éxito? ¿Es posible conocer si es de utilidad?

“Más allá del tipo de métricas o del mecanismo utilizado para evaluar calidad e impacto de una publicación, es evidente que los investigadores poseen hoy mucha información a disposición, con más que variados métodos de análisis. De este análisis de revistas y artículos, sus métricas y los problemas que conlleva analizarlos, entendemos que atacar su carácter subjetivo es un verdadero desafío. El carácter subjetivo no sólo lo otorga las métricas e indicadores, sino que por ser algo natural e inherente a la información, el mismo investigador que la lee y analiza le adjudica un valor personal que podría diferir del original”, explicó el investigador de la UNLP.

Es por lo anteriormente explicado que surge la necesidad de una herramienta automatizada, que agilice el trabajo del investigador en su tarea de evaluación individual de contenidos científicos. En lo posible, deberá hacerlo de manera integral mostrando una visión rápida y concisa de las métricas mencionadas, sin que los investigadores deban recorrer decenas de sitios web buscando información sobre publicaciones o trabajos. Bajo esta idea surge la Herramienta para Enriquecimiento de Recursos Académicos, como una solución centralizada que unifica información de revistas y de artículos, automatizando su recolección y brindando un punto de acceso único y simplificado a distintas métricas de calidad e impacto.

Cómo funciona HERA

HERA es una herramienta web que se encuentra disponible en http://hera.sedici.unlp.edu.ar.

Su funcionamiento es relativamente sencillo: el usuario cuenta con una barra de búsqueda donde deberá introducir un identificador, que puede ser el ISSN si desea analizar una publicación, o un DOI si desea analizar un artículo. Luego, deberá hacer clic en el botón “Buscar” que indica a HERA que debe iniciar la búsqueda de información del recurso asociado a dicho identificador.

Una vez iniciada la búsqueda, HERA se conectará de manera concurrente con un conjunto de servicios en línea y sitios web (bases de datos de aquí en adelante), desde los cuales intentará obtener información del recurso de interés. Asimismo, HERA decidirá cuál es la mejor estrategia para obtener información a partir de cada base de datos (por ejemplo, una API REST o web scrapping), así como también qué tipo de información puede obtener a partir de cada una de ellos: pertenencia o no a la base de datos, citas, gráficos, altmetrics, etc.

Al introducir un ISSN en la barra de búsqueda, se realiza la búsqueda de un journal o publicación periódica. Se obtiene primero la información sobre la editorial y enlace al recurso, así como la vista del resumen de métricas recopiladas de los diferentes sitios. Deslizándose hacia abajo se visualiza la vista resumida de las métricas del journal que fueron recopiladas en las bases de datos. Contamos con un botón para expandir la información y así visualizar la totalidad de su contenido.

Por otro lado, para buscar un paper, se introduce  un DOI en la barra de búsqueda y presionar el botón buscar, las métricas son recopiladas de las diferentes bases de datos y se renderizan en pantalla. Entre los resultados se pueden apreciar algunos metadatos de los recursos, como título, tipo de recurso, resumen, entre otros, así como el nombre de la publicación donde se publicó el paper y un enlace para dirigirse a su página original. También, de ser posible, la aplicación intentará recolectar métricas del journal donde se encuentra el paper para mostrarlas en conjunto.

“Determinar la calidad y el impacto de una revista o un artículo científico se torna un desafío cada vez más dificultoso debido a dos factores: el crecimiento exponencial en la cantidad de recursos para analizar gracias al desarrollo tecnológico; y  la existencia de múltiples indicadores y métricas de diversa índole para cada clase de recurso. En este contexto, HERA representa una herramienta que de manera ágil permite integrar y visualizar métricas de bases de datos relevantes y reconocidas en un único sitio. Esto es de vital importancia a la hora de evaluar contenido, no sólo por eximir a los investigadores de la tediosa tarea de buscar métricas en muchas páginas web, sino también por facilitar la visualización de métricas para su análisis integral”, concluyó Villarreal.