Skip to main content
NCBI home page
Revista Española de Salud Pública logoLink to Revista Española de Salud Pública
. 2016 Sep 22;90:e20006. [Article in Spanish]
View full-text in English

Métricas en perfiles académicos: ¿un nuevo juego adictivo para los investigadores?

Enrique Orduna-Malea 1, Alberto Martín-Martín 2, Emilio Delgado López-Cózar 2
PMCID: PMC11587482

RESUMEN

Pretende este trabajo provocar la reflexión y alertar de los posibles peligros para la ciencia que encierran las nuevas redes sociales académicas que tanto éxito están teniendo en nuestros días. Las redes sociales académicas donde los autores pueden mostrar sus publicaciones se han convertido en nuevos canales de comunicación científica, pues agilizan la diseminación de los resultados de investigación, facilitan la compartición de datos y fomentan la colaboración científica de forma extensa sin coste alguno.

Una de las novedades principales de estas plataformas, que es lo que las hace enormemente atractivas para los investigadores, consiste en la disponibilidad de una amplia batería de indicadores bibliométricos que van más allá del conteo de publicaciones y citas pues permiten medir el uso, la participación, la conectividad social y el impacto científico, académico y profesional. Sobre estos indicadores se está construyendo la propia imagen y reputación digital de los científicos.

Pues bien, todos estos beneficios de las redes sociales académicas en la mejora de la comunicación científica esconden un lado no tan positivo para la ciencia. Se trata de herramientas muy peligrosas, que pueden convertirse en auténticas adicciones. Mediante la gamificación del impacto científico a través de persuasivas técnicas procedentes de los videojuegos, estas plataformas pueden hacer que los usuarios queden enganchados, como académicos adictos, convirtiendo lo que es un medio en un fin en sí mismo.

Palabras clave: Bibliometría, Perfiles académicos, Gamificación, Redes sociales, Videojuegos, Efectos adversos, Ética de la investigación, Comportamiento adictivo

PERFILES ACADÉMICOS: NUEVOS MEDIOS DE COMUNICACIÓN EN LA CIENCIA

El número de investigadores que utilizan perfiles y redes sociales académicas está aumentando de forma vertiginosa1,2. Desde el lanzamiento de Aminer en 2006, servicio pionero de perfiles académicos, muchos otros actores han desarrollado sus propias plataformas, entre otros ResearcherID, ResearchGate y Academia.edu en 2008, los perfiles de Microsoft Academic Search en 2009, ImpacStory en 2011, Google Scholar Citations y ORCID en 2012 y, más recientemente, los perfiles disponibles en Semantic Scholar, un novedoso motor de búsqueda académico desarrollado por el Allen Institute for Artificial Intelligence, lanzado en Noviembre de 2015. Estas plataformas han comenzado a modelar la comunicación científica y bien podrían influir en la evaluación del impacto académico en el futuro. El número actual de usuarios de estas plataformas (Tabla 1) da buena muestra de su amplia aceptación entre la comunidad global de investigadores.

Tabla 1. Plataformas académicas multidisciplinares: documentos y perfiles.

Plataformas de perfiles académicos Documentos Perfiles
Google Scholar 200.000.000 1.500.000
ResearchGate 100.000.000 10.000.000
Microsoft Academic Search 80.000.000 Deshabilitado
Mendeley 114.000.000 4.000.000
Academia.edu 14.983.516 41.531.184
Open in a new tab

Todos los datos son aproximados a fecha de septiembre de 2016. Fueron obtenidos directamente de la información oficial publicada por las plataformas, salvo Google Scholar, cuyo número de documentos fue calculado mediante consultas por año y cuyo número de perfiles fue estimado mediante web scraping.

Cada una de estas plataformas, aparte de proporcionar las prestaciones síncronas y asíncronas típicas de las redes sociales, se especializan con el fin de adaptarse a los intereses de sus usuarios. Una de las características más comunes de las redes sociales académicas es la de permitir depositar y compartir en red las contribuciones académicas sin importar si han sido publicadas formalmente e independientemente de su tipología y fuente. Adicionalmente, proporcionan gran cantidad de herramientas sociales (Figura 1), tales como la personalización de alertas, revisión por pares en abierto, networking social a través de contactos, la posibilidad de generar y contestar preguntas relacionadas con la investigación, mensajes públicos y privados y, por último pero no por ello menos importante, acceder a un sistema exhaustivo de monitorización y vigilancia tecnológica. En resumen, estas plataformas constituyen un nuevo canal para comunicar las actividades académicas. Además, agilizan la difusión de los resultados, facilitan la compartición de datos brutos de investigación y, en definitiva, fomentan la colaboración científica, todo ello sin generar coste alguno a los usuarios (al menos de momento).

Figura 1. Nuevas herramientas de comunicación en las nuevas plataformas académicas (ejemplo de algunas prestaciones de ResearchGate).

Figura 1

Open in a new tab

Muchas plataformas y redes sociales académicas ofrecen una amplia batería de métricas a nivel de autor (Figura 2), que generalmente se muestran de forma prominente en sus interfaces. Estas métricas pueden dividirse en cinco categorías: bibliométricas (publicación y citación), uso, participación, valoración y conectividad social3. Todas las interacciones (visionados, descargas, lecturas, enlaces, comparticiones, menciones, revisiones, incrustado y etiquetado de contenidos, discusiones, marcadores, votos, seguimiento de usuarios, valoraciones, citas, etcétera) son rastreadas por la plataforma y transformadas en una variedad de indicadores, de los que los investigadores pueden obtener, prácticamente a tiempo real, una idea del impacto que sus trabajos están teniendo en las comunidades científicas y profesionales, así como en los medios de comunicación en general. El impacto reflejado, por supuesto, depende del grado de compromiso de los usuarios con las plataformas y de la variedad de métricas disponibles. Cada autor puede tener un reflejo diferente en cada plataforma. Por tanto, cada plataforma podría ser considerada un "espejo académico".

Figura 2. Muestra de métricas de autor en los más importantes perfiles académicos (Mendeley, ResearchGate, ResearcherID y Google Scholar Citations).

Figura 2

Open in a new tab

Los gestores de políticas científicas, en su afán por lograr encontrar medidas cuantitativas objetivas que les eximan de la responsabilidad de sus decisiones, podrían estar tentados de utilizar y aplicar estas métricas4. Y ya conocemos que los científicos son muy sensibles a las políticas de evaluación en tanto en cuanto afectan al sistema de reconocimiento, un pilar básico en el funcionamiento de la ciencia5. La consagración de los índices bibliométricos, con el Journal Impact Factor a la cabeza, como criterios preferentes en la evaluación de los científicos en España desde 1989, constituye un buen ejemplo de los cambios de conducta inducidos por dichas políticas5,6.

La obsesión compulsiva de utilizar el Factor de Impacto como único e incontestable criterio de calidad del trabajo científico se extendió con rapidez por todos los países dando lugar a una auténtica enfermedad, la impactitis7 que recientemente ha llevado a una declaración en contra de su empleo (DORA: San Francisco Declaration on Research Assessment)8 y a un manifiesto9 que ofrece una guía de buenas prácticas en el uso de indicadores bibliométricos.

LAS NUEVAS "DROGAS BIBLIOMÉTRICAS"

Aunque estos espejos académicos vienen cargados de métricas que lo miden todo, también traen consigo otros efectos adversos. Estas plataformas enganchan a quien las usa, pudiendo dar lugar a auténticas adicciones si se usan indebidamente.

La primera adicción bibliométrica reconocible -tal y como las entendemos hoy día- fue el Factor de Impacto. Otras adicciones basadas en métricas vinieron después (como el h-index y todos sus índices derivados). Ahora surge de las redes sociales académicas una nueva generación de adicciones por productos sintéticos y de diseño. Estos nuevos narcóticos, de igual forma que sus predecesores, se nutren de satisfacer las necesidades más narcisistas de los usuarios a través del estímulo continuo de los mecanismos internos de recompensa, al igual que cualquier droga adictiva. No obstante, la sustancia ha evolucionado desde una métrica individual hacia un entorno completo e inversivo de entretenimiento, un videojuego.

Mediante la ludopatía del impacto científico a través de las técnicas persuasivas de los videojuegos (tales como el logro de puntuaciones, la competición, el desbloqueo de funcionalidades y, de forma inminente, pantallas, enemigos y vidas extra), estas plataformas pretenden enganchar a los usuarios en el logro de puntos en la reputación, compitiendo contra otros usuarios y contra ellos mismos10.

Los académicos adictos no sólo serán más propensos a engañar al sistema11 sino que además ellos mismos se encontrarán en un estado tal de dependencia y absorción que tanto su creatividad y productividad (en su dimensión profesional) como sus relaciones sociales (en su dimensión más personal) podrían verse seriamente afectadas. Los usuarios podrían además experimentar episodios de depresión en el caso de que sus resultados no fueran los esperados o sus competidores pudieran sobrepasarlos o llegar a marcadores especialmente elevados.

La aparición de un nuevo trastorno mental (similar al detectado en los jóvenes adictos a las redes sociales) no debería ser descartada. Aquellos académicos que acceden de forma compulsiva a las plataformas sociales académicas en cualquier momento y lugar, esperando nuevas descargas, citas o "me gusta" constituyen un claro síntoma de que una nueva enfermedad ha nacido, el dolor académico.

Ante este escenario ¿deberíamos advertir o prevenir a los investigadores contra el ab(uso) de estas plataformas? ¿Deberían las instituciones de investigación aprender a prevenir y tratar esta enfermedad?

Footnotes

Cita sugerida: Orduna-Malea E, Martín-Martín A, Delgado López-Cózar E. Métricas en perfiles académicos: ¿un nuevo juego adictivo para los investigadores? Rev Esp Salud Pública. 2016;Vol. 90: 22 de septiembre: e1-e5.

BIBLIOGRAFÍA

  • 1.1. Van-Noorden R. Online collaboration: Scientists and the social network. Nature.2015;512(7513):126-9. [DOI] [PubMed]; Van-Noorden R. Online collaboration Scientists and the social network. Nature. 2015;512(7513):126–129. doi: 10.1038/512126a. [DOI] [PubMed] [Google Scholar]
  • 2.2. Kramer B, Bosman J. 101 Innovations in Scholarly Communication: the Changing Research Workflow [online]. (Consultado 11-09-2016). Disponible en: https://101innovations.wordpress.com ; Kramer B, Bosman J. 101 Innovations in Scholarly Communication: the Changing Research Workflow. [11-09-2016]. online. Disponible en: https://101innovations.wordpress.com .
  • 3.3. Orduna-Malea E, Martín-Martín A, Delgado López-Cózar E. The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact. El profesional de la información.2016;25(3):485-96.; Orduna-Malea E, Martín-Martín A, Delgado López-Cózar E. The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact. El profesional de la información. 2016;25(3):485–496. [Google Scholar]
  • 4.4. Jiménez-Contreras E, Moya Anegón F, Delgado López-Cózar E. The evolution of research activity in Spain: The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Res Policy. 2003;32(1):123-42.; Jiménez-Contreras E, Moya Anegón F, Delgado López-Cózar E. The evolution of research activity in Spain: The impact of the National Commission for the Evaluation of Research Activity (CNEAI) Res Policy. 2003;32(1):123–142. [Google Scholar]
  • 5.5. Jiménez-Contreras E, Delgado López-Cózar E, Ruiz-Pérez, R, Fernández VM. Impact-factor rewards affect Spanish research. Nature. 2002; 417(6892):898. [DOI] [PubMed]; Jiménez-Contreras E, Delgado López-Cózar E, Ruiz-Pérez R, Fernández VM. Impact-factor rewards affect Spanish research. Nature. 2002;417(6892):898–898. doi: 10.1038/417898b. [DOI] [PubMed] [Google Scholar]
  • 6.6. Delgado-Lopez-Cozar E, Ruiz-Pérez R, Jiménez-Contreras E. Impact of the impact factor in Spain. BMJ 2007; 334.; Delgado-Lopez-Cozar E, Ruiz-Pérez R, Jiménez-Contreras E. Impact of the impact factor in Spain. BMJ. 2007:334–334. [Google Scholar]
  • 7.7. Camí J. Impactolatria, diagnóstico y tratamiento. Med Clín (Barc).1997; 109: 515-24. [PubMed]; Camí J. Impactolatria, diagnóstico y tratamiento. Med Clín (Barc) 1997;109:515–524. [PubMed] [Google Scholar]
  • 8.8. American Society for Cell Biology. San Francisco declaration on research assessment [online]. (Consultado 15-09-2016). Disponible en: http://www.ascb.org/dora/ ; American Society for Cell Biology San Francisco declaration on research assessment. [15-09-2016]. online. Disponible en: http://www.ascb.org/dora/
  • 9.9. Hicks D, Wouters P, Waltman L, Rijcke SD, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520:429-31. [DOI] [PubMed]; Hicks D, Wouters P, Waltman L, Rijcke SD, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520:429–431. doi: 10.1038/520429a. [DOI] [PubMed] [Google Scholar]
  • 10.10. Hammarfelt B, de Rijcke SD, Rushforth AD. Quantified academic selves: the gamification of research through social networking services. Information Research.2016;21(2). (Consultado 11-09-2016). Disponible en: http://InformationR.net/ir/21-2/SM1.html ; Hammarfelt B, de Rijcke SD, Rushforth AD. Quantified academic selves: the gamification of research through social networking services. [11-09-2016];Information Research. 2016 21(2) Disponible en: http://InformationR.net/ir/21-2/SM1.html . [Google Scholar]
  • 11.11. Delgado López-Cózar E, Robinson-García N, Torres-Salinas D. The Google Scholar experiment: How to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology.2014;65(3):446-54.; Delgado López-Cózar E, Robinson-García N, Torres-Salinas D. The Google Scholar experiment: How to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology. 2014;65(3):446–454. [Google Scholar]
Rev Esp Salud Publica. 2016 Sep 22;90:e20006. [Article in English]

Metrics in academic profiles: a new addictive game for researchers?

ABSTRACT

This study aims to promote reflection and bring attention to the potential adverse effects of academic social networks on science. These academic social networks, where authors can display their publications, have become new scientific communication channels, accelerating the dissemination of research results, facilitating data sharing, and strongly promoting scientific collaboration, all at no cost to the user.

One of the features that make them extremely attractive to researchers is the possibility to browse through a wide variety of bibliometric indicators. Going beyond publication and citation counts, they also measure usage, participation in the platform, social connectivity, and scientific, academic and professional impact. Using these indicators they effectively create a digital image of researchers and their reputations.

However, although academic social platforms are useful applications that can help improve scientific communication, they also hide a less positive side: they are highly addictive tools that might be abused. By gamifying scientific impact using techniques originally developed for videogames, these platforms may get users hooked on them, like addicted academics, transforming what should only be a means into an end in itself.

Keywords: Bibliometrics, Academic Profiles, Addiction, Gamification, Social networks, Video games, Adverse effects, Research. ethics, research Behavior, addictive

ACADEMIC PROFILES: NEW COMMUNICATION CHANNELS IN SCIENCE

The number of researchers who use academic profiles and social networks is rapidly increasing.1,2 Since the launch of Aminer in 2006, a pioneer academic profile service, many other actors have released their own platform, among others: ResearcherID, ResearchGate, and Academia.edu in 2008, Microsoft Academic Search's Profiles in 2009, ImpactStory in 2011, Google Scholar Citations, and ORCID in 2012, the new Scopus Author Profiles in 2014, and recently, the profiles available in Semantic Scholar, a promising new academic search engine developed by the Allen Institute for Artificial Intelligence and launched on November 2015. These platforms have already started shaping science communication, and they may very well also influence future academic impact assessment. Their current number of users (Table 1) bears witness to their widespread acceptance among the global community of researchers.

Table 1. Multidisciplinary academic platforms: documents and profiles.

Academic profile Platforms Documents Profiles
Google Scholar 200,000,000 1,500,000
ResearchGate 100,000,000 10,000,000
Microsoft Academic Search 80,000,000 Deprecated
Mendeley 114,000,000 4,000,000
Academia.edu 14,983,516 41,531,184
Open in a new tab

All approximate data as of September 2016; data were obtained directly from the official information published by the platforms, with the exception of Google Scholar, whose documents and profiles were estimated through year queries and direct scraping respectively.

Each of these platforms, while providing the common synchronous and asynchronous social network features, also specializes to fit their users' interests. One of the most common features in academic social networks is enabling users to upload and share their academic contributions, whether or not they have been formally published and regardless of their typology and source. Additionally, they also make a handful of social tools available to their users (Figure 1), such as personalized alerts, open peer reviews, social networking through contacts, the possibility to make and answer academic-related questions, public and private messages, and last but not least, access to a comprehensive monitoring and technological surveillance system. In short, these platforms are a new way to communicate academic activities. They also speed up the dissemination of results, facilitate research data sharing, and encourage widespread scientific collaboration, all at no cost to the user (so far).

Figure 1. New communication features in the new academic platforms (example of some ResearchGate features).

Figure 1

Open in a new tab

Most academic profile services and social networks offer a wide battery of author-level metrics (Figure 2), which they usually showcase prominently on their interfaces. These may be divided into five categories: bibliometrics (publication and citation), usage, participation, rating, and social connectivity.3 All user interactions (views, downloads, reads, links, shares, mentions, reviews, embeds, labels, discussions, bookmarks, votes, follows, ratings, citations, etc.) are tracked by the platform and transformed into a variety of indicators, from which researchers can get an idea of the impact their work is having in the scientific and professional communities, and the media at large, nearly on real time. The impact reflected, of course, depends on the degree to which users engage in the platform, and the variety of metrics available. Authors may have a different reflection in each of the platforms. Thus, each platform may be considered an "academic mirror".

Figure 2. Author metric display in the most important academic profiles (Mendeley, ResearchGate, ResearcherID, and Google Scholar Citations).

Figure 2

Open in a new tab

Policy makers, in their eagerness to find objective quantitative measures that relieve them of the responsibility of their decisions, may be tempted to use and endorse these metrics.4 We already know how sensitive scientists are to evaluative policies inasmuch they affect the promotion and reward systems, essential cogwheels in the clockwork of Science.5 The consecration of bibliometric indexes, with the Journal Impact Factor at the head, as the preferred criteria in the evaluation of scientists in Spain since 1989 constitutes a good case in point regarding behavioural changes induced by these policies.5,6

The compulsive obsession to use the Journal Impact Factor as a unique and indisputable measure of the quality of a scientific work quickly spread throughout many countries, giving rise to a new real disease: impactitis7, which recently led both to a declaration against its use (DORA: San Francisco Declaration on Research Assessment)8 and a Manifesto9 declaring best practices for the fair use of bibliometric indicators.

THE NEW "BIBLIOMETRIC DRUGS"

Although these "mirrors" come loaded with metrics for nearly everything, they might also bring about negative effects. They are highly addictive tools that might be abused as if they were drugs.

The first recognizable "bibliometric drug" -as we understand it today- was the Journal Impact Factor. Other metric-based drugs such as the h-index and all its derivatives came later, and now a new generation of synthetic and designer drugs has sprung from academic social networks. These new narcotics, as their predecessors, thrive on satisfying their users' egotistical needs by continuously activating their internal reward mechanisms, like any other addictive drug would do. However, the substance has evolved from one metric to an entire entertaining and immersive environment, similar to a videogame.

By gamifying researchers' impact through persuasive videogame techniques (scores, achievements, competition, unlocked features, and coming soon stages, enemies and extra lives), these platforms intend to get users hooked on scoring reputation "points", competing against one another and against themselves.10

Addict scholars will not only be more willing to game the system11, but will also find themselves in such a state of dependence and self-absorption that their creativity and productivity (professional dimension), and social relations (personal dimension) might be severely affected. Users may even experience episodes of depression if they feel their metrics are not as good as expected, or when a rival surpasses them or achieve a particularly high score.

The appearance of a new mental disorder (similar as those detected on young people hooked on social networks) should not be discarded. Researchers compulsively accessing to academic social platforms anytime and anywhere, expecting new downloads, citations or likes is a clear symptom that a new academic illness is born, a scholar-ache.

Faced with this scenario should we warn or prevent scientists against the (ab)use of these platforms? Should research institutions learn how to treat this new social disease?

Footnotes

Suggested citation: Orduna-Malea E, Martín-Martín A, Delgado López-Cózar E. Metrics in academic profiles: a new addictive game for researchers? Rev Esp Salud Publica. 2016 Sep 22;90:e1-5.

Articles from Revista Española de Salud Pública are provided here courtesy of Dirección General de Salud Pública - Ministerio de Sanidad

RESOURCES