El impacto de la investigación se mide de diferentes formas. Sin embargo, Estos indicadores a menudo se basan en cálculos dudosos, dice Ludo Waltman.

Los formuladores de políticas intentan evaluar de diversas formas el desempeño de los investigadores y las instituciones de investigación. ¿Con qué frecuencia los colegas en el campo citan a un investigador? ¿Qué tan grande es su impacto? medido en el índice h? ¿Y qué tan bien se está desempeñando una universidad en comparación con otras instituciones en el país y en el extranjero?

Sin embargo, Estos indicadores y clasificaciones a menudo se basan en cálculos dudosos, dice Ludo Waltman en su conferencia inaugural. Este profesor de Estudios de Ciencias Cuantitativas sostiene que los rankings universitarios combinan indicadores incompatibles. "Estos rankings miden en parte el tamaño de las universidades y en parte su desempeño relativo en relación con su tamaño. Estas perspectivas luego se juntan. Entonces nadie entiende realmente qué es exactamente lo que nos dicen los rankings". Otras clasificaciones también hacen malabares con las cifras.

Según Waltman, el peligro es que los indicadores simplistas tengan un efecto negativo en la política de investigación, por ejemplo, si los investigadores o las instituciones de investigación se evalúan sobre la base de estos indicadores. Él cree que se necesita un mayor nivel de alfabetización cuantitativa para lograr el cambio. Una mejor comprensión de los análisis cuantitativos, así como de las conclusiones que se obtienen de estos análisis, marcaría una gran diferencia.

Waltman cree que la investigación cuantitativa da demasiado valor a la significación estadística, "Lo que significa que los resultados de la investigación se presentan de forma antinatural, forma binaria, tan significativo o no ". Además, en estos cálculos, la correlación a menudo se confunde con la causalidad. Se podría ganar mucho con una formación que aumente los niveles de alfabetización cuantitativa, dice Waltman. "El uso de métodos basados ​​en datos en el contexto específico del desarrollo de políticas no parece recibir la atención sistemática que merece".

"Donde quiera, posible, la política de investigación debe hacer uso de los hallazgos de la ciencia cuantitativa, ", dice Waltman en su conferencia inaugural." Pero no es realista pensar que podemos proporcionar respuestas cuantitativas a las muchas preguntas que existen. Creo que deberíamos alejarnos de la idea de que podemos responder este tipo de preguntas complejas con un simple sí o no ".