"Las últimas dos décadas han experimentado un crecimiento significativo en la difusión de herramientas para clasificar y medir el desempeño urbano (rankings, índices, etc.) en las instituciones públicas y privadas que los utilizan, en respuesta a diferentes tipos de presiones fomentando la uniformidad. Naturalmente, todas estas herramientas son útiles para orientar y evaluar las políticas implementadas por las autoridades locales en diversos campos de acción, y son particularmente prolíficos en el área de la sostenibilidad. Sin embargo, existe una falta de conocimiento sobre la base metodológica real que los sustenta y que se supone que legitima su uso. "explicó Lucía Sáez-Vegas, Doctor. Titular del Departamento de Economía Financiera de la UPV / EHU II.

"Con el objetivo de analizar y evaluar la calidad y las buenas prácticas en la medición y seguimiento urbano, y dedicando especial atención a los aspectos metodológicos, tomamos cientos de herramientas de medición y seleccionamos un conjunto de 21 clasificaciones similares, índices y herramientas diseñadas para jerarquizar y monitorear la sustentabilidad urbana (entendida en un sentido muy amplio) para que podamos estudiarlos en profundidad y así adaptar y aplicar una metodología de análisis probada en otro campo, el de los rankings universitarios, "agregó el Dr. Sáez.

La importancia de los aspectos metodológicos

En cada una de las clasificaciones similares, índices y herramientas analizados, los investigadores exploraron los siguientes cuatro principios fundamentales:objetivo y grupo destinatario al que se dirigen; metodología y ponderación utilizada en su diseño; transparencia relacionada con la recopilación de datos y el procesamiento de la información; y finalmente, la presentación de los resultados. Como explicó el Dr. Saéz, "De estos cuatro aspectos, la información sobre el primero y el último es la más accesible, en otras palabras, la información descriptiva. Eso está especificado por todas las clasificaciones analizadas; pero eso no sucede cuando se trata de acceder a toda la información sobre los aspectos metodológicos, recopilación de datos y procesamiento de información; esto da como resultado lo que se conoce como la caja negra, un artefacto cuyos resultados se estudian y difunden sin que se ponga en duda su funcionamiento interno ".

Es así como los investigadores confirmaron diversas debilidades metodológicas en todos los rankings analizados. El investigador insiste en que "las herramientas de este tipo tienden a descuidar causalidades complejas y carecen de transparencia con respecto a la recopilación de datos, proceso de ponderación y agregación en su diseño:tienden a estar sesgados y, como resultado, tienden a ignorar las ciudades mal clasificadas y a reforzar los estereotipos existentes ".

“La posibilidad de clasificar y comparar ciudades de diferentes dimensiones puede ayudar a identificar aquellas que parecen tener un mejor desempeño en diversos aspectos urbanos. Es por eso que estas herramientas son utilizadas en ocasiones por los gestores urbanos y los tomadores de decisiones públicas para desarrollar un plan de acción, aunque hay que tener una idea clara de cómo se ha elaborado el ranking o el índice, y tenga cuidado al usarlo, sobre todo si se proporciona información insuficiente sobre los aspectos metodológicos y la solidez de sus resultados. Entendemos que estas herramientas deben utilizarse más como fuente de información e incluso de inspiración, y menos como hoja de ruta para la acción, " ella añadió.

"Estos rankings atraen el interés del público en general porque miden conceptos de naturaleza compleja que se presentan mediante un ranking, generalmente de tipo numérico, que se puede entender muy fácilmente. Desde nuestro punto de vista académico, el hecho de que los resultados se presenten en forma de clasificación final con una mención de los principales hallazgos, pero con poca o ninguna consideración por los aspectos metodológicos que, al final del día, son los que sustentan la puntuación o la clasificación, significa una clara debilidad de estas herramientas cuando se utilizan para medir y monitorear el desempeño urbano, "dijo Sáez.