“En las dos últimas décadas ha habido un notable crecimiento en la difusión de herramientas de clasificación y medición del desempeño urbano (rankings, índices y similares) así como de las instituciones, tanto públicas como privadas, que las utilizan, respondiendo a presiones uniformizadoras de diversa índole. Todas estas herramientas son, supuestamente, útiles para guiar y evaluar las políticas implementadas por las autoridades locales en diversos campos de actuación, y son especialmente prolíficas en el ámbito de la sostenibilidad. Sin embargo, existe una falta de conocimiento sobre la base metodológica real que subyace en ellas, y que debería legitimar su uso”, explica Lucía Sáez Vegas, doctora del Departamento de Economía Financiera II de la UPV/EHU.

“Con el objetivo de analizar y evaluar la calidad y buenas prácticas de medición y monitorización urbano, y prestando especial atención a los aspectos metodológicos, entre cientos de herramientas de medición hemos seleccionado un conjunto de 21 rankings, índices y herramientas similares de clasificación y monitorización de la sostenibilidad urbana (entendida en sentido muy amplio), para estudiarlos en profundidad, adaptando y aplicando para tal fin una metodología de análisis testada en otro ámbito, el de los rankings universitarios”, añade la doctora Sáez.

La importancia de los aspectos metodológicos

En todos y cada uno de los rankings, índices y herramientas similares analizados, los investigadores han analizado los siguientes cuatro aspectos principales: propósito y grupo objetivo al que van dirigidos; metodología y ponderación utilizadas en su diseño; transparencia relacionada con la recopilación de los datos y el procesamiento de la información; y, por último, la presentación de los resultados. Según explica la doctora Sáez, “de estos cuatro aspectos, la información relativa al primero y al último es la más accesible, es decir, la información descriptiva. Todas las clasificaciones analizadas lo especifican; sin embargo, esto no ocurre cuando se trata de acceder a toda la información relativa a los aspectos metodológicos, la recopilación de datos y el procesamiento de la información, dando lugar a lo que se conoce como caja negra o black box, un artefacto cuyos resultados se estudian y difunden sin tener en cuenta su funcionamiento interno”.

De esta manera, los investigadores han constatado diversas debilidades metodológicas en todas las clasificaciones analizadas. La investigadora afirma que “este tipo de herramientas tiende a descuidar las causalidades complejas y carece de transparencia en relación con la recopilación de datos, la ponderación y el proceso de agregación en su diseño; del mismo modo, tienden a ser parciales y, como resultado, tienden a ignorar las ciudades mal clasificadas y a reforzar los estereotipos existentes”.

“La posibilidad de clasificar y comparar ciudades en dimensiones diferentes puede ayudar a identificar aquellas que parecen hacerlo mejor en los distintos aspectos urbanos. Por ello, en ocasiones estas herramientas son utilizadas por los gestores urbanos o los decisores públicos para el desarrollo de un plan de acción, si bien, hay que tener muy en cuenta cómo está elaborado ese ranking, o índice, y ser cautelosos en su uso, sobre todo si no provee suficiente información sobre los aspectos metodológicos y la robustez de sus resultados. Entendemos que estas herramientas deberían utilizarse más como una fuente de información, e incluso de inspiración, y no tanto como una hoja de ruta para la acción”, añade.

Además, estas clasificaciones atraen el interés del público en general, porque miden conceptos de naturaleza compleja, que se presentan a través de una clasificación, generalmente numérica, muy sencilla de entender. “Desde nuestro punto de vista académico, el hecho de que los resultados se presenten en forma de clasificación final, con mención a los principales hallazgos, pero con poca o ninguna consideración a los aspectos metodológicos que, al fin y al cabo, son los que sostienen esa puntuación o clasificación, suponen una clara debilidad de estas herramientas de medición y monitorización del desempeño urbano”, remarca Sáez.

Información complementaria

El estudio ha sido llevado a cabo por los investigadores de la Facultad de Economía y Empresa de la UPV/EHU Lucía Sáez Vegas, Iñaki Heras Saizarbitoria y Estibaliz Rodríguez Núñez (del Departamento de Economía Financiera II y Departamento de Organización de Empresas), pertenecientes al grupo de investigación consolidado del Gobierno Vasco GIC 15/176.