Al evaluar los modelos climáticos, los expertos suelen evaluar a través de una variedad de criterios para llegar a una evaluación general de la fidelidad del modelo. Utilizan su conocimiento del sistema físico y los objetivos científicos para evaluar la importancia relativa de los diferentes aspectos de los modelos en presencia de compensaciones. Burrows y col. (2018) muestran que los científicos del clima ajustan la importancia que asignan a diferentes aspectos de una simulación en función de la cuestión científica que se utilizará para abordar el modelo. Su investigación también muestra que el consenso de los expertos sobre la importancia difiere entre las variables del modelo. Crédito: Avances en ciencias atmosféricas
Un equipo de investigación con base en el Laboratorio Nacional del Noroeste del Pacífico en Richland, Washington, ha publicado los resultados de una encuesta internacional diseñada para evaluar la importancia relativa que los científicos climáticos asignan a las variables cuando analizan la capacidad de un modelo climático para simular el clima del mundo real. Los resultados, que tienen serias implicaciones para los estudios que utilizan los modelos, fueron publicados como un artículo de portada en Avances en ciencias atmosféricas el 22 de junio 2018.
"Los modeladores del clima dedican mucho esfuerzo a calibrar ciertos parámetros del modelo para encontrar una versión del modelo que haga un trabajo creíble al simular el clima observado en la Tierra, "dijo Susannah Burrows, primer autor del artículo y científico del Laboratorio Nacional del Noroeste del Pacífico que se especializa en análisis y modelado de sistemas terrestres.
Sin embargo, Burrows señaló, Hay pocos estudios sistemáticos sobre cómo los expertos priorizan variables como la cobertura de nubes o el hielo marino al juzgar el desempeño de los modelos climáticos.
"Diferentes personas pueden llegar a evaluaciones ligeramente diferentes de cuán 'bueno' es un modelo en particular, dependiendo en gran medida a qué aspectos le asignen más importancia, "Dijo Burrows.
Un modelo por ejemplo, puede simular mejor el hielo marino mientras que otro modelo sobresale en la simulación de nubes. Cada científico debe lograr un equilibrio entre sus prioridades y objetivos en competencia, algo difícil de capturar sistemáticamente en las herramientas de análisis de datos.
"En otras palabras, no hay un solo, definición completamente objetiva de lo que constituye un 'buen' modelo climático, y este hecho es un obstáculo para desarrollar enfoques y herramientas más sistemáticos para ayudar en las evaluaciones y comparaciones de modelos, "Dijo Burrows.
Los investigadores encontraron, a partir de una encuesta de 96 participantes que representan a la comunidad de modelos climáticos, que los expertos tuvieran en cuenta objetivos científicos específicos al calificar la importancia de las variables. Encontraron un alto grado de consenso en que ciertas variables son importantes en ciertos estudios, como la lluvia y la evaporación en la evaluación del ciclo del agua amazónica. Ese acuerdo vacila en otras variables, como lo importante que es simular con precisión los vientos superficiales al estudiar el ciclo del agua en Asia.
Es importante comprender estas discrepancias y desarrollar enfoques más sistemáticos para la evaluación de modelos, según Burrows, Dado que cada nueva versión de un modelo climático debe someterse a una evaluación significativa, y calibración por parte de múltiples desarrolladores y usuarios. El proceso, que requiere mucha mano de obra, puede tardar más de un año.
La afinación mientras está diseñado para mantener un estándar riguroso, requiere que los expertos hagan concesiones entre prioridades en competencia. Un modelo puede calibrarse a expensas de un objetivo científico para lograr otro.
Burrows es miembro de un equipo de investigación interdisciplinario en PNNL que trabaja para desarrollar una solución más sistemática a este problema de evaluación. El equipo incluye a Aritra Dasgupta, Lisa Bramer, y Sarah Reehl, expertos en ciencia de datos y visualización, y Yun Qian, Po-Lun Ma, y Phil Rasch, expertos en ciencias del clima.
Para ayudar a los modeladores climáticos a comprender estas compensaciones de manera más clara y eficiente, los investigadores de visualización están construyendo interactivos, interfaces visuales intuitivas que permiten a los modeladores resumir y explorar información compleja sobre diferentes aspectos del rendimiento del modelo.
Los científicos de datos están trabajando para caracterizar la evaluación experta de modelos climáticos con mayor detalle, basándose en los resultados de la encuesta inicial. Finalmente, los investigadores tienen como objetivo combinar una combinación de métricas con experiencia humana para evaluar qué tan adecuados son los modelos climáticos para objetivos científicos específicos, así como para predecir con qué frecuencia los expertos estarán de acuerdo o en desacuerdo con esa evaluación.
"[Planeamos] combinar lo mejor de ambos mundos, utilizar la informática para reducir el esfuerzo manual y permitir que los científicos apliquen de manera más eficiente su conocimiento y juicio humanos donde más se necesitan, "Dijo Burrows.
