Calefacción, ventilación, y los sistemas de aire acondicionado, llamados sistemas HVAC, pueden ser un equilibrio delicado. Hay muchos factores a considerar, desde el flujo de aire entre las habitaciones hasta el efecto del calor del cuerpo humano. En la última decada, Los investigadores han recurrido al aprendizaje automático para optimizar estos sistemas. Con controladores más inteligentes, los edificios pueden ahorrar energía sin sacrificar la comodidad.

Actualmente existen dos enfoques principales del problema. En el primer enfoque, el controlador utiliza un modelo detallado del edificio para administrar sus sistemas. Sin embargo, el modelo requiere mucho esfuerzo para crearlo. "Es difícil hacer un modelo muy bueno de un edificio, difícil de mantener, y no escala, "dice Mario Bergés, profesor de ingeniería civil y ambiental. "Los edificios no son todos iguales, así que tienes que crear un modelo para cada edificio ".

El otro enfoque implica generar grandes cantidades de datos, lo que permite que el controlador se adapte a diferentes sistemas de construcción. En este caso, el principal obstáculo es el tiempo que tarda. "Necesitaría unos 40 años de datos de simulación para un edificio relativamente complejo, "Dice Bergés." En el mundo real, no se puede pasar 40 años tratando de averiguar cómo controlar un edificio ".

Para hacer frente a estos desafíos, Bergés trabajó con Ph.D. estudiante Bingqing Chen y colaborador de Dell. Desarrollaron una nueva solución, Gnu-RL, que incorpora lo mejor de ambos enfoques.

Primero, Gnu-RL completa el entrenamiento previo sin conexión utilizando datos históricos. Los sistemas HVAC ya tienen controles, para que Gnu-RL aprenda a copiarlos. De este modo, evita las complicaciones de modelos precisos y grandes cantidades de datos. "Solo necesita datos históricos, del cual ya tenemos mucho, "Dice Chen.

Una vez que se completa el entrenamiento previo, Gnu-RL puede imitar el controlador anterior de manera confiable. Próximo, se le enseña a adaptarse y mejorar. Bergés y Chen aplicaron una política de control predictivo de modelos diferenciables (MPC) desarrollada recientemente. Esta política recompensa al agente por maximizar la recompensa y minimizar el costo, y el agente se ajusta en consecuencia hasta lograr los controles óptimos para el sistema HVAC. Este método se llama aprendizaje por refuerzo, razón por la cual la solución tiene RL al final de su nombre.

La primera parte del nombre, por otra parte, proviene de una fuente menos convencional. Un ñu es un gran antílope oscuro de África. Estos animales son increíblemente precoces, lo que significa que nacen en un estado relativamente avanzado. "Pueden huir de los depredadores el mismo día en que nacen, ", Dice Chen." Y Gnu-RL controla razonablemente bien al inicio ". Esta similitud hizo que el nombre fuera una elección natural.

Bergés y Chen respaldan esta comparación con dos pruebas. La primera prueba se realizó con una simulación del lugar de trabajo inteligente en la cima de Margaret Morrison. "Tuvimos una mejora de 40 años a cuatro semanas en términos del tiempo de entrenamiento, "Dice Bergés." Y también mostramos una mejora de alrededor del 6% en el ahorro de energía sin sacrificar la comodidad ".

Bergés y Chen estaban tan animados por los resultados de la simulación que decidieron aplicar Gnu-RL a un entorno del mundo real. Por tres semanas, dejaron que Gnu-RL controlara el flujo de aire de una sala de conferencias en Gates Center. Los resultados de esta prueba fueron igualmente prometedores. "Aprendió a imitar el controlador existente, "Dice Bergés." Entonces, además de eso, aprendió a enfriar previamente el espacio y brindar comodidad antes de que llegara la gente, que es algo que el controlador existente no estaba haciendo ".

Sin embargo, si bien su trabajo es emocionante, Bergés y Chen quieren agradecer el trabajo de los investigadores que les precedieron. "Nuestra contribución es una aplicación, así que nos basamos en el trabajo de otros ", Dice Chen. En particular, Gnu-RL adoptó la política MPC diferenciable desarrollada por Brandon Amos y Zico Kolter. Esta política permitió que Gnu-RL fuera eficiente y flexible.

Bergés y Chen presentaron su ponencia sobre Gnu-RL en el 6 ^th Conferencia internacional ACM sobre sistemas para edificios energéticamente eficientes, Ciudades y transporte (BuildSys 2019). La conferencia tuvo lugar en la ciudad de Nueva York los días 13 y 14 de noviembre.

Mirando hacia el futuro, Bergés y Chen creen que todavía hay espacio para que Gnu-RL crezca. "Hemos estado analizando escenarios relativamente simples, ", Dice Bergés." Puede haber complicaciones a medida que intentamos controlar edificios mucho más complejos, así que sigue siendo una pregunta abierta. Pero al menos lo estamos apuntando en una dirección que es nueva y que puede estimular muchas investigaciones sobre cómo abordar este problema ".