Управление коммерческими системами охлаждения с помощью обучения с подкреплением

О документе

Техническая статья DeepMind, Google и Trane об управлении холодильными установками коммерческих зданий с помощью reinforcement learning (RL). Авторы описывают систему BCOOLER, которая формирует безопасные рекомендации по уставкам и составу работающего оборудования на базе данных BMS, прогнозов энергопотребления и ограничений. В реальных A/B-экспериментах на двух объектах система показала снижение энергопотребления относительно эвристического Sequence of Operations (SOO) на 9% и 13%.

Какое решение описано

BCOOLER — система надзорного RL-управления chiller plant, работающая поверх BMS. Она обучает ансамбль нейросетей для прогноза энергопотребления и 24 наблюдаемых ограничений, генерирует и отсеивает небезопасные комбинации уставок/включения чиллеров и градирен, затем выбирает действие с учётом ожидаемой эффективности и неопределённости. В архитектуре предусмотрены режимы механического и свободного охлаждения, иерархия для решений с разными горизонтами воздействия, а также автоматический возврат к штатному SOO при отсутствии безопасного действия или сбое.

Главное

• RL-система BCOOLER в реальных экспериментах на двух объектах снизила энергопотребление холодильной установки на 9% и 13% относительно эвристического контроллера Trane SOO.
• Для промышленного HVAC недостаточно готового RL-алгоритма: потребовались предметные ограничения, очистка BMS-данных, режимно-зависимое маскирование действий, проверка чувствительности моделей и участие экспертов HVAC.
• Безопасность обеспечивается несколькими уровнями: фильтрацией действий по ограничениям, консервативной поправкой на неопределённость ансамбля, проверками BMS и fallback на SOO.
• Наибольший потенциал оптимизации наблюдался при низкой наружной температуре по влажному термометру и низкой нагрузке; при высокой температуре и нагрузке запас эффективности меньше.
• Работа подтверждает применимость подхода, ранее использованного для охлаждения ЦОД Google, к многокомпонентным коммерческим холодильным установкам, но не заявляет plug-and-play внедрение.

Ключевые цифры

Экономия энергии на объекте 1

approximately 9 %

Live A/B-эксперимент BCOOLER против эвристического SOO.

Экономия энергии на объекте 2

13 %

Live A/B-эксперимент BCOOLER против эвристического SOO.

Число объектов live-эксперимента

2 объекта

Университетская chiller plant и многофункциональное коммерческое здание.

Длительность каждого A/B-теста

3 месяца

Тесты проводились в переходный сезон; контроллеры чередовались по дням.

Интервал данных и управления

5 минут

Один шаг MDP и период формирования управляющего действия.

Требование к времени принятия решения

1 минута

Решение должно быть рассчитано по свежим наблюдениям.

Размерность вектора состояния

50 измерений

После инженерии признаков.

Размерность непрерывной части действий

12 измерений

Уставки дополняются дискретными командами включения/выключения оборудования.

Входы модели ценности действия

62 признака

50 наблюдений и 12 действий.

Выходы прогнозной модели

25 прогнозов

1 целевая метрика энергопотребления и 24 ограничения наблюдений.

Ограничения пространства действий

59 ограничений

Ограничения, которые не должны нарушаться при генерации кандидатных действий.

Ограничения наблюдаемых параметров

24 ограничения

Прогнозируются и консервативно проверяются перед выбором действия.

Кандидатные действия после pruning

up to 100000 действий

Ограничение на число действий для последующего скоринга и ранжирования.

Доля исследовательских действий

5 %

Optimistic ε-greedy exploration.

Пример низкой нагрузки

200 tons

При такой нагрузке два чиллера потребляют больше энергии, чем один.

Пример высокой нагрузки

800 tons

При такой нагрузке два чиллера потребляют меньше энергии, чем один.

Доля мирового спроса на электроэнергию от охлаждения помещений

around 10 %

Приводимая авторами оценка IEA за 2018 год.

Эквивалент тонны холодильной нагрузки

roughly 3.5 kW

Указанное в статье приближённое соотношение.

Что полезно собственнику ЦОД

Для владельца ЦОД или проектной команды это практический ориентир для пилота AI-оптимизации центральной холодильной станции: потенциальная экономия порядка 9–13% достижима не «поверх любого BMS» автоматически, а при наличии качественных телеметрии и исполнительного контура, формализованных ограничений, безопасного fallback на штатную автоматику и длительной валидации по погоде и нагрузке. Подход особенно релевантен объектам с несколькими чиллерами, градирнями, насосами и переменной нагрузкой; он может использоваться для проверки supervisory-слоя над существующим BMS, а не как замена базовых защит и локальных контуров управления.

Где применяется

Темы