Назад в будущее: современные системы охлаждения ЦОД

А. М. Эрлих, генеральный директор ООО «ПрофАйТиКул», profitcool.ru

Немного истории

Первые появившиеся в Западной Европе в середине 50-х годов прошлого века центры обработки данных были совсем не похожи на современных гигантов IT-индустрии. Да и самой IT-индустрии, которую мы сейчас воспринимаем как нечто само собой разумеющееся, не существовало. ЦОД, вернее, гигантские по размерам электронные вычислительные машины, использовались в основном государственными структурами, учеными и военными. И охлаждались весьма специфически – например, погружались в фреоновую ванну (суперкомпьютор Пентагона Cray). Первые коммерческие ЦОД в Западной Европе появились в конце 60-х – начале 70-х годов прошлого века. Вместе с их появлением возникла потребность в системах охлаждения, адаптированных специально под нужды коммерческих ЦОД – менее специфических, простых и удобных в эксплуатации. Такими системами в большинстве своем стали изобретенные в Западной Европе примерно в то же время климатические аппараты для точного и надежного поддержания заданных параметров в медицинских учреждениях, лабораториях, а также в системах технологического промышленного холода, получившие название «прецизионные кондиционеры».

Начав победоносное шествие в 70-х, прецизионные кондиционеры быстро стали лидерами на рынке охлаждения ЦОД и много десятилетий не уступали первое место другим системам охлаждения. Они прекрасно пережили несколько поколений систем хранения и обработки данных, пока в начале нашего тысячелетия не появились графические ускорители и привычная стойка с плановой IT-нагрузкой в 5 кВт и реальной в 3 кВт не превратилась в мощного 20-киловаттного (и более) монстра.

Первые высоконагруженные стойки поселились в ЦОД научных и военных учреждений и, казалось, были очень далеки от коммерческого применения. Но высокую скорость обработки данных довольно быстро по достоинству оценили банки и маркетинговые агентства, а вслед за ними и другие участники рынка. И вот уже мы, проектируя сегодня ЦОД, считаем среднюю нагрузку на стойку 10 или даже 15 кВт и понимаем, что прецизионный кондиционер больше не справляется с потребностями современного ЦОД – громоздко, дорого, неэффективно. На сегодняшний день нам уже требуется один межрядный прецизионный кондиционер на две стойки.

Воздухоохлаждающие приборы

В поисках новых систем охлаждения рынок вернулся к погружным системам, снова отказался от них, в основном из-за неудобства эксплуатации, попробовал прямой фрикулинг, но не удовлетворился ограничениями по применению, связанными с климатом. И вспомнил о воздухоохлаждающих приборах, или ВОП.

Состоят ВОП из теплообменного блока с большой площадью теплообмена, вентиляторов и системы автоматики, включающей двух- или трехходовой клапан. При необходимости их дополнительно оснащают фильтрами, решетками защиты теплообменной поверхности и проч. В истории затерялся момент, когда ВОП стали использоваться в системах охлаждения тех же медицинских учреждений, технологического промышленного холода, лабораторий и помещений, в которых работают люди. Но вот в ЦОД в Западной Европе их стали применять лишь в первом десятилетии нашего века. В России тематика применения ВОП в ЦОД стала актуальной последние несколько лет.

Рисунок 1. Прецизионные кондиционеры в ЦОД

Принцип действия ВОП: при помощи низкоскоростного распределения воздуха (его иногда еще называют низкоскоростной вентиляцией либо «холодным озером») создать холодный бассейн, из которого каждая стойка забирает необходимое ей для охлаждения количество воздуха.

На сегодняшний день существуют следующие разновидности ВОП:

• для установки под фальшпол (при этом высота ВОП варьируется от 0,37 до 2,5 м в стандартном исполнении);
• для установки над машзалом (например, на техническом этаже или даже на крыше);
• так называемые «холодные стены» – ВОП, предназначенные для установки непосредственно в машзал.

Возможности адаптации ВОП под архитектуру конкретного ЦОД безграничны. Благодаря огромному количеству стандартных вариантов этих аппаратов ВОП впишутся в любой ЦОД и дадут гораздо больше возможностей по количеству размещенных в машзале стоек, чем прецизионники.

Чем помимо скорости распределения воздуха и возможностей расстановки отличается ВОП от прецизионного кондиционера?

Площадь теплообмена у ВОП намного больше, чем у прецизионных кондиционеров, что позволяет значительно уменьшить нагрузку на вентиляторы, перенеся ее на теплообменную поверхность. Даже в случае, если все вентиляторы выйдут из строя одновременно, за счет естественного движения воздуха через сам теплообменник (скорость порядка 0,5 м/c) система на ВОП может выдержать в машзале температуры, допустимые ASHRAE в качестве кратковременного повышения.

За счет той же площади ВОП могут функционировать при более высоких температурах рабочей жидкости, чем прецизионные кондиционеры, что дает возможность использовать их в режиме свободного охлаждения бóльшую часть года, в некоторых климатических зонах – круглогодично.

Рисунок 2. Установка системы ВОП «холодные стены» в ЦОД Rolex, План-лез-Уат, Швейцария, 2010 год

Большая площадь позволила значительно уменьшить сопротивление как по воздушной стороне, так и по жидкостной по сравнению с прецизионными кондиционерами. Что, в свою очередь, позволяет снизить потребление электроэнергии как вентиляторами самих ВОП, так и циркуляционными насосами системы охлаждения в среднем на 60 % (!). А это одни из наиболее энергоемких элементов системы охлаждения и ЦОД в целом, поскольку, в отличие от холодильных машин, должны работать круглогодично, да еще и быть подключенными к ИБП. Только задумайтесь, насколько эта технология шагнула вперед по сравнению с привычными прецизионными кондиционерами, если дает экономию не только на электропитании холода, но и на источниках бесперебойного питания.

При сравнении решений с «холодными стенами» и с прецизионными кондиционерами в программном комплексе CFD-моделирования визуально заметно, насколько стабильнее работает ЦОД, охлаждаемый ВОП. Решение с прецизионными кондиционерами, как правило, выглядит окрашенным во все цвета радуги, т. е. скорость воздуха и температурное поле в машинном зале ЦОД распределены очень неравномерно как по площади зала, так и по его высоте. Решение же с «холодными стенами» в CFD, как правило, ограничивается несколькими тонами пары цветов, так как температурное поле и поле скоростей почти равномерны по всему машинному залу. Значительная разница температур наблюдается только между горячей и холодной зонами.

Система охлаждения ЦОД, построенная на ВОП, не только стабильнее работает, но и позволяет достичь показателей среднегодового PUE в 1,2 и ниже без затрат на невероятно дорогие энергоэффективные компоненты (холодильные машины, градирни). Более низкий PUE достигается только на системах, использующих грунтовые воды, либо на системах прямого фрикулинга. При этом при расчете PUE учитывается не только соотношение IT-нагрузки и энергозатрат на систему холодоснабжения, как часто любят делать вендоры, но и абсолютно все тепловыделения, включая даже бытовые розетки.

Система управления ВОП также сделала значительный шаг вперед по сравнению с прецизионными кондиционерами. Например, у ВОП существует возможность гибкого управления системами вентиляторов, позволяющее охлаждать машзал зонально, перераспределяя нагрузку внутри системы, а кроме этого, углубленные возможности мониторинга, не ограниченные определенным количеством датчиков.

Рисунок 3. Схематическое представление расположения ВОП в ЦОД

ВОП значительно (до 40 %) дешевле прецизионных кондиционеров – как сами по себе, так и за счет упрощения архитектурной нагрузки (например, отсутствия фальшпола), использования недорогих компонентов (например, холодильных машин) и стоимости систем энергоснабжения (за счет более низкого потребления). Учитывая ограниченную возможность подключения к электрической сети, ВОП дают возможность использовать на одной и той же территории больше площадей под машзалы, а следовательно, уменьшить себестоимость квадратного метра.

Заключение

Подытожим основные критерии и преимущества принципа низкоскоростной вентиляции, на котором работают ВОП:

• низкое сопротивление воздушному потоку на теплообменнике; как следствие – малые затраты на потребление вентиляторов;
• низкое сопротивление по жидкости (до максимум 1 бара против 2–2,5 бар на прецизионных кондиционерах); как следствие – малые затраты на потребление насосов;
• высокий температурный график, дающий значительное увеличение часов работы во фрикулинге;
• большая площадь теплообменной поверхности в сочетании с высоким температурным графиком гарантируют отсутствие конденсата; как следствие, отпадает необходимость в увлажнении ЦОД, т. е. дополнительно экономятся как инвестиционные затраты, так и затраты на потребление систем увлажнения;
• низкая скорость воздуха обеспечивает равномерное температурное поле по машзалу, единый холодный бассейн без зон турбулентности, из которого каждая стойка забирает столько воздуха, сколько ей необходимо.

В чем схожи ВОПы и прецизионные кондиционеры?

Помимо назначения – охлаждать машинные залы ЦОД – у этих аппаратов соизмеримы такие параметры, как точность поддержания параметров воздуха и наработка часов на отказ. Иными словами, и те и другие безусловно надежны. По всем остальным параметрам, как было показано выше, прецизионные кондиционеры значительно уступают ВОП.

Единственное, чем пока прецизионные кондиционеры превосходят ВОП, – это степень известности. За более чем 50 лет применения накопилось достаточное количество типовых решений с использованием прецизионных кондиционеров, да и эксплуатация прецизионников не представляет никаких проблем, в то время как в области применения ВОП у служб эксплуатации пока возникает ряд вопросов по использованию новой технологии.

На самом деле обслуживание ВОПов не сильно отличается от обслуживания наружных систем охлаждения на сухих охладителях. Тут нужно вспомнить, что немецкое название сухого охладителя – Rückkühler – в буквальном переводе на русский означает «обратный ВОП».

Подведем итоги. Поскольку сегодня мы живем под девизом «дешевле и энергоэффективнее», привычные старые технологии больше не соответствуют требованиям ЦОД, и скоро ВОП полностью их заменят. Что будет завтра? Как говорят немцы, «позвольте нам удивиться»..