Как написать грамотное техническое задание на систему кондиционирования для серверной и ЦОД. Вопросы и ответы

Каковы ваши рекомендации по системам вентиляции для майнинга зимой (расчетная температура –30 °С)?

Все зависит от оборудования, которое используется для майнинга. Некоторые производители оборудования обеспечивают работу именно майнинговой фермы от –40 °С. Таким образом, с точки зрения вентиляции мы можем использовать наружный воздух. Правда, существует определенный риск того, что может накапливаться статическое электричество, но если правильно спроектировано заземление, то все статическое электричество будет стекать в землю. Поэтому для –30 °С возможно просто поставить подогрев или рекуператор в вентиляционную установку и этим обеспечить необходимую температуру. Для майнинга самое главное, чтобы решение было недорогостоящим с точки зрения эксплуатации и первоначальных затрат, то есть чем дешевле, тем лучше.

В каком случае целесообразно использовать воздушный клапан с приводом?

Если речь идет о том, чтобы поставить этот клапан на сам прецизионный кондиционер, то следует учитывать, о каком помещении идет речь. Клапан с приводом ставится для того, чтобы не было перетекания холодного воздуха. Если мы говорим о большом дата-центре, то перетекания будут очень сильно влиять на распределение воздушных потоков внутри дата-центра. Если же речь идет о маленьком помещении, где установлены два кондиционера и площадь равна приблизительно 38 м², с десятью стойками, то воздушный клапан теоретически можно не ставить.

В принципе, если есть сомнения в необходимости воздушного клапана, можно попробовать сделать так называемое CFD-моделирование и смоделировать воздушные потоки в данном конкретном случае.

Был ли в вашей практике случай использования теплоты, производимой ЦОД, на бытовые нужды, например на отопление, ГВС?

К сожалению, в нашем случае не было ни одного реализованного проекта с использованием теплоты от дата-центра на бытовые нужды. Мы прорабатывали такой вопрос, и теплоту планировалось использовать для отопления теплиц. Однако есть нюанс: очень часто, когда строится дата-центр, слабо представляют, какими темпами он будет заполняться, соответственно, непонятно количество теплоты, которое будет производиться, чтобы использовать его для каких-либо санитарно-бытовых нужд. В Швейцарии, например, есть специальный закон, в котором сказано, что ни одна система кондиционирования воздуха дата-центра не может быть сдана в эксплуатацию без рекуперации теплоты. То есть тепловая энергия должна забираться и использоваться на какие-то свои хозяйственные нужды.

Какие программы для моделирования воздушных потоков рекомендуете использовать?

Могут быть использованы программы TileFlow и Sigma 6, кроме того, AutoCAD предлагает решение, но оно нацелено на общее моделирование. Перечисленные выше программы предназначены именно для центров обработки данных. К сожалению, обе программы достаточно дорогостоящие.

Перепад в 10 °С на серверной стойке является оптимальным именно из соображений энергосбережения?

Это сделано из соображений энергосбережения и из соображений стандартного оборудования, в частности стоек и фальшпольных плиток. Поскольку если мы применяем фальшпольные плитки с большей степенью перфорации, то у них, во-первых, достаточно резко возрастает аэродинамическое сопротивление и, во-вторых, падает нагрузочная способность. Поэтому принято считать, что на стойку приходится где-то 5 кВт с перепадом в 10 °С. Но это правило не аксиома – все зависит от оборудования, которое устанавливается внутри. Есть стойки, которые могут потреблять до 30 кВт, и система охлаждения для них разрабатывается индивидуально. Это может быть в том числе жидкостное (иммерсионное) охлаждение, когда активное оборудование погружается в жидкость.

Насколько критична вентиляция ЦОД? Нужна ли подача воздуха для подпора?

Подача воздуха для подпора необходима, так как она обеспечивает обеспыливание нашего помещения и отсутствие инфильтрации с наружным воздухом, когда вы открываете дверь либо входите. Надо понимать, что дверь в ЦОД может открываться не на минуту, а на достаточно длительный период для заноса и выноса какого-либо оборудования, поэтому подпор воздуха в дата-центре необходим. Если мы говорим про какую-либо серверную небольшую, скажем, площадью 5 м², то тут уже нужно смотреть на экономическую целесообразность и будут ли вообще туда заходить люди.

Какой нормативный документ в приоритете при проектировании?

Каким документом пользоваться, каждый выбирает сам. Единственное, что не стоит смешивать нормативные документы. Если вы просите спроектировать по стандарту Uptime, то не стоит указывать еще дополнительно стандарт TIА, потому что в этих двух стандартах есть нестыковки и противоречия. Наш нормативный документ – СН 512–78 с изменениями 2000 года (Инструкция по проектированию зданий и помещений для электронно-вычислительных машин) по помещениям для вычислительных машин, не совсем подходит, потому что в нем подразумевается, что в этих помещениях работают люди. Отсюда возникают требования, например, по скорости воздуха. В современных ЦОД это обеспечить практически невозможно. Так, для десяти стоек, мощностью по 5 кВт каждая, нам надо будет обеспечить порядка 15  000 м³ воздуха. Соответственно, за счет того, что помещение получается не такого большого объема, кратность воздухообмена и скорость воздуха будут очень большими. Работать в этом помещении будет нельзя – только временно находиться.

Скажите, пожалуйста, какая оптимальная температура воздуха должна быть на выходе из напольной решетки?

Существует несколько подходов. Первый – это придерживаться именно в ЦОДостроении стандартов ASHRAE, где прописывается, что температура воздуха на входе в серверную стойку должна быть порядка 24 °С. Но современные тенденции строительства ЦОД диктуют, что температура воздуха внутри дата-центра постоянно увеличивается, и сейчас есть ЦОДы, которые работают при температуре воздуха в горячем коридоре до 40 °С. Для чего это делается? Это позволяет значительно экономить на системе кондиционирования, потому что с повышением температуры внутри машинного зала мы снижаем нагрузку на него. Оборудования становится меньше, соответственно, денег тратим меньше. Но следует иметь в виду, что чем выше температура, тем меньше запас по времени в случае какого-то инцидента. То есть если мы поддерживаем температуру 24 °С, то в случае выхода из строя системы кондиционирования у нас будет еще запас холодного воздуха, который позволит нам какое-то время работать. Если мы держим температуру уже под 40 °С, то запаса не будет и оборудование либо остановится в аварийном режиме, либо «сгорит».

Какой нормативной документацией вы руководствуетесь при проектировании систем отопления, вентиляции и кондиционирования ЦОД, серверных (имеется в виду НТД РФ)?

Мы стараемся руководствоваться все-таки стандартом TIA при проектировании кондиционирования. Нашим законодательством не запрещается использовать данный стандарт, если наш стандарт не подходит либо не разработан. ОСН 512–78 и его недостатках мы говорили выше.

Какая минимальная влажность разрешена для вентиляции зимой?

На самом деле, нет такого понятия, как разрешенная минимальная влажность для вентиляции зимой, особенно в ЦОД. Есть влажность, которая способствует накоплению статического электричества, – это порядка 30 %. Соответственно, стараются держать влажность гораздо выше – порядка 45 %, но если мы, допустим, говорим о системах с прямым фрикулингом, то это уже сделать достаточно проблематично, потому что мы начинаем использовать наружный воздух в помещении серверной или дата-центра и начинается колебание влажности. От чего-то приходится отказаться.

Также нет какого-то определенного требования по поддержанию минимальной влажности. Поэтому если руководствоваться исключительно российскими стандартами, то мы можем достаточно свободно себя чувствовать в этом вопросе.

Часто заказчики отказываются от подачи притока в серверные, хотят только вытяжку и кондиционеры. Ваше мнение (кроме чистоты воздуха)?

Если внутри помещения, где установлены кондиционеры, сделать только вытяжку, то дверь просто не откроется. Плюс, в общем-то, помещение ЦОД подразумевает кратковременное присутствие людей, поэтому хоть какую-то вентиляцию надо будет обеспечить. Помимо этого, в связи с наличием пожаротушения надо будет еще продумать систему газоудаления на случай, если пожаротушение сработает. Для газоудаления в маленьких серверных можно отказаться от вытяжки и использовать ручные дымососы.

В случае маленькой серверной (порядка 2–3 м² на одну стойку и, возможно, один кондиционер), может быть, и можно отказаться от выведения приточно-вытяжной вентиляции. В общем-то, если люди туда проходят, открывают дверь настежь – получается общее пространство с коридором. Но лучше все-таки предусмотреть приточно-вытяжную вентиляцию.

А если серверная очень маленькая?

Если помещение очень маленькое, то приток, вытяжку можно не ставить. С другой стороны, возможно рассмотреть вариант установки просто приточно-вытяжной системы и осуществлять охлаждение уже при помощи нее. Да, мы не будем говорить о точности поддержания, но нужно ли там на серверное помещение в два квадрата ставить полноценный претензионный кондиционер? Настолько ли критичны данные, которые хранятся в этой серверной, или технологии? Рынок предоставления услуг ЦОД у нас сейчас находится на стадии активного развития, строится много коммерческих дата-центров, где можно арендовать либо стойку, либо непосредственно серверы. Соответственно, возможно, стоит рассмотреть вариант аренды стойко-места для серверов у данных ЦОД, и это будет дешевле, чем построение своей инфраструктуры.

Есть ли альтернатива датчикам дыма?

Альтернативой датчикам дыма являются так называемые аспирационные датчики. В чем отличие? Аспирационный датчик проводит анализ воздуха в помещении и уже реагирует на отклонение или присутствие нестандартных веществ. Единственный минус при использовании данных аспирационных датчиков – это когда в вентиляцию попадают выхлопы от дизеля генераторов и идут внутрь помещения, аспирационные датчики реагируют на это как на задымление. Такие случаи были в Европе, тоже срабатывала пожарная сигнализация. Вроде бы сейчас эту проблему устранили, и теперь, когда знаешь, с чем бороться, можно просто разнести вытяжку, приточку подальше от дороги, где могут проехать большегрузы, и от дизель-генераторов.

Какой кабель используется для межблочной связи и диспетчеризации?

Нужно помнить, что такие сети относятся к промышленным со стандартом RS 485 (Recommended Standard 485), с различными протоколами (например, Profibus DP, Modbus). Для прокладки таких сетей используются специальные кабели (например, Belden либо КИПЭВ), которые позволяют обмениваться данными по этому протоколу без потерь. Чаще всего электрики-слаботочники используют обыкновенную витую пару. Этот кабель не подходит для таких сетей. Мы рекомендуем в ТЗ, которое вы будете делать для смежников, обязательно указать кабель, который нужно использовать.

С полной записью вебинара можно ознакомиться на сайте http://webinar.abok.ru или на канале АВОК на Youtube – https://www.youtube.com/abokru