Центры обработки данных в России: проблемы и перспективы

В июле 2017 года вышло распоряжение Правительства России № 1632-р, в котором было заявлено, что к маю 2018 года должен быть определен перечень и проведена оценка возможностей отечественной промышленности по производству оборудования для инфраструктуры хранения и обработки данных, в том числе систем бесперебойного питания; энергетического оборудования; систем пожаротушения; систем охлаждения; систем мониторинга инфраструктуры ЦОД; систем физической безопасности ЦОД. В этом же году предполагается разработать группы проектов национальных стандартов системы сертификации ЦОД, в том числе стандарт на проектирование ЦОД и стандарт на операционную модель эксплуатации ЦОД.

О российском рынке ЦОД, нормативном обеспечении и проблемах проектирования таких объектов редакция журнала побеседовала с экспертом в области ЦОД  Дмитрием Олеговичем Мацкевичем.

Дмитрий Олегович Мацкевич

Эксперт и аудитор в области ЦОД. С 1995 по 2009 год руководил компанией ADP NetWorks (сети, СКС, электрика, серверные и ЦОД). С 2009 года – независимый консультант по вопросам, связанным с проектированием, монтажом, приемом в эксплуатацию, тестированием и аудитом инженерной инфраструктуры ЦОД и серверных. Автор руководств по ЦОД (модульные и контейнерные ЦОД, СКС в ЦОД, требования и рекомендации к помещениями и зданиям ЦОД, кондиционирование в ЦОД и др.). Автор семинаров «Архитектура и инфраструктура ЦОД», «Эксплуатация ЦОД».

Какова ситуация с нормативными документами в области ЦОД, в первую очередь в области проектирования инженерных систем? Какими стандартами и рекомендациями сейчас пользуются проектировщики?

– Один из популярных стандартов, используемых при проектировании ЦОД, разработан Uptime Institute. Но это на самом деле не стандарт. Компания Uptime Institute – частная американская компания, которая разработала и опубликовала документ, в котором описан общий подход к уровням надежности ЦОД. Данная компания имеет некоторые внутренние правила по проверке инженерной инфраструктуры ЦОД, которые она не публикует. Согласно этому документу определены четыре уровня надежности ЦОД, так называемые Tier I, Tier II, Tier III, Tier IV. Тем не менее проектировщики, а часто и заказчики ссылаются именно на этот документ и пишут, что ЦОД или серверная должны отвечать уровню, например, Tier III. Проблема же заключается в том, что понимания, что же стоит за Tier III, не пройдя обучение в Uptime Institute, нет ни у заказчиков, ни зачастую у проектировщиков. Даже у тех, кто спроектировал достаточно много ЦОД. И хотя требования сами по себе несложные, тем не менее они содержат ряд нюансов, а той минимальной информации, которая размещена на сайте компании, явно недостаточно, чтобы разобраться в них и избежать ошибок при использовании этого документа. Обучение в Uptime Institute стоит 5 тысяч долларов, и заказчики, как правило, не хотят тратить такие деньги, а руководители проектных и инженерных компаний не хотят обучать проектировщиков, опасаясь, что специалист просто уйдет из компании, получив сертификат Uptime Institute, который ценится на рынке ЦОД.

Второй наиболее популярный документ и уже реальный стандарт – американский стандарт TIA 942, популярность которого вызвана прежде всего тем, что его перевод на русском был доступен в интернете. Перевод очень быстро разошелся, и стандарт получил известность. На него ссылаются заказчики практически в любом техническом задании (ТЗ). Проблема в том, что заказчики ссылаются на устаревшую версию стандарта либо просто указывают номер – TIA 942 или TIA 942-A, хотя сейчас уже действует версия TIA 942-B, которая была опубликована в июле 2017 года. Стандарт TIA 942-B практически неизвестен в России, в первую очередь из-за того, что он платный. Да, есть люди или компании, которые покупают, но его еще надо правильно прочитать и уметь им пользоваться, а это вызывает некоторые сложности при работе с ним.

Причина популярности стандарта TIA 942 – он содержит таблицу с требованиями по классам надежности: rated 1, rated 2, rated 3 и rated 4. В частности, в стандарте есть требования и к системе холодоснабжения. Но и с этим стандартом не все в порядке. В самом стандарте указано, что данная таблица по уровням надежности не является частью стандарта и приводится исключительно для информации. Почему так? Дело в том, что стандарт TIA 942 разработан для телекоммуникационной инфраструктуры ЦОД. Почему же эта таблица там находится, если она не имеет отношения к этому стандарту? Все просто: американцы очень практичные люди, а этот стандарт успешно продается как раз потому, что содержит данную таблицу. Многие заказчики, не понимая этого, ссылаются на TIA 942 в технических заданиях, в технических требованиях на проектирование. Соответственно, те, кто занимаются проектированием инженерной инфраструктуры ЦОД, вынуждены его использовать, ориентироваться на эту таблицу, хотя, как я уже говорил, она носит чисто информативный характер, и, скажу больше, там есть много достаточно странных требований.

Это – два самых популярных стандарта, используемых в ТЗ и при проектировании ЦОД в России.

Есть очень хорошая серия европейских стандартов ЕN50600, но она неизвестна нашим заказчикам. Кстати, именно по системе холодоснабжения есть стандарт ЕN50600–2–3, который входит в эту серию и содержит достаточно интересную информацию о требованиях к системам холодоснабжения.

Ситуация с отечественными нормативными документами на сегодняшний день следующая. Вышло постановление правительства, есть понимание в госсекторе, что нужен российский стандарт на центры обработки данных, потому что их нужно сертифицировать. Насколько мне известно, на эти цели выделены средства и проведен тендер на разработку стандарта. Однако средства выделены небольшие, и есть опасение, что к разработке документа не будут привлечены специалисты. Мои прогнозы, с точки зрения эксперта, не очень хорошие на то, что мы получим в результате. Все-таки разработка качественных нормативных документов – это огромный и дорогостоящий труд.

Но Вы считаете, что российский стандарт все-таки нужен? Если он получится некачественным, не будет ли это даже во вред?

– Даже если он получится некачественный, российский документ все-таки нужен. В конце концов есть процедура доработки, уже можно будет от чего-то отталкиваться. Сейчас мы отталкиваемся от воздуха – ничего нет, поэтому эта ситуация еще хуже, чем если бы появился хоть какой-то документ. Государство строит центры обработки данных, а чему они отвечают сейчас? – непонятно.

А если, например, перевести и адаптировать какой-то зарубежный стандарт?

– Есть такая практика. Например, в Беларуси в этом году выпустили свой стандарт на основе TIA 942. А вот в Казахстане сделали просто прямой перевод старой версии TIA 942-А. В результате в Казахстане получили очень странный стандарт на ЦОД и в реальной практике неприменимый для сертификации своих национальных ЦОД по нему. Все-таки адаптацией нормативных документов должны заниматься эксперты или входить в состав рабочей группы, чтобы получился документ, с которым можно будет работать.

Кроме того, может получиться так, что пока стандарт будет переводиться, уже появится его новая версия. Например, в августе этого года вышел черновой вариант новой версии стандарта по холодоснабжению из европейской серии ЕN50600. И хотя он официально еще не утвержден, переводить старую версию стандарта уже не имеет смысла. Как правило, эксперт в курсе подобных нововведений и может сразу об этом предупредить тех, кто приступил к переводу или адаптации.

Если говорить о сертификации, по каким параметрам происходит сертификация сейчас? Надежность, безопасность?

– Сейчас Uptime Institute сертифицирует проект и построенный ЦОД на надежность, также сертифицирует уже действующие ЦОД на эксплуатационную устойчивость.

Российская ассоциация участников отрасли центров обработки данных разработала свою методику, которая, кстати, отличается от методик, предлагаемых европейскими и американскими стандартами. Данная методика основана на рисковой модели – достаточно интересный подход.

Существует еще LEED для ЦОД. Есть примеры сертификации в России?

– Стоимость энергоресурсов у нас довольно низкая, поэтому сертификация, связанная с энергоэффективностью, тем более она не является ключевой, не пользуется популярностью. Заказчики на нее практически не ориентируются. Может быть, какая-то западная компания еще может включить такие требования. На нашем рынке пока не было ни одного случая сертификации центра обработки данных по LEED.

Поговорим о проблеме повышения энергоэффективности ЦОД. Насколько это направление развивается в России, например утилизация теплоты? Есть ли такие проекты?

– Имеет ли смысл? Коротко – нет. Пока у нас энергоносители будут стоить копейки – это первая причина. Вторая, заключается в том, что утилизировать теплоту у нас получается на выходе из сервера (температура воздуха от 30 до 40 °С) – это в принципе низкопотенциальная теплота, и ее достаточно сложно утилизировать. Допустим, у меня центр обработки данных, я произвожу тепловую энергию, кому я ее отдам? Так вот, никто не хочет забирать это тепло, продать я его тоже не могу – для этого я должен становиться теплоснабжающей организацией и получить лицензию. С низкопотенциальной теплотой в России не умеют работать, поэтому и получается, что у нас такие проекты никакого смысла не имеют. Конечно, утилизировать теплоту в небольших количествах можно и использовать, например, для обогрева собственных помещений. Некоторые ЦОД часть выделяемой теплоты используют на подогрев помещений зимой, опять-таки летом это уже никому не нужно. Кроме того, если мы говорим про утилизацию, надо думать о том, как передать тепло потребителю.

Если говорить о мировом опыте, то есть проекты ЦОД с утилизацией тепла достаточно успешные. Например, проект «Яндекса» в Финляндии. В городе Мянтсяля построили центр обработки данных, в котором утилизируется тепло. ЦОД охлаждается прямым фрикулингом. Центр оборудован достаточно мощными серверами с достаточно высокой дельтой Т и достаточно высокой температурой на выходе – до 40 °С. Летом даже выше может быть – все зависит от температуры на входе. Нагретый воздух попадает в теплообменник, куда подается вода из городской сети. Температура воды на выходе из теплообменника составляет от 30 до 45 °С. Она поступает в станцию донагрева, рядом с ЦОД. Станция нагревает теплоноситель до 60 °С и подает его в городскую сеть Мянтсяля. «Яндексу» платят деньги за тепловую энергию, которую получают от ЦОД.

В России нет ни законодательной, ни инфраструктурной базы для подобных проектов. У нас некому отдать эту теплоту. Поэтому пока в России мы будем продолжать сбрасывать тепло в окружающую среду.

Еще один аспект: наши проектировщики, как правило, необоснованно закладывают в проект завышенные требования по температуре в ЦОД, например 18–24 °С, или, как пишут в ТЗ, 20 ± 2 градуса. Не понимая, что такое относительная влажность, ставят жесткие требования по относительной влажности. Часто происходит бездумное копирование требований из каких-то старых проектов, и все это ухудшает проект, приводит к печальным последствиям.

Есть конкретные примеры таких печальных последствий?

– Печально то, что мы вынуждены закладывать в системы холодоснабжения избыточность. Причем с запасом я имею в виду не по надежности, а по техническим параметрам. Избыток получается очень большой. Избыточное оборудование закладывается по холодоснабжению (поддерживать внутреннюю температуру не выше 22 °С или не выше 27 °С – это большая разница!) из-за того, что, соответственно, достаточно жесткие и устаревшие требования по температуре.

Сразу хочу сказать, что, например, ASHRAE, на которую ссылаются и Uptime Institute, и TIA/EIA 942, рекомендует поддерживать температуру в серверной на входе в IТ-оборудование в пределах 18–27 °С. Откройте любой российский проект ЦОД, и вы почти нигде этих цифр не увидите.

Можно ли отнести к типовым инженерные решения, в том числе по охлаждению и холодоснабжению, применяемые на российских объектах?

– Центры обработки данных в принципе не являются типовыми объектами. Ни один объект, который у нас строится, не является типовым. Даже если мы говорим о системе холодоснабжения. Скажем, вы можете сделать прямой фрикулинг, непрямой фрикулинг, можете обойтись вообще без фрикулинга. Опять-таки вы проектируете коммерческий ЦОД или некоммерческий… У каждого абсолютно разные параметры, относительная влажность, температура. ТЗ изначально друг от друга отличаются. Вы не можете сделать просто типовой проект. Потому что для одного ЦОД может подойти температурный диапазон внутреннего воздуха 10–40 °С, для другого вы будете вынуждены обеспечить 18–24 °С, то есть в зависимости от того, какое IT-оборудование, соответственно, есть у заказчика. Также на заложенные параметры будет влиять технология, которая будет применяться.

Есть ли интересные примеры российских проектов дата-центров?

– Как я уже говорил, каждый ЦОД является уникальным. Говоря о российских ЦОД, хочу отметить очень интересную деталь: мы практически не отстаем от западных стран. В цодостроении мы фактически их догнали и достаточно быстро стали использовать передовые технологии. Просто приведу пример по холодоснабжению: компания «Альфа Лаваль» использует технологию low speed ventilation с подачей воздуха с низкой скоростью – это очень правильный подход для ЦОД, так вот, эту передовую технологию используют в Голландии и в России.

Возьмем роторные теплообменники, тоже популярное направление. Эта технология пришла из СССР, правда, использовалась не для холодоснабжения, а для рекуперации тепла. Kyoto Cooling сделал свой ротор: опять же где ротор использовался? В Голландии, в России, в Литве, сейчас им заинтересовались и в Америке. В России с роторным теплообменником работает компания Xelent в Санкт-Петербурге (раньше компания называлась SDN). Это очень энергоэффективная технология.

«Яндекс» построил в России много дата-центров и в последних своих ЦОД использует прямой фрикулинг, и даже без доувлажнения воздуха. Конечно, надо понимать, что таких компаний, как «Яндекс», Google, Facebook, которые могут использовать такие походы для охлаждения, их, что называется, по пальцам руки пересчитать. Я имею в виду, что опыт «Яндекса» уникален и интересен, но, к сожалению, для коммерческих ЦОД не подходит. «Яндекс» может поменять IT-ресурсы через год, выбросить, отдать или продать оборудование по бросовым ценам и просто заменить парк IT-оборудования. Закупка IT-оборудования заказчику обойдется в миллионы долларов, и мало кто может себе позволить обновить парк IТ-оборудования через год или через три, а хорошо, если лет через 5 будет обновление.

ЦОД – сложный объект не только с точки зрения проектирования и строительства, но и с точки зрения эксплуатации. Должна ли быть на таком объекте круглосуточная служба эксплуатации непосредственно в самом здании или все настолько автоматизировано, что один специалист может обслуживать несколько объектов?

– Была одна западная компания, которая занималась эксплуатацией ЦОД. Они попытались сделать концепцию, когда на объекте нет людей, все автоматизировано, все параметры собираются, есть система диспетчеризации. В один прекрасный момент произошла авария. Идея была шикарная, но, в общем-то, нерабочая, как оказалось. ЦОД достаточно сложные объекты, параметры взаимозависимы, но, даже имея записи того, что происходило: какие теплоносители подавались, как менялась температура теплоносителей, температура на входе, на выходе, как менялось давление, – когда происходят аварии, специалисты не всегда могут понять, почему это произошло. Это, если мы говорим о системе холодоснабжения. А к системе холодоснабжения у нас еще подключено оборудование, затем электропитание, а это вообще отдельная история. Все это тоже влияет на компрессоры, если их нет, то и на двигатели, заземление и т. д. Если коротко: никому еще не удалось уйти от службы эксплуатации, а те, кто пробовали, все равно приходили после аварии и остановки работы ЦОД к созданию какой-то структуры, которая отслеживает работу ЦОД. Все-таки присутствие технических специалистов и дежурной смены необходимо. При этом, конечно, самое удивительное, что человек – это самый влияющий фактор на надежность системы. И с человеком плохо, и без человека нельзя – парадокс. На семинарах Uptime Institute озвучивают, что 70 % ошибок и сбоев, возникающих в ЦОД, – это чисто человеческий фактор. Опять же если мы говорим об эксплуатации таких сложных систем, то обязательное требование – подготовка специалистов: они должны обязательно обучаться, проходить тренинги, и причем это прописано во всех стандартах по эксплуатации ЦОД. Если происходит аварийный случай, люди необученные ведут себя непредсказуемым образом. Один из моих авторских курсов как раз разработан для специалистов по эксплуатации ЦОД.

Руководство ЦОД охотно направляет сотрудников на подобные курсы?

– Скажем так: если это западные компании – фактически они идут по западным стандартам и понимают, что это необходимо; по российским ЦОД – до первой аварии, после которой очень охотно обучают людей. Опять же если рассматривать систему холодоснабжения – надо понимать не только ее устройство и работу, но и систему электроснабжения, которая влияет на систему холодоснабжения. Поэтому даже хороший специалист по холодоснабжению, с высшим специальным образованием, имеющий соответствующую практику, может ничего не понимать в системе электроснабжения – его не учили этому. А специальные курсы существенно поднимают уровень знаний, у специалистов появляется понимание того, как различные системы друг на друга влияют и как избежать ошибок.

Какие ошибки в проектировании, монтаже и эксплуатации ЦОД можно отметить?

– Первая наиболее характерная ошибка: проектируют – одни, эксплуатируют – другие. Те, кто проектируют, чаще всего не задумываются об эксплуатации. У проектной организации или системного интегратора задача – спроектировать, сдать и уйти с объекта, а не заниматься его эксплуатацией. Это, наверное, самая большая ошибка.

Что еще? Дело в том, что IT-оборудование – это серверы и системы хранения данных. 99 % проектов используют охлаждение воздухом. И тут основная ошибка – воздухораспределение. Вроде бы задача достаточно несложная, но сплошь и рядом совершаются ошибки как при проектировании, так, кстати, и при монтаже, и при эксплуатации. Вот укрупненно два основных момента.

Что касается опять же эксплуатации, можно еще отметить следующее: обычно в первый год эксплуатации ЦОД (особенно это касается коммерческих) не заполнены. И основные ошибки в этом случае, которые служба эксплуатации не замечает, – неправильные расчеты по холодоснабжению, неправильное резервирование. За год количество IT-ресурсов возрастет, количество теплоты выделяется все больше и больше. Как только ЦОД начинает эксплуатироваться от 50 % и выше его проектной нагрузки, проявляются все ошибки: воздухораспределения, монтажа, ошибки, допущенные в проекте. И чаще всего они связаны именно с человеческим фактором: проектирует, монтирует, эксплуатирует человек.

Есть и ошибки, связанные с неправильным пониманием требований нормативных документов. Так, при проектировании систем холодоснабжения с использованием Tier III многие считают, что Uptime Institute требует только резервирования элементов системы на уровне N + 1, т. е. необходимо иметь запас ресурсов в одну единицу, которую можно вывести в ремонт или обслуживание, и при этом, чтобы у нас осталось в системе мощности или холодопроизводительности не менее чем N. Чтобы было понимание, N – это количество киловатт отводимого тепла, если мы рассматриваем систему холодоснабжения. Допустим, клиенту нужно отвести 1 МВт тепла – соответственно, это будет N. Так вот, многие реализуют схему N + 1 на уровне чиллеров и фанкойлов, но при проверке схемы находятся ошибки, связанные с тем, что при выводе, скажем, какого-то элемента в ремонт или обслуживания, перекрыв задвижки, нам потребуется остановить работу ЦОД или остановить часть оборудования и снизить N, что недопустимо по требованиям Uptime Institute согласно Tier III.

Что можно сказать о динамике строительства ЦОД в России за последние несколько лет?

– Конечно, стадию бурного роста мы уже прошли, когда не хватало центров обработки данных и спрос достаточно сильно превышал имеющиеся предложения. Строились ЦОД в России, скажем так, до 2015 года очень бурно. Сейчас уже спрос есть, но предложения уже его превышают. Рынок растет, но он уже в такой стабильной фазе. При этом все-таки основа, которая стимулирует развитие ЦОД – это IT-технологии. Все компании на этом рынке уже поняли, что для успешной конкуренции без IT-технологий, без автоматизации труда, включая логистику, работу с клиентами, продажи и т. д., не обойтись. Тот, кто грамотно это делает, тот и получает преимущество. Если мы возьмем Москву, Санкт-Петербург – многие клиенты поняли, что им не нужны серверы, они не хотят серверы держать у себя – это приводит к их перемещению в коммерческие ЦОД, что, соответственно, стимулирует рост рынка коммерческих ЦОД. Именно этот сегмент сейчас стабильно устойчиво растет. Но это уже сформировавшийся рынок с достаточно хорошей конкуренцией. При этом рынок достаточно сложный, ведь компании, которые занимаются ЦОД, очень прогрессивные. По моим оценкам, этот рынок даже в кризис стабильно растет на 10–12 %.