От правильного выбора системы охлаждения ЦОДа напрямую зависит его ключевая характеристика – надежность. Существует несколько способов отвода тепла из дата-центра, но мы рассмотрим только два наиболее распространенных из них – это «фреоновые кондиционеры» (с воздушным охлаждением) и «водяные кондиционеры» (получающие холод от чиллеров). Итак, «фреон» или «вода»?
Как и любая сложная техническая область, тема теплоотвода в ЦОДах обросла большим количеством мифов и предубеждений.
Первая группа мифов говорит о том, что «вода представляет опасность для ИТ-оборудования».
Миф 1: водяное охлаждение – это когда вода внутри сервера
Это не совсем верно: существуют серверные платформы с прямым охлаждением при помощи воды, но это пока экзотика. Наиболее распространенный способ отвода тепла от ИТ-оборудования – при помощи принудительно прогоняемого через его радиаторы воздуха. Описанные выше способы отвода тепла описывают процесс на уровне ЦОДа в целом, а не на уровне единиц ИТ-оборудования.
Миф 2: вода в серверном помещении – это недопустимый риск
Существует множество технических решений по недопущению попадания воды в ИТ-оборудование при протечке. Для этого надо проработать возможные сценарии аварий и принять соответствующие проектные решения.
Вторая группа мифов: водяная система очень дорогая и сложная в эксплуатации, а фреоновая привычнее и эффективнее.
Миф 3: водяная система – это слишком сложно и дорого
Необходимо рассматривать конкретные случаи. Возможна ситуация, когда наоборот – фреоновая система будет слишком сложной и дорогой, особенно если рассматривать не только строительство ЦОД, но и его обслуживание.
Миф 4: водяное охлаждение – это для больших ЦОДов
Да, у вас может быть обычная серверная комната на 20 стоек. Но необходимо произвести оценку, ведь может оказаться, что для этой серверной потребуются 20 отдельных фреоновых кондиционеров, поэтому водяная система будет выгоднее при эксплуатации.
Третья группа мифов порождена незнанием устройства систем охлаждения.
Миф 5: водяная система питается от магистрали водоснабжения
Нет, водяные системы питаются от чиллера специально подготовленной очищенной охлажденной водой или водно-гликолевой смесью с добавлением ингибиторов коррозии.
Миф 6: можно использовать бытовой фреоновый кондиционер
Идея «дуть на оборудование холодом» от бытового кондиционера – следствие неправильного понимания задачи. Необходимо не просто подавать охлажденный воздух на оборудование, а отводить избыточное тепло, чтобы обеспечить соответствующие температурные условия эксплуатации. При этом охлажденный воздух выступает всего лишь в роли теплоносителя для перемещения определенного количества теплоты из помещения ЦОДа на улицу. Как известно из школьного курса физики, количество теплоты равняется удельной теплоемкости, помноженной на массу вещества и на разницу температур до нагрева и после нагрева. Если масса вещества (объем подаваемого из кондиционера воздуха) будет значительно меньше необходимого, то не спасет даже понижение температуры воздуха. Бытовые кондиционеры имеют в несколько раз меньшую производительность подачи воздуха, чем прецизионные. К этому можно добавить, что часть их мощности тратится на осушение воздуха (для создания комфортных условий для человека) и что они имеют малый ресурс (не предназначены для постоянной работы круглые сутки во все времена года).
Нам, людям третьего тысячелетия, ни к чему прозябать среди мифов и заблуждений. Мы можем оценить ситуацию в свете знаний. Ограничимся основными свойствами обоих вариантов, и рассмотрим их более внимательно.
Преимущества фреоновых систем
Относительная простота системы
По сути, фреоновый кондиционер, как и домашняя сплит-система, состоит из двух половинок: собственно кондиционера, устанавливаемого в охлаждаемом помещении, и внешнего блока, который размещается на улице. Обычно в самом кондиционере расположены вентиляторы, охлаждающий воздух теплообменник (испаритель), компрессор и управляющая электроника. Дополнительно в кондиционере могут быть пароувлажнитель, поднимающий влажность воздуха до требуемой, воздушные фильтры, и т. д. Внешний блок прецизионного кондиционера устроен совсем просто: только теплообменник, отдающий тепло в окружающий его воздух, вентилятор, и автоматика, этим вентилятором управляющая.
Соединяются кондиционер и его внешний блок парой медных трубок небольшого диаметра (обычно 15-20 миллиметров, редко больше), которые могут быть проложены даже в стесненных условиях.
Длительность монтажа одного кондиционера обычно не превышает двух-трех дней. Вне зависимости от мощности кондиционера принцип его действия не изменяется: и маленький потолочный аппарат на 7 кВт, и огромная 200-киловаттная машина устроены, в принципе, одинаково.
Полная независимость кондиционеров друг от друга
Если нужны несколько кондиционеров, они устанавливаются как независимые друг от друга агрегаты. Каждому кондиционеру – свой внешний блок с отдельными трубопроводами. Из этого свойства вытекают следующие дополнительные преимущества. Первое – высокая надежность резервированной системы: у нескольких кондиционеров, работающих в одном помещении, нет общих узлов и блоков, они полностью независимы, и, значит, нет единой точки отказа. Выход из строя одного кондиционера никак не влияет на работу остальных. Второе преимущество – простота расширения системы: во многих случаях для увеличения производительности системы в целом можно просто установить в этом же помещении еще один кондиционер.
Меньше начальные капитальные вложения
Как справедливый итог вышеперечисленных (и многих других) объективных свойств, фреоновая система оказывается и в закупке, и в монтаже, и в пуско-наладочных работах значительно (иногда – в два-три раза) дешевле, чем водяная с аналогичной производительностью. Простота прокладки медных труб и установки внешнего блока, полная независимость кондиционеров друг от друга и несложная процедура пусконаладки позволяют разворачивать системы охлаждения достаточно оперативно и сравнительно недорого.
Недостатки фреоновых систем
Сравнительно малая допустимая энергетическая плотность ЦОД
К сожалению, «удельная мощность одного кондиционера» получается не очень большой. Особенно, если рассматривать самый эффективный и популярный в настоящее время конструктив: компактные внутрирядные кондиционеры, устанавливаемые в рядах с серверными шкафами. Мощность в 15-20 кВт для корпуса шириной 600 мм (размером как обычный серверный шкаф) и не более 10-12 кВт для компактного 300-миллиметрового корпуса – практически предел для фреоновых машин. Есть отдельные экземпляры, мощность которых немного выше «средней по рынку», но это достигается уплотнением внутренней компоновки, как следствие – снижением ремонтопригодности аппарата.
В итоге высокая мощность системы может быть достигнута только установкой большого количества кондиционеров: каждый со своим внешним блоком, со своими трубопроводами… В следствие этого использование фреоновых кондиционеров в ЦОД средней плотности, с удельной нагрузкой на стойку от 7 до 10 кВт, представляется затруднительным, а при удельной нагрузке в 15 кВт и более – почти невозможным.
Каждому внутреннему блоку должен соответствовать отдельный внешний блок
Классический случай, когда достоинство оборачивается недостатком, переходя из количества в новое, но уже негативное, качество. Попробуйте представить, как будет выглядеть фасад вашего здания, если на нем повесить десять-пятнадцать внешних блоков (размер каждого, например, полтора на два метра). А шахта с тремя десятками труб? Комментарии к этой картине, пожалуй, излишни. Попытками «оптимизации» можно только усугубить проблему: существуют довольно жесткие ограничения по расстоянию от кондиционера до его внешнего блока. Типичное ограничение по длине трубок составляет 30-40 метров, редко больше, причем считается не настоящая длина, а «эквивалентная»: с учетом всех изгибов и поворотов. Поэтому равномерно распределить внешние блоки по большой площади не получится: они все равно будут создавать «толпу» около машинного зала ЦОДа.
Малая гибкость системы
В варианте охлаждения с подачей воздуха через фальшпол мощность одного кондиционера может достигать величин в 200 и более кВт, это уже довольно крупный агрегат, размером в несколько метров и весом в пару-тройку тонн. С мощностью порядок, но как ее регулировать? У фреоновой холодильной машины есть такой параметр, как минимальная нагрузка: если 100-киловаттный кондиционер заставить удалять из ЦОД всего 5 кВт тепла, то он просто не справится с этой задачей. Слишком маленькая тепловая нагрузка не сможет испарять то количество фреона, которое достаточно для нормальной работы цикла работы холодильной машины. Производители идут на разные ухищрения, чтобы побороть эту проблему, например, оснащают кондиционеры встроенными нагревателями, которые «донагружают» кондиционер дополнительным теплом. Получается абсурдная ситуация: чтобы охладить воздух – надо сначала нагреть воздух, потратив электричество не только на охлаждение, но и на нагрев. Что подводит нас к следующему недостатку фреоновых систем.
Низкая энергоэффективность
Грубо говоря – КПД любого кондиционера составляет 200 и более процентов: для того чтобы «сдуть» с оборудования, например, 100 кВт тепла, кондиционер потребляет от сети не более 50 кВт электричества, а зачастую и еще меньше. Однако на практике все не так хорошо: с учетом проблем регулирования мощности и некоторых «накладных расходов» на охлаждение оборудования фреоновыми кондиционерами вы потратите почти столько же электроэнергии, сколько потребляет само охлаждаемое оборудование. Но, как говорят в «магазине на диване», и это еще не все. Если мы попробуем построить график потребляемого тока во времени, то мы увидим, что электричество потребляется непостоянно, и неравномерно. На графике будут периоды времени, когда потребление мало (в эти моменты времени работают только вентиляторы, а фреоновый компрессор простаивает). Также на графике мы увидим периоды с «нормальным» энергопотреблением (работают и вентиляторы, и компрессор).
Кроме того, на графике будут кратковременные, но очень неприятные моменты с резкими и значительными бросками потребляемого тока. Это моменты включения компрессора после простоя, и броски эти называются «пусковой ток». Величина пускового тока обычно очень ощутима, и превышает номинальное значение в 10-15 раз. Это означает, что все составляющие в системе электропитания кондиционера должны выдерживать кратковременную, но значительную перегрузку. Например, если кондиционер питается от источника бесперебойного питания – этот ИБП должен выдержать перегрузку в 1000% в течение 5-15 секунд. Таких ИБП, к сожалению, не бывает, и для обеспечения работоспособности всей системы приходится использовать заведомо более мощный (переразмеренный) ИБП, который стоит «переразмеренных» денег. То есть фреоновая система предъявляет особые требования к смежной системе, значительно удорожая ее.
Отсутствие фрикулинга
Кроме того, что фреоновый кондиционер потребляет много электроэнергии – следует отметить тот факт, что он потребляет ее постоянно. Круглый год. А если на улице зима и кругом полным-полно «бесплатного» холодного воздуха – фреоновый кондиционер может потреблять еще больше электричества, потому что он вынужден подогревать свой внешний блок, «чтобы не замерз». Увы, нет никаких возможностей для экономии за счет природы.
Сложности ремонта
И о ремонте. Если из трубы капает вода, то труба обычно мокрая, а под трубой лужа. Это очень упрощает поиск места протечки: где лужа – там и течет. Фреон же течет только при давлении в десятки атмосфер, поэтому при малейшем повреждении трубы он просто незримо улетучивается. Поиск места протечки – занятие нетривиальное и занимает много времени. Для восстановления работы системы во многих случаях требуются остановка кондиционера, удаление хладагента и полная перезаправка после ремонта.
Преимущества водяных систем
Рассмотрев фреоновые кондиционеры, обратим свой взгляд на более сложный и дорогой вариант: водяную систему. Здесь уже трудно говорить об отдельных кондиционерах (представить себе одинокий водяной кондиционер можно, но сложно), будем рассматривать систему из нескольких аппаратов, работающих сообща. Начнем опять с преимуществ.
Фрикулинг и энергоэффективность
Основная причина существования водяных кондиционеров в ЦОДе – это, конечно же, высокая экономическая эффективность, обусловленная как высокой эффективностью системы в целом, так и возможностью «бесплатного» использования «уличного холода» в течение нескольких месяцев в году. В условиях средней полосы России даже типовая система с водяными кондиционерами, работающая в «обычном» температурном режиме и не «заточенная» специально под высокую энергоэффективность, позволяет «бесплатно» охлаждать ИТ-оборудование в течение 4-5 месяцев (когда температура воздуха на улице отрицательная). С применением некоторых технологических хитростей период работы фрикулинга можно увеличить до 7-8 месяцев. Потребление электроэнергии системой кондиционирования в режиме фрикулинга крайне невелико. Например, 100-киловаттная система будет потреблять около 1 кВт на насосы, перекачивающие теплоноситель, приблизительно 3 кВт на вентиляторы, обдувающие теплообменник на улице, и около 12 кВт съедят вентиляторы в кондиционерах. Итого, «условный КПД» составляет приблизительно 600%, а не 200, как у фреоновых систем.
Большая допустимая энергетическая плотность ЦОДа
В отличие от фреонового кондиционера, водяной устроен очень просто: у него внутри нет ни компрессора, ни сложной системы регулирования давления рабочего вещества, ни множества трубок и клапанов… По сути своей, водяной кондиционер – это просто теплообменник с вентиляторами, прокачивающими через него воздух. Освободившееся от сложной начинки место не пропадает даром: его занимает теплообменник, который заметно больше, чем во фреоновом аппарате. А чем больше теплообменник, тем мощнее кондиционер, при прочих равных. То есть в том же размере. Современный внутрирядный водяной кондиционер мощностью 60 кВт может быть собран в корпусе размером в половину серверного шкафа: шириной 300 мм. Благодаря такой компактности и высокой «удельной мощности» водяные кондиционеры позволяют строить «энергетически высокоплотные» ЦОДы с удельной нагрузкой на серверный шкаф в 15-20 кВт и выше, не занимая кондиционерами места больше, чем ИТ-оборудованием.
Возможность выбора
Вспомним, что является источником холода для водяного кондиционера: очень обобщенно говоря – это «труба с холодной водой» (кстати, хоть мы и говорим «вода», в нашем климате под этим словом обычно подразумевается незамерзающая смесь, антифриз). Если система построена правильно, от потребления воды одним аппаратом работа всех остальных кондиционеров никак не зависит. Следствием этого является принципиальная возможность организовать систему таким образом, чтобы «на одной трубе сидели» и мощные кондиционеры для машинного зала ЦОД, и менее производительные кондиционеры для зоны ИБП, и совсем небольшие аппараты для вспомогательных помещений – таких, как электрощитовая, коммутационная, и т. п.
Небольшое количество «внешних блоков»
А откуда в этой трубе, собственно, появляется холодная вода? Воду охлаждает холодильная машина, «чиллер». По принципу действия чиллер очень похож на фреоновый кондиционер, только охлаждает он не воздух, а жидкий теплоноситель. А сколько должно быть в системе чиллеров? Сколько угодно, начиная от одного. Да-да, если мощность холодильной машины достаточна для работы всех кондиционеров, то машина может быть всего одна на любое число кондиционеров. Правда, обычно чиллеров все-таки несколько. Это делается для повышения гибкости, надежности и обеспечения поэтапного развития системы. Но два, три, пять чиллеров – это не десяток, два, или более внешних блоков. ЦОД не похож на елку, увешанную игрушками – и это хорошо.
Нет ограничений по удалению чиллеров от кондиционеров
Одна из проблем фреонового кондиционера – это небольшое расстояние от кондиционера до его внешнего блока. А как далеко можно установить чиллер? Все определяется только производительностью насоса, перекачивающего теплоноситель, и «потерями холода» (нагревом воды «по дороге» от чиллера к кондиционерам) из-за неидеальной теплоизоляции. Но это преодолеваемые сложности, поэтому вполне возможна установка холодильных машин на кровле многоэтажного здания, в дальнем углу территории, и в любом другом удобном месте. Встречаются здания, в которых фреоновые кондиционеры установить в принципе нельзя, а водяные системы в таких условиях вполне работоспособны.
Простое обнаружение протечек и оперативный ремонт магистралей
Как можно обнаружить, что вода уходит из трубы? По падению давления в системе. А как найти место утечки? Визуально! В большинстве случаев не нужны приборы – течеискатели, нет необходимости отключать систему и проводить длительный поиск места утечки. Более того, при наличии оборудования аварийной подпитки водяная система кондиционирования при незначительных утечках может функционировать достаточно долго, чтобы ремонт из экстренного превратился в плановый. Методика ремонта, кстати, зависит от выбранного материала трубопроводов, и в некоторых случаях он возможен без отключения системы. А если предусмотреть резервные трубопроводы, то никакая протечка не станет губительной и не приведет к остановке ЦОДа. Да, в чиллере есть фреон, и он тоже может улетучиться. Но чиллер является комплектным устройством, которое приходит с завода заправленным фреоном и маслом, поэтому вероятность утечки не очень велика.
Недостатки водяных систем
Конечно же, ничего нельзя получить бесплатно. Даже если не упоминать такой недостаток водяной системы, как значительные капитальные затраты на первоначальном этапе (увы, стоимость оборудования и монтажных работ могут превышать аналогичные показатели для фреоновых систем в два и более раза), есть и другие проблемы. О которых конечно, нельзя не упомянуть.
Наличие воды в машинном зале ЦОД
На самом деле – вода в том или ином количестве присутствует в любом ЦОДе. Это и дренаж конденсата из кондиционеров, и отопление в смежных помещениях, есть также риск протечки крыши или водопровода, и т. д. Но в системе кондиционирования вода находится под давлением, которое хоть и невелико (обычно 2-3 атмосферы), но все-таки увеличивает риск протечки и ускоряет вытекание воды через поврежденный трубопровод. В ЦОДе с водяным кондиционированием обязательно нужно предусматривать дренаж воды из-под фальшпола и принимать усиленные меры по гидроизоляции перекрытий и даже стен.
Проблемы с работой на малой нагрузке
Чиллер является фреоновой холодильной машиной, и он, к сожалению, не избавлен от такого недостатка, как неспособность работать со слишком низкой нагрузкой. А поскольку чиллеры обычно довольно мощные – величина минимально допустимой тепловой нагрузки может быть весьма значительной. Поэтому новый ЦОД придется сразу нагружать хотя бы на 30% от мощности единичного чиллера… или запускать в работу осенью: в режиме фрикулинга проблем с минимальной мощностью нет.
Место для установки чиллеров
Обратной стороной малого числа чиллеров и их высокой мощности являются размер и вес. Фреоновый компрессор и вся его обвязка находятся не в кондиционере, а в чиллере, теплообменник для фрикулинга тоже частенько интегрирован в общий конструктив, в итоге даже 50-киловаттный агрегат весит почти полторы тонны. На стену такой агрегат не повесить – нужна площадка на земле либо на крыше. На условный 100-киловаттный ЦОД таких чиллеров нужно три (третий – резервный), в итоге площадка будет размером как автостоянка на три машины и нагружена она будет тоже «на три машины» — почти на пять тонн.
Расширение ассортимента эксплуатируемого оборудования
Ну и, конечно, гидравлика. Насосы, теплообменники, запорная арматура – все это приведет к тому, что в штате ЦОД кроме электрика, дизелиста, и холодильщика придется завести еще и сантеника-гидравлика. Кстати, все трубы придется делать сразу, и на полную мощность, каким бы ни был первый пусковой комплекс.
Как выбирать
Что же в итоге выбрать, «воду» или «фреон»? Поскольку это инженерная задача, ее следует решать, учитывая все параметры строящегося объекта. Вот экспертное мнение: для каждого из реальных случаев существует оптимальное решение, и нет единого рецепта для всех, поэтому выбору архитектуры системы охлаждения необходимо уделять особое внимание, проводя вариантную проработку с обязательным привлечением специалистов. Предварительную оценку «за» и «против» можно сделать при помощи таблицы, приведенной в таблице.
Чеклист для определения вектора выбора технологии
Если ответов «да» получилось значительно больше, чем «нет», то вашему ЦОД вполне подойдет фреоновая система. Если ответов «нет» получилось больше, чем «да», рекомендуем присмотреться к водяной системе. Однако точный рецепт все-таки подскажет специалист, когда увидит ваш ЦОД «вживую», его помощью ни в коем случае пренебрегать не стоит.
Олег Сорокин,
Эксперт по направлению ЦОД компании ICL-КПО ВС
Источник: Www. cnews. ru