Одним из самых важных аспектов бесперебойной работы центра обработки данных является охлаждение оборудования. Любая электроника, а особенно современное сетевое оборудование находится в прямой зависимости от температурного режима, в котором оно находится. К примеру, перегрев процессора может привести, в лучшем случае, к замедлению работы – троллингу (механизм защиты процессора от термических повреждений или перегрева), а в худшем – вывести его из строя.
В свою очередь чрезмерное охлаждение оборудования тоже не является хорошим вариантом. Поскольку каждый материал имеет свой коэффициент теплового расширения, и из-за низких температур могут быть нарушены элементы оборудования.
Первые ЦОДы имели незначительные тепловые нагрузки и им не требовалось специальной системы охлаждения, достаточно было обычных кондиционеров. С ростом мощности оборудования, а соответственно и температур, появилась необходимость в специальных продуманных решениях для охлаждения и поддержания комфортной рабочей температуры.
В этой статье рассмотрим некоторые стандартные подходы воздушного охлаждения ЦОДов. А также рассмотрим возможности охлаждения серверных стоек с выделением тепла до 15 кВт и даже до 25 кВт, без использования системы охлаждения с жидкими хладагентами.
Для первого примера рассмотрим ЦОД с тепловой нагрузкой не менее 2 кВт на один квадратный метр. За основу возьмем серверный зал площадью 1000 м2, тепловая нагрузка – 1 кВт/м2, система охлаждения – установленные по периметру помещения кондиционеры в количестве 15 шт, мощность каждого 80 кВт:
Для решения поставленной задачи в ЦОД типовое распределение холодного воздуха будет следующим: высота фальшпола должна быть от 0.60 до 1.00 метра, высота потолков от 3 до 5 метров выше уровня фальшпола, а высота серверных стоек от 2 до 2.4 метра.
Однако при увеличении нагрузки на серверную стойку такая схема охлаждения уже не подойдет, поскольку может возникнуть ряд причин, а именно:
– Ограниченная подача воздуха через пол;
– Ограниченная мощность охлаждения;
– Дополнительный нагрев другим оборудованием;
Оценка тепловыделения в серверной стойке
С постоянно растущей нагрузкой в ЦОДах необходимо производить расчет и оценку тепловых нагрузок на серверную стойку, которая позволяет рассчитать более точную оценку системы охлаждения ЦОД. Помимо самих систем охлаждения нужно учитывать их расположение и распределению воздушных потоков в серверном зале.
Система горячих и холодных коридоров позволяет увеличить нагрузку на серверную стойку до 6 кВт.
С увеличением нагрузки на серверные стойки от 3 до 6 кВт, в ЦОДе требуется создавать системы горячих и холодных коридоров. При такой схеме охлаждения холодный воздух поступает через решетки в фальшполе и «забирается» серверными стойками. Серверные стойки, установленные в два ряда и направленные друг к другу лицом образуют зону подачи воздуха, которая называется холодным коридором. Проходя через серверные стойки и охладив оборудование, уже горячий воздух выходит с тыльной стороны стоек в коридор, образуя зону с горячим воздухом – горячий коридор.
Отвод тепла до 10 – 15 кВт со стойки при помощи «холодного бассейна»
Когда нагрузка серверного шкафа начинает возрастать свыше 5 кВт необходимо производить изолирование холодного и горячего коридоров, это необходимо для того, чтобы горячий воздух, выходящий из серверной стойки, не смешивался с холодным и не повышал таким образом температуру воздуха входящего в оборудование и не снижал эффективность системы охлаждения. Такой метод позволяет повысить КПД ЦОД и снизить эксплуатационные расходы. Серверные стойки получают холодный воздух на вдув и выдувают горячий воздух, который не смешивается с холодным. Данное решение позволяет охлаждать серверную стойку до 10 кВт. На рисунке ниже отображен пример такого решения.
К преимуществам холодного бассейна можно отнести простоту решения, а также использование стандартных кондиционеров. В случае увеличения нагрузки в стойки до 15 кВт необходимо изолировать холодный коридор, это делается путем монтажа верхней перегородки.
Использование «Активного пола»
Бывают случаи, когда необходимо отвести свыше 15 кВт от каждой серверной стойки без увеличения количества решеток в холодном коридоре. Что для этого нужно, как обеспечить необходимый поток воздуха через имеющееся количество решеток, чтобы оборудование получало необходимое количество холодного воздуха?
Для таких случаев было разработано решение под названием «активный пол». В основе этого принципа лежит подача гораздо большего количества регулируемого потока воздуха (до 4 500 кубометров против 800 – 1000 кубометров).
Для обеспечения гарантированного охлаждения серверных стоек недостаточно установки простых вентиляторов под фальшполами. Организация воздушного потока по давлению и направлению воздуха должна быть выполнено правильно, для обеспечения подачи воздуха не только в верхнюю, но и в нижнюю часть серверной стойки. Именно по этой причине в «активный пол» помимо вентилятора установлен процессор, датчики температуры и поворотные ламели.
Как устроен «активный пол»
- Решетка
- Регулируемые лопасти – зона A
- Регулируемые лопасти – зона B
- Фиксирующие скобы
- ЕС вентилятор
- Решетка подмеса воздуха
- Электропанель
- Контроллер
- Датчик температуры – зона A
- Датчик температуры – зона B
На примере ниже видны примеры исполнение «активного пола» для вертикального и горизонтального потоков, которые распределяются на две зоны.
Использование системы «активный пол» повышает мощность теплоотведения до 25 кВт.
Ниже изображено решение «активный пол» в связке с «холодным бассейном»
Как и любое решение, «активный пол» имеет свои достоинства и недостатки.
К достоинствам можно отнести:
– «Активный пол» является модульно системой, благодаря чему с легкостью монтируется в любой фальшпол ЦОД.
– Использование серверной стойки в полную мощность благодаря направленным потокам воздуха.
– Отсутствие потребности в фреоне или воде
– В случае поломки вентилятора он гарантировано будет выдавать минимальный поток воздуха.
– Позволять расширить существующие серверные залы
– Возможность локального использования
– Энергосбережение
Наверное, единственный недостаток, который можно выделить в решении «активный пол» это мощное потоки воздуха под фальшполами.
Независимо от выбора решения по охлаждению серверного помещения, всегда рекомендуется использовать фальшпанели для свободных юнитов стойка, для предотвращения смешивания горячего и холодного воздуха, о котором мы писали выше.
Для своего ЦОД компания Юбилинк выбрала и реализовала систему горячих и холодных коридоров с использованием фальшполов. На наш взгляд это оптимальное решение для активно растущего ЦОД с возможностью быстрой модернизации системы охлаждения серверных стоек до «холодный бассейн» и «активный пол», которые как написано выше позволяют обеспечить оптимальную температуру для работы серверного оборудования.
Конечно же такая система охлаждения нуждается в постоянном контроле, чтобы быть в полной уверенности что все системы работают в штатном режиме. Постоянный мониторинг помогает инженерам компании Юбилинк отслеживать все процессы в режиме реального времени.
При возникновении отклонений от нормы или внештатной ситуации инженеры смогут вовремя предотвратить критическую ситуацию. Так же мониторинг отображает данные о параметрах, статусе оборудования, следит за сроками сервисного обслуживания, показывает наработку оборудования в часах и т.д.
Какие задачи решает мониторинг?
– Отображение параметров питающей электросети и состояние автономных выключателей;
– Контроль состояния и параметров работы ИБП;
– Состояние и параметры работы холодильного оборудования (машины, кондиционеры и вентиляционные установки);
– Осуществляет сбор данных о температуре и влажности воздуха, о наличии протечек и задымления в ЦОД;
– Предоставляет отчет и график по нужным параметрам;
– Уведомляет о событиях и аварийных ситуациях;
