Система охолодження датацентру – як це працює?

Сьогодні все більше компаній звертаються до послуг colocation, довіряючи ЦОД найважливіше — інформацію. Саме тому вибір надійного датацентру є складним процесом, в якому, в першу чергу, необхідно звертати увагу на інфраструктуру. 

Завдяки сучасним технологіям, з інфраструктурою ЦОД можна познайомитися візуально за допомогою віртуальних екскурсій або інтерактивних 3-D моделей (наприклад, інтерактивного макета датацентру GigaCenter). Але виникає головне питання — як же все працює всередині. Сьогодні розберемо одну з найважливіших частин роботи датацентру — систему охолодження.

Температура в серверних залах — це один із ключових параметрів стабільності всієї інфраструктури. 

Обладнання в датацентрі працює у режимі постійного навантаження: процесори, модулі пам’яті, приводні системи накопичувачів та мережеві плати виділяють значну кількість тепла щосекунди. 

У великих комерційних ЦОД сумарне тепловиділення може дорівнювати потужності промислового виробництва. Без контрольованого охолодження температура зростає дуже швидко, і навіть короткочасні піки можуть вплинути на стабільність ключових компонентів.

Саме тому одним з головних вимог до датацентрів є дотримання необхідного температурного режиму. Це забезпечує система охолодження, і одне з її завдань — правильна організація повітряних потоків.

Важливо, щоб холодне повітря надходило саме до зон найбільшого навантаження, а тепле — ефективно відводилося. Для цього в ЦОД проєктують холодні та гарячі коридори, відсікають змішування потоків, використовують простір під підлогою або стельові повітроводи.

Це дозволяє уникнути появи «гарячих точок» — локальних зон перегріву, які часто стають причиною нерівномірної роботи серверів і навіть аварійних відключень.

Загалом згідно зі стандартом TIA-942 температура у холодному коридорі має бути на рівні 18–27°C.

Також коректно налаштована система охолодження напряму впливає на ресурс роботи обладнання. Підвищена температура пришвидшує знос вентиляторів, блоків живлення, компонентів зберігання даних. 

Для клієнтів ЦОД це означає ризик простою, втрати доступності сервісів і потенційні фінансові збитки. Тому стабільне й передбачуване охолодження — один із фундаментів високого SLA.

Окрему роль відіграє енергоефективність. У середньому саме охолодження споживає третину, а подекуди й більше, електроенергії у датацентрі. 

Тому сучасні датацентри впроваджують інтелектуальне керування потоками, фрікулінг, рекуперацію тепла та інші методи оптимізації. 

Це дозволяє знизити Power Usage Effectiveness (PUE) і зробити роботу ЦОД більш стабільною для клієнтів — без різких перепадів температури навіть під час пікових навантажень.

Існує кілька основних видів систем охолодження датацентрів:

Почнемо наш огляд з варіантів охолодження ЦОД, які активно впроваджуються міжнародними компаніями у всьому світі — альтернативні системи охолодження.

Сьогодні більшість компаній віддають перевагу зберіганню даних у віртуальній інфраструктурі, у зв'язку з чим навантаження на датацентри з кожним днем зростає, збільшуючи обсяги споживання електроенергії. 

У 2018 році практично 3% світового виробництва електроенергії відводилося на систему живлення ЦОД (практично 40% електрики витрачають системи кондиціонування машинних залів.) Саме тому фахівці багатьох країн розробляють нові технології для охолодження інфраструктури датацентрів.

Так, клімат в певних регіонах нашої планети дозволяє економити до 80% енергії, яка витрачається на функціонування систем охолодження. Сюди можна віднести північну частину Європи й кілька зон на півночі США.

Компанія Google побудувала датацентр на місці колишньої паперової фабрики в Фінляндії. Для охолодження ЦОД фахівці використовують воду Фінської затоки, що дозволяє датацентру працювати без енерговитратних чиллерів.

Також у 2014 році Google придбала компанію DeepMind, яка спеціалізується на розробці систем штучного інтелекту, після чого провела цілий ряд тестів з оцінкою енергоефективності в розрізі своїх датацентрів. За результатами, Google вдалося досягти зниження енергоспоживання з використанням штучного інтелекту на 40%.

Компанія Facebook побудувала свій датацентр в місті Лулео біля полярного кола. Усередині ЦОД використовується північне холодне повітря для охолодження серверів, які зберігають фото, коментарі та лайки тисяч користувачів соціальної мережі Facebook.

У Норвегії неподалік від Північного полюса в Північному Льодовитому океані розташований Архіпелаг Шпіцберген. Тут на глибині 300 метрів надійно зберігаються найважливіші копії даних з усього світу. Вічна мерзлота арктичного острова дозволяє значно зменшити витрати й заощадити на енергії для підтримки низької температури.

Інженери Microsoft опустили датацентр на дно Північного моря на глибині 35,7 метра і все з тією ж метою — економії на охолодженні. ЦОД споживають велику кількість електроенергії (420 тераватів, тобто практично 3,5% енергоспоживання у світі припадає на датацентри), а 15-20% цієї енергії йде на охолодження комп'ютерів. Фахівці Microsoft стверджують, що використання холодних вод Північного моря дозволить їм заощадити на системі охолодження до 40%.

Передбачає установку кондиціонерів по всьому периметру машинного залу датацентру. За даними організації Uptime Institute, тільки 40% повітря, яке виробляється кондиціонером в датацентрі, потрапляє безпосередньо на обчислювальне обладнання (мається на увазі традиційна схема без використання ізоляції коридорів). 

Тому з метою підвищення ефективності роботи системи кондиціонування, крім основної системи охолодження використовуються додаткові: ізоляція холодного або гарячого коридору.

Така схема охолодження передбачає наявність шафового або рядного кондиціонера. Серверні шафи розміщуються «обличчям до обличчя», утворюючи при цьому певний коридор, в якого з-під фальшпідлоги подається холодне повітря. Після повітря забирається IT-обладнанням, встановленим в стійці й знову виводиться безпосередньо до кондиціонера.

При використанні такого типу охолодження, в датацентрі встановлюються кондиціонери безпосередньо в ряду серверних стійок. Це досить ефективна система, адже при її використанні можливі обидва варіанти ізоляції: як холодного, так і гарячого коридору.

Даний варіант охолодження буде ідеальним рішенням при наявності в датацентрі стійок високої енергетичної щільності (понад 10 кВт), а також при наявності різних перешкод для розгортання системи охолодження (наприклад, опорних колон).

В нашій країні альтернативні системи охолодження ЦОД поки не використовуються, але оскільки Україна розташована в континентальному кліматі це дозволяє значно зекономити витрати на охолодження інфраструктури датацентрів, наприклад, завдяки використанню системи фрікулінга. 

Попри те, що в розрізі систем охолодження інновації в нашій країні поки що не використовуються, інфраструктура українських ЦОД повинна відповідати всім правилам і міжнародним вимогам. Одним з таких датацентрів є GigaCenter.

GigaCenter – комерційний датацентр, який побудований відповідно до вимог TIER III та входить у п'ятірку кращих на території України. Аудит інфраструктури датацентру GigaCenter проводився сертифікованими фахівцями Accredited Tier Designer від Uptime Institute.

Всередині GigaCenter використовується периметральна система охолодження, а саме шафові кондиціонери зі схемою ізоляції холодного коридору відповідно до основних вимог міжнародних стандартів:

Також клієнти на власні очі можуть переконатися в професійному підході інженерів і надійності датацентру GigaCenter, відвідав екскурсію в ЦОД. Наші експерти познайомлять вас з основами роботи датацентрів, розкажуть про головні компоненти інфраструктури ЦОД і проведуть тими самими машинними залами з ізоляцією холодних  коридорів.

Розміщуйте свої дані надійно разом з командою професійних інженерів датацентру GigaCenter!

З огляду на стрімке зростання щільності обладнання, розвиток ШІ й вимоги до енергоефективності, найближчі роки принесуть певні зміни у роботі центрів обробки даних. Тож погляньмо на деякі ймовірні сценарії.

Збільшення щільності серверів та активне впровадження GPU приводять до того, що традиційні повітряні системи вже не справляються з тепловиділенням.

Тому ринок стрімко рухається в бік рідинних технологій. Наприклад, пряме рідинне охолодження (DLC), з яким холод подається безпосередньо до пластин, встановлених на процесорах і модулях памʼяті. 

Також існує занурювальне охолодження — коли сервери повністю розміщують у діелектричній рідині, яка поглинає тепло в рази ефективніше за повітря.

Такі рішення забезпечують стабільну роботу в пікових режимах, а також відкривають можливість збільшувати щільність обладнання без розширення фізичної площі.

До речі, в окремій статті ми детальніше розповіли про різні сучасні технології та типи систем охолодження датацентрів.

Зростання енергоспоживання ЦОД, вимоги регуляторів і вартість електрики роблять енергоефективність одним з основних критеріїв модернізації охолодження. 

Фрікулінг — охолодження зовнішнім повітрям — уже став стандартним інструментом, що дозволяє працювати тривалий час без участі компресорів та значно знижує витрати.

У сучасних системах також активно використовують мультизональне керування, де кожен сегмент машинного залу отримує оптимальний режим, а вентилятори, помпи й клапани працюють не за статичними налаштуваннями, а відповідно до реального навантаження.

Такі підходи формують новий стандарт — ЦОД мають тримати PUE на мінімально можливому рівні, не жертвуючи продуктивністю або стабільністю.

Штучний інтелект дедалі частіше застосовують для адаптивного керування вентиляторами, помпами та системами розподілу повітря. 

Проте роль ШІ розширюється — тепер він не лише реагує на зміни, а й передбачає їх. Наприклад, аналізує історію пікового споживання, кореляцію між навантаженням і температурою, поведінку конкретних стійок, а також зовнішні фактори на кшталт погоди чи часу доби. 

Це дає змогу завчасно змінювати режими охолодження, уникаючи «гарячих зон» і нерівномірного розподілу повітря. 

У великих датацентрах ШІ також може оптимізувати роботу цілих чілерних контурів, добираючи найекономніші налаштування для кожного стану системи.

З поширенням edge-центрів з’являється потреба в автономних та енергоощадних системах охолодження, що можуть працювати у малих приміщеннях або навіть на промислових майданчиках. 

Це можуть бути мікро-ЦОД у вигляді шафи або контейнера, де охолодження вже інтегроване у конструкцію, а повітряні потоки організовані без потреби у складних коридорних схемах.

Такі системи розробляють з фокусом на швидке розгортання та мінімальне обслуговування. Іншими словами, це такі інфраструктурні модулі, які можна встановити у місцях, де виникає потреба в обробці даних. 

Попит на edge лише зростатиме, тож компактні системи охолодження стануть важливою частиною архітектури нових датацентрів.

Передові ЦОД вже сьогодні передають надлишкове тепло в міські мережі або використовують його для обігріву сусідніх об’єктів.

Це дозволяє суттєво знизити навантаження на охолоджувальні контури та одночасно підвищити ефективність роботи всієї інфраструктури — замість того, щоб витрачати енергію на утилізацію тепла, його перетворюють на корисний ресурс.

Також сучасні центри переходять на холодоагенти з низьким коефіцієнтом потенціалу глобального потепління (GWP). Наприклад, починають активніше використовувати фрікулінг — у відповідному кліматі він може забезпечувати охолодження 70–80% часу на рік.

Крім того, впроваджують енергоощадні помпи та вентилятори. У комплексі ці рішення дозволяють нарощувати обчислювальні потужності, не збільшуючи пропорційно вуглецевий слід.