Как устроена аэродинамика современного сервера

Привет, Хабр! Меня зовут Ксения, я занимаюсь тепловыми расчётами серверного оборудования в OpenYard. По образованию я инженер по проектированию радиоэлектронных средств, а сейчас участвую в разработке серверных платформ от первых вариантов компоновки до испытаний готового изделия.

В этой статье расскажу, почему более мощный вентилятор не всегда спасает от перегрева, как кабели и пустые слоты влияют на воздушный поток, что показывает CFD-модель и как расчёты проверяются на реальном сервере. В качестве примера разберу разработку HN203I — от нескольких вариантов компоновки до нагрузочных испытаний при повышенной температуре.

Если какой-то компонент внутри сервера перегревается, самое очевидное решение — увеличить обороты вентиляторов. Но на практике можно заставить их работать заметно интенсивнее и получить совсем небольшой выигрыш по температуре. Воздух всё равно пойдёт туда, где ему проще, и более мощный поток не исправит неудачную компоновку, байпас или препятствие перед нужным компонентом.

С современными серверами это становится особенно заметно. Тепловыделение одного процессора может доходить до 500 Вт, а воздушное охлаждение уже работает близко к своим физическим возможностям. Поэтому сначала собрать сервер, а потом подумать, как его охлаждать, уже не получится.

Как охлаждение учитывают при проектировании сервера?

Если открыть типичный 19-дюймовый сервер, специалист довольно быстро поймёт общую логику движения воздуха. Вентиляторы нагнетают его через переднюю часть корпуса, дальше поток идёт к наиболее теплонагруженным компонентам, прежде всего процессорам и памяти, а затем проходит через остальную часть системы к задней панели.

Направлять поток помогают воздуховоды, или аэродакты. По их форме можно примерно понять, какие зоны должны получать основной объём воздуха. Но именно примерно. Глазами невозможно увидеть локальное завихрение, область с низкой скоростью потока или ситуацию, когда уже нагретый воздух возвращается туда, куда не должен. Поэтому сейчас охлаждение проектируют параллельно с самим сервером.

В начале разработки продуктовая команда определяет, какую конфигурацию нужно получить: какие процессоры и накопители поддерживать, сколько памяти, ускорителей и плат расширения разместить, при какой температуре входящего воздуха сервер должен сохранять работоспособность. Конструктор начинает прорабатывать компоновку, электронщики занимаются печатными платами, а я уже на этом этапе могу сделать первые расчёты и понять, сколько воздуха потребуется и какое сопротивление будет создавать конструкция.

Для сервера важны оба параметра. Воздуха в ЦОДе не бесконечно много: система вентиляции и кондиционирования рассчитана на определённое количество стоек и тепловую мощность. Нельзя спроектировать сервер, которому нужен любой объём потока, а потом просто попросить площадку его обеспечить. Нужно уложиться в доступные условия.

На раннем этапе модель ещё не обязана предсказывать температуру каждой микросхемы с точностью до градуса. Нам важнее понять, жизнеспособна ли сама компоновка. Если один вариант создаёт слишком большое сопротивление или значительная часть воздуха проходит мимо теплонагруженной зоны, лучше узнать об этом до выпуска механики, а не после того, как перед нами уже лежит инженерный образец.

Поэтому механику, электронику и тепловой расчёт сложно разделить на последовательные этапы. Все эти части проекта развиваются параллельно и постоянно влияют друг на друга.

Иногда главный враг воздушного потока — обычный кабель

Внутри сервера воздуху мешает практически всё: радиаторы, память, разъёмы, конденсаторы, платы расширения. У каждого элемента есть своя геометрия и сопротивление. Но кабельные трассы для меня, пожалуй, один из самых неприятных случаев.

Сами кабели почти не выделяют тепло, зато могут сильно менять поток. Пучок, который лёг немного не там, где предполагалось, создаёт дополнительное сопротивление, локальную турбулентность или просто перекрывает нужное направление.

Есть и вторая проблема: кабели сложно точно описывать в модели. Жёсткий конструктивный элемент предсказуем, а реальная укладка кабельной трассы зависит ещё и от сборки. Если маршруты недостаточно подробно заданы технологически, два одинаковых по спецификации сервера могут немного различаться по аэродинамике.

Раньше такие отклонения могли оставаться незаметными. Сейчас плотность тепловыделения настолько выросла, что конструкция прощает гораздо меньше ошибок. Поэтому укладку кабелей желательно продумывать ещё на прототипировании и по возможности превращать из «монтажник знает, как лучше» в воспроизводимый процесс. Похожая история возникает с пустыми слотами.

Интуитивно кажется, что если убрать какой-то модуль, внутри станет свободнее и охлаждение только улучшится. На практике может произойти обратное. Освободившееся пространство становится для воздуха более лёгким маршрутом, и часть потока начинает обходить компонент, который мы как раз хотели охлаждать.

Это и есть один из вариантов байпаса. Поэтому заглушки в пустых слотах нужны не для красоты, а для сохранения расчётной топологии воздушного тракта. Иногда сервер прекрасно работает в полной конфигурации, под которую его рассчитывали, а после удаления нескольких модулей распределение потока становится хуже.

Отсюда же появляются локальные горячие точки. Не обязательно на процессоре или памяти. Перегрев может возникнуть, например, на отдельном элементе системы питания просто потому, что туда приходит уже нагретый воздух или рядом образовалась зона с плохой циркуляцией.

Задача здесь не в том, чтобы сделать поток «сильнее», а в том, чтобы провести воздух через корпус по нужному пути.

Почему нельзя компенсировать плохую аэродинамику вентиляторами?

Это, наверное, самый естественный вопрос: если внутри слишком горячо, почему не увеличить обороты или не поставить более производительный вентилятор?

Потому что вентилятор работает не отдельно от сервера. У него есть собственная характеристика, но после установки в корпус появляется рабочая точка, которая зависит и от возможностей самого вентилятора, и от аэродинамического сопротивления всей системы. Если внутри есть неудачные сужения, плохо организованные каналы или значительная часть воздуха уходит в байпас, увеличение оборотов не даст пропорционального эффекта.

Если условно увеличить обороты вдвое, охлаждение не станет автоматически вдвое эффективнее. Зависимость нелинейная. В какой-то момент дальнейший рост производительности вентилятора даёт всё меньший выигрыш ― температура компонента снижается существенно медленнее.

При этом растут энергопотребление и шум. Последний тоже нельзя считать совершенно свободным параметром даже для серверного оборудования.

Поэтому попытка исправлять плохую аэродинамику оборотами — одна из типичных ошибок. Сначала нужно понять, почему поток не доходит до нужного компонента или почему система создаёт слишком большое сопротивление, и уже потом смотреть на режим работы вентиляторов.

Иногда инженерное решение на первый взгляд кажется совершенно логичным. Например, можно добавить небольшую направляющую на воздуховоде и рассчитывать, что она отправит больше воздуха к процессорному радиатору. Потом делаешь расчёт и видишь, что направляющая создала зону отрыва или рециркуляции, увеличила локальные потери давления, а расход через радиатор почти не вырос.

С опытом многие вещи действительно начинаешь оценивать заранее. Но иногда CFD как раз и нужен для того, чтобы проверить собственную интуицию.

Как работает CFD-моделирование сервера?

CFD расшифровывается как Computational Fluid Dynamics, вычислительная гидродинамика. Это не специальная технология именно для серверов. Теми же методами можно рассчитывать обтекание самолёта или движение среды в трубопроводе. У нас объектом становится воздух внутри электронной системы.

В расчётной модели геометрия сервера разбивается на множество элементов. В модели решаются уравнения движения воздуха и переноса энергии, а также учитывается теплопроводность в радиаторах, платах, корпусе и других твёрдых элементах. Уже после этого данные можно представить в привычном виде: цветными полями, сечениями, линиями тока.

Визуализация позволяет посмотреть внутрь процесса, который на физическом сервере глазами не увидишь. Можно понять, где поток ускоряется, где почти останавливается, куда уходит воздух после вентиляторов и какие зоны нагреваются сильнее.

Самое сложное здесь не получить красивую картинку, а правильно решить, насколько подробно нужно описать реальный сервер.

Допустим, у корпуса есть перфорированная решётка. Можно попытаться физически воспроизвести в 3D каждое отверстие, но тогда резко вырастет расчётная сетка, а вместе с ней время и требуемые ресурсы. Поэтому такие элементы часто заменяют математическим эквивалентом, который воспроизводит нужное сопротивление без буквального повторения всей геометрии.

То же самое касается плат, кабелей, радиаторов и отдельных электронных компонентов. Где-то геометрию можно упростить почти без потери точности, а где-то маленькая деталь заметно меняет поток, и её уже приходится учитывать.

У электроники есть ещё одна неприятная особенность: в одной задаче встречаются очень разные масштабы. Сам сервер измеряется десятками сантиметров, а отдельный элемент радиатора может иметь толщину порядка долей миллиметра. Всё это должно существовать внутри одной расчётной сетки.

В сложной модели количество элементов может доходить до десятков миллионов. В одном из расчётов, например, речь шла примерно о 40 млн ячеек. При этом само число ячеек ещё не гарантирует точность: критичны качество сетки в узких местах, корректность граничных условий, модели вентиляторов, источники тепла и проверка чувствительности результата к сетке. Для такой задачи нужны процессорные ядра и оперативная память, поэтому расчёты мы запускаем в том числе на серверном оборудовании.

В каком-то смысле один сервер помогает нам понять, как охлаждать другой.

Для электроники существуют специализированные CFD-пакеты. Физика в них не отличается от универсальной вычислительной гидродинамики, зато есть удобные для нашей отрасли инструменты: модели печатных плат, возможность задавать параметры слоёв, готовые элементы для радиаторов. Всё это можно собрать вручную и в универсальном ПО, но времени уйдёт намного больше.

Как CFD-модель проверяют на реальном оборудовании?

Любая расчётная модель содержит допущения. Мы можем использовать покупной компонент и не знать его точный внутренний состав или материалы. Производитель не всегда предоставляет готовую тепловую модель. Кабели невозможно воспроизвести один в один. Часть геометрии мы сознательно упрощаем, чтобы вообще получить расчёт за разумное время, поэтому модель нужно проверять на реальном оборудовании.

При этом расхождение в несколько градусов само по себе ещё не означает, что CFD «ошибся» и больше ни на что не годится. Иногда для нас гораздо важнее сравнительный результат.

Допустим, есть две компоновки. Абсолютная температура в модели может немного отличаться от измерений, но CFD показывает, что во втором варианте поток через определённую область увеличился, а температура компонента снизилась относительно первого. Уже этого может быть достаточно, чтобы принять решение до изготовления нового прототипа.

Особенно полезны такие сравнения на раннем этапе, когда мы перебираем разные варианты конструкции. Готовую модель потом можно менять: убирать компоненты, переставлять платы, проверять другую конфигурацию.

Но если физический сервер уже стоит рядом, иногда быстрее взять нужную сетевую карту или другой компонент, поставить его и провести эксперимент. На разных этапах разработки один способ просто оказывается полезнее другого.

От пяти компоновок до тепловой камеры

Хороший пример того, как всё это работает вместе, у нас был при разработке HN203I. Здесь мы прошли путь от первых вариантов компоновки до испытаний готового сервера.

Сначала команда определила, какую конфигурацию нужно получить. На раннем этапе вариантов расположения компонентов было больше пяти. Я рассчитала их с точки зрения аэродинамики, после чего мы выбрали наиболее перспективное направление.

На этом работа с компоновкой не заканчивается. Какие-то элементы продолжают двигаться, уточняются размеры и зазоры. Конструктор параллельно делает механику, электронщики разрабатывают платы.

Для аэродинамического расчёта мне не обязательно ждать финальную печатную плату. Если уже понятно, где будут процессоры, память и основные компоненты, можно начинать собирать модель. Потом в неё постепенно добавляются детали: материалы, радиаторы, накопители и остальные элементы.

Так мы можем заранее проверить, устраивают ли заложенные в механике зазоры и хватает ли воздуха дополнительным узлам.

Когда механика, электроника и тепловая часть сходятся, появляется инженерный образец. Но его первый запуск ещё нельзя считать полноценным тепловым испытанием. Сначала нужно убедиться, что сервер собирается и работает: платы определяются, компоненты доступны, система нормально стартует.

После этого начинаются нагрузочные тесты. Сначала сервер проверяется при комнатной температуре. Затем переходим к тяжёлой конфигурации с максимально возможной для теста тепловой нагрузкой: ставим необходимые накопители и память, используем процессоры с высоким тепловыделением, нагружаем систему.

Финал для тепловой части — испытания при повышенной температуре входящего воздуха.

Если мы заявляем работу сервера при определённых условиях, недостаточно проверить, что он при этой температуре просто включился. Он должен работать под нагрузкой, поэтому заранее согласуется методика испытаний: конфигурация, нагрузка и параметры, за которыми нужно следить.

После теста мы смотрим не только на саму температуру, но и на запас до допустимых значений. Если один показатель отличается от ожиданий на несколько градусов, это ещё не значит, что всё нужно срочно переделывать. Сначала приходится разбираться, откуда взялась разница и насколько она критична.

Работу при повышенной температуре мы тоже не добавляем в самом конце как отдельный экстремальный сценарий. Если такие условия указаны в требованиях к продукту, они закладываются в расчёт с самого начала.

Здесь становится особенно важным уже не только устройство воздушного тракта, но и программное управление вентиляторами. Они должны увеличивать обороты заранее по температуре контролируемых компонентов, а не ждать, пока какой-то из них уже приблизится к критическому значению.

Охлаждение сервера в итоге зависит одновременно от механики, аэродинамики, электроники и алгоритмов управления вентиляторами.

Когда модель превращается в реальный сервер

Наверное, одна из самых приятных частей этой работы для меня начинается тогда, когда заканчиваются модели.

В CFD ты долго работаешь с геометрией, цифрами, полями температур и линиями тока. Можешь несколько раз менять компоновку, спорить о зазорах, переставлять компоненты, заново считать модель. В какой-то момент сервер существует для тебя в основном как математический объект, а потом он появляется физически.

Особенно хорошо это чувствуется в проектах, где на ранних этапах кто-то смотрит на конструкцию и говорит: «Это не продуется». У тебя есть расчёты, которые показывают, что должно продуться. Потом появляется инженерный образец, проходят испытания, и оказывается, что система действительно работает примерно так, как ты ожидала.

Конечно, модель и реальность совпадают не всегда. Иногда не хватает исходных данных, иногда сильнее, чем ожидалось, влияет покупной компонент или очередное допущение. Тогда приходится возвращаться назад и разбираться, чего именно не хватило в модели.

CFD позволяет увидеть то, что невозможно рассмотреть глазами внутри работающего сервера, а физические испытания показывают, насколько хорошо расчёт описывает реальный мир.

Современный сервер уже сложно воспринимать просто как набор компонентов в корпусе, которые нужно обдуть с правильной стороны. Несколько миллиметров свободного пространства, положение кабеля или пустой слот могут изменить распределение потока. И чем ближе воздушное охлаждение подходит к своим физическим возможностям, тем меньше вещей внутри сервера можно считать мелочами.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев