Задача сложная, времени мало: какие упрощенные модели мы использовали для тепловых расчетов BBU

Система охлаждения — это камень преткновения для современных вычислительных систем с большим тепловыделением. Когда переход на жидкостное охлаждение невозможен, а увеличивать радиатор уже некуда, приходится искать другие способы, как не дать оборудованию перегреться.

Разработка вычислительных систем включает обязательное математическое моделирование, но на этапе проработки конструкции полноценные расчетные модели требуют огромных временных ресурсов. Упрощая геометрию и модели компонентов, можно ускорить процесс, но есть и обратная сторона: если упростить их слишком сильно, есть риск сделать неверные выводы о (не)работоспособности конструкции и «закопать» удачную идею на раннем этапе проектирования. А еще нужно понимать ограничения, которые накладывает использование упрощенных моделей, и знать, как свести их к минимуму.

Базовая станция как массовый продукт должна отвечать высоким требованиям к технологичности, простоте сборки и обслуживания — это напрямую сказывается на том, как будет сконструирована система охлаждения. Чтобы разработать надежное решение, нужно пройти через множество итераций компоновки корпуса (последовательного размещение модулей с нагнетающими вентиляторами) и расположения компонентов на плате. Без упрощения расчетных моделей этот процесс стал бы действительно бесконечным.

Меня зовут Александр Воробьев, я ведущий инженер по моделированию в YADRO. Сегодня расскажу о том, как мы моделировали систему охлаждения BBU и какой подход помог ускорить этот процесс. Решения, которые я опишу, универсальны — сможете использовать их в своих проектах.

Решения по компоновке BBU

Посмотрите на фото:

Преимущество такой компоновки BBU — легкий доступ ко всем модулям. Но есть и сложность: воздух в корпусе движется с одного края к другому, охлаждая два модуля в одном ряду, при этом модули должны быть взаимозаменяемыми и иметь одинаковые радиаторы. Задачу усложняет то, что воздух перед вторым модулем уже нагрет первым, а скорость потока на входе во второй модуль тоже отличается.

У модулей BBU несколько источников тепла на одной плате, каждый из которых обладает различной и существенной мощностью тепловыделения. Сначала мы планировали использовать отдельные радиаторы для каждого источника, чтобы «развязать» их. Но при исследовании такой компоновки выяснили, что площади охлаждения критически не хватает. К тому же для нас было важно защитить модуль от случайных воздействий.

Мы решили использовать общий радиатор с испарительной камерой в основании и металлический бэкплейт с обратной стороны печатной платы. Благодаря высокой планарной теплопроводности, такая конструкция позволила увеличить площадь оребрения радиатора и обеспечить равномерный нагрев ребер по всей площади. 

Сейчас мы ищем в нашу команду инженера-конструктора: откликайтесь, если хотите проектировать механики сложного серверного оборудования, СХД, сетевых и клиентских устройств и так далее. Также в телеком-направлении ищем инженера по тестированию цифровых модемов и инженера по полевым испытаниям.

Все открытые вакансии YADRO можно посмотреть на карьерном сайте.

Что не учитывает простая модель вентилятора

На раннем этапе проектирования системы охлаждения нужно определить размеры радиаторов и обеспечить необходимый расход воздуха через них, и эти задачи взаимосвязаны. С некоторым приближением их можно решить аналитически, но большинство аналитических моделей предполагает равномерный поток на входе в радиатор. При использовании вентиляторов это существенное допущение — как минимум из-за формы проходного сечения и направления движения воздуха.

В CAE-пакетах определить направление потока воздуха от вентилятора можно двумя способами:

• MRF (Moving Reference Frame): для этого нужна геометрия проточной части вентилятора.

• Аналитическая модель вентилятора с заданной P-Q-характеристикой. 

Без дополнительных условий эта характеристика дает представление об осевой скорости потока через вентилятор. Но вращение рабочего колеса меняет направление потока на выходе, закручивая его.

Схематично это показано тут:

Без учета формы лопаток невозможно точно определить вектор потока. Чтобы учесть закрутку, в CAE-пакетах к вектору скорости добавляют окружную составляющую величиной порядка 5% окружной скорости колеса. Подробнее об этом можно почитать на ansyshelp.

где — скорость потока в направлении вращения, — частота вращения вентилятора, — радиус сечения с рисунка выше.

Спрямляющий аппарат, установленный за колесом высокооборотного вентилятора, тоже меняет направление потока. На этих изображениях видно, как учет направления потока на выходе из вентилятора влияет на его траекторию:

Чтобы решить эту проблему, нужно подробнее изучить вентиляторы и определить направление выходящего из них потока. Для этого мы отдельно, через расчеты, определяли закрутку потока используемых вентиляторов с учетом направляющего аппарата за рабочим колесом. Дальше  полученные параметры закрутки потока внедряли в упрощенную модель вентилятора, которая использовалась для теплового расчета базовой станции. 

Во время исследований отметили, что по сравнению с изменением компоновки модулей и корпуса закрутка потока несущественно влияет на интегральные параметры работы базовой станции: температуру процессоров и расход воздуха. Но для проектирования системы охлаждения этот параметр все же важно учитывать — так мы можем точнее прогнозировать распределение тепла по радиаторам и определять зоны с локальным перегревом компонентов.

Влияние закрутки потока на выходе из вентилятора можно оценить на иллюстрациях. Шкалы температур для обоих случаев имеют одинаковые пределы:

Кроме закрутки потока, при проектировании системы охлаждения важно также оценивать рабочую точку вентилятора: она не должна находиться в зоне помпажа его характеристики. Сама закрутка также влияет на положение рабочей точки на кривой характеристики вентилятора. 

Какой термоинтерфейс мы выбрали

Еще одна задача на раннем этапе проектирования — определить теплопроводность термоинтерфейса, который передает тепло от микросхем к радиатору. 

Известно, что для малого теплового сопротивления в контакте двух тел нужно значительное усилие прижатия. В серверных и десктопных решениях система охлаждения обычно обслуживает один процессор, а более свободное расположение компонентов позволяет локально усилить печатную плату под сокетом. В телеком-оборудовании это непозволительная роскошь. На одной плате модуля могут находиться несколько источников тепла с теплораспределителями разной высоты, а сама плата сильно ограничена по габаритам. Вместе с плотной компоновкой это не оставляет места для элементов жесткости, которые уменьшили бы локальную деформацию платы под процессорами. В такой конструкции термопаста уже не подходит: при наличии зазоров или отклонений контактирующих поверхностей от плоскостности она работает значительно хуже. Кроме того, нанесение термопасты — отдельный технологический процесс, который усложняет сборку модуля. Выступы на радиаторе для компенсации разной высоты компонентов сводят на нет унификацию системы охлаждения. Поэтому мы решили использовать термопрокладки.

Согласно характеристике, для минимального теплового сопротивления нужно сжать термопрокладку. Но как обеспечить это сжатие без локальных элементов, повышающих жесткость под процессорами (бустер-плейтов). Возможные варианты:

• Использовать наиболее мягкую термопрокладку.

• Расположить точки крепления радиатора как можно ближе к процессорам, чтобы уменьшить прогиб печатной платы.

Если с точками крепления все более-менее понятно, то как выбрать жесткость термопрокладки? Очевидный ответ — промоделировать!

С какими проблемами столкнулись

У мягких термопрокладок есть проблема: без экспериментальных данных трудно определить коэффициенты для гиперупругой модели материала. Существуют приближенные зависимости, основанные на измерениях, которые позволяют определить параметры материала только по его твердости, но данные для мягких материалов, твердость которых измеряют по шкале Шора 00, имеют значительный разброс. Это затрудняет определение модуля упругости термопрокладки. 

Вторая проблема — высокие требования к вычислительной мощности и временным ресурсам. Чтобы получить устойчивое решение задачи с несколькими гиперупругими телами, нужно время, к тому же без экспериментальных данных о сложнонапряженном состоянии материала не все гиперупругие модели позволяют добиться сходимости. Чтобы упростить задачу и не потяреть точность, мы решили линеаризировать модель материала термопрокладок. Тем более для этого не требовались эксперименты — достаточно данных изготовителя.

У этого метода есть несколько допущений:

• Жесткость термопрокладки линейна, что допустимо в сравнительно небольшом диапазоне деформаций.

• Изменение площади контакта термопрокладки с поверхностями при уменьшении его толщины не учитывается.

• Термопрокладка контактирует только с заданными поверхностями.

Дальше покажу этапы расчета, а потом разберу их на примере нашего модуля.

Как рассчитать тепловое сопротивление термопрокладки

Показываю маршрут 

С учетом деформации деталей модуля маршрут расчета выглядит так:

1. Собираем исходные данные. Определяем толщину термопрокладки, площадь контакта и зазоры с учетом допусков. Фиксируем механические свойства деталей и характеристики прокладки: зависимости сжатия от давления и удельного теплового сопротивления от давления.

2. Рассчитываем предварительное сжатие. Определяем разницу между исходной толщиной прокладки и зазором между компонентом и радиатором для каждого варианта допусков — это задает рабочий диапазон сжатия.

3. Определяем эквивалентную жесткость. По характеристике термопрокладки определяем диапазон давлений с учетом допусков компонентов системы охлаждения, пересчитываем его в усилие через площадь контакта и подбираем эквивалентную жесткость, которая описывается пружиной с линейной характеристикой.

4. Проводим статический расчет сборки. Заменяем термопрокладку эквивалентной пружиной в сборке. Выполняем статический расчет — так мы сможем учесть деформации системы охлаждения и печатной платы при сборке, которые влияют на итоговую величину сжатия термопрокладки. 

5. Уточняем сжатие термопрокладки. По относительным перемещениям контактирующих поверхностей определяем итоговое сжатие термопрокладки и фактическое сжатие. Если оно вышло за выбранный диапазон, уточняем жесткость эквивалентной пружины и повторяем расчет.

6. Находим контактное давление. Используем фактическое сжатие и характеристику изготовителя термопрокладки.

7. Рассчитываем тепловое сопротивление. По полученному давлению определяем удельное тепловое сопротивление и делим его на площадь контакта, согласовав единицы измерения. Результат используем для тепловых расчетов. 

Деформация деталей влияет на зазор между процессором и радиатором, а вместе с ним — сжатие и контактное давление термопрокладки. Поэтому сначала мы рассчитываем механическое состояние сборки, а потом по нему определяют тепловое сопротивление термопрокладки.

Для примера возьмем термопрокладку, установленную на контрольной плате BBU между процессорами и радиатором.

Смотрим на примере

Шаг 1. Собираем исходные данные

Для расчета нам нужны размеры процессора и расстояние от его теплораспределителя до радиатора с учетом допусков на размеры деталей. Толщина термопрокладки — 2 мм.

Рассмотрим три группы размеров деталей:

• Номинальный зазор — все размеры деталей считаем без учета допусков.

• Максимальный зазор — размеры деталей считаем с учетом допусков так, чтобы расстояние между крышкой процессора и основанием радиатора было максимальным.

• Минимальный зазор — размеры деталей считаем с учетом допусков так, чтобы расстояние между крышкой процессора и основанием радиатора было минимальным.

Шаг 2. Рассчитываем предварительное сжатие

Зная размеры процессора и расстояние от его теплораспределителя до радиатора, можем определить сжатие термопрокладки для каждого варианта допусков.

Результаты:

Шаг 3. Определяем эквивалентную жесткость

Теперь для предполагаемого диапазона сжатия определим линейную зависимость между приложенным давлением и сжатием прокладки по характеристике используемой термопрокладки:

Важно использовать именно линейную интерполяцию: она должна описывать жесткость пружины, которую мы задаем константой.

Зная давление, необходимое для сжатия прокладки до определенной толщины, умножим его на конечную площадь контакта прокладки с поверхностью теплосъема. Так получим усилие сжатия, по которому затем определим жесткость.

Для используемого процессора примем площадь, по которой распределяется давление уже сжатой прокладки, равной 1286,5 мм².

Так мы получаем среднее значение жесткости пружины в рассматриваемом диапазоне сжатия — 241 Н/мм.

Шаг 4. Проводим статический расчет сборки

Полученную жесткость пружины можно использовать в статическом расчете, чтобы учесть деформацию конструкции вокруг термопрокладки при его сжатии. Это позволит точнее вычислить конечную толщину термопрокладки, усилие, с которым она действует на процессор, и ее тепловое сопротивление.

В качестве граничных условий для статического расчета использовалось перемещение печатной платы с процессором к радиатору. Таким образом мы имитируем процесс сборки модуля. Величина перемещения задается в соответствии с вариантом допуска, индивидуально для каждого случая.

Шаг 5. Уточняем сжатие термопрокладки

Определим степень сжатия с учетом деформации окружающих элементов. Для этого используем среднее значение перемещения крышки процессора — смотрите изображение ниже. Эпюра перемещений дает нам представление о влиянии деформации механических компонентов модуля на условия сжатия термопрокладки. В случае номинального зазора оно составило 1,1224 мм — это соответствует сжатию примерно на 56%.

Для максимального зазора при перемещении процессора на 0,94756 мм сжатие прокладки составляет около 47%.

Шаг 6. Находим контактное давление

По характеристике термопрокладки определим давление для полученного сжатия. Для номинального зазора оно составляет 30,63 PSI, для максимального — 26,83 PSI.

Шаг 7. Рассчитываем тепловое сопротивление

Аналогично тому, как мы определяли усилие сжатия, по документации на термопрокладку построим линейную зависимость удельного теплового сопротивления от давления в полученном диапазоне. Вот она:

Предположим, что термопрокладка контактирует со всей выступающей поверхностью теплораспределителя процессора площадью 1286,5 мм². Определим тепловое сопротивление в °C/Вт с учетом напряженно-деформированного состояния конструкции:

Придерживаясь такого подхода, мы определяли тепловое сопротивление термопрокладки с учетом деформации печатной платы и радиатора и допусков на детали системы охлаждения. Это позволило нам достаточно быстро и с небольшими затратами вычислительных ресурсов установить и тепловое сопротивление термопрокладки, и усилие, с которым она действует на охлаждаемый компонент. Дальше, по этим данным, мы подобрали оптимальное соотношение усилия сжатия и теплового сопротивления, а полученные значения использовали в тепловом расчете.

Подходы к упрощению расчетных моделей, которые я описал выше, помогли нам значительно ускорить разработку и оптимизацию системы охлаждения BBU. Валидация показала качественное соответствие результатов моделирования экспериментальным данным. Для нас это критично важно на практике: сейчас телеком-оборудование YADRO работает в коммерческих сетях «Билайна» и «МегаФона» в 37 регионах России — как в небольших населенных пунктах, так и в нагруженных сетях крупных городов. При таком масштабе развертывания время, которое удается сэкономить на расчетах и доработке конструкции, особенно ценно.

Еще статьи из цикла про разработку базовых станций в YADRO:

— «Простая конструкция, но высокая вычислительная мощность: в чем особенность разработки базовых станций».

— «Почему антенны работают на физике XIX века, но требуют технологий XXI».

— «Как базовая станция превращает данные в радиосигнал: разбираем цифровой тракт радиомодуля».

— «Какие этапы разработки и тестирования проходит радиомодуль в YADRO».

— «Эволюция сетевой подсистемы базовой станции: как мы пришли от программного маршрутизатора к аппаратному ускорению».

— «„Железо“ под давлением: как протестировать тысячи плат для базовых станций».