Мобильные и контейнерные ЦОД

Проектирование мобильного ЦОД: модуль и инженерные системы

Проектируем блок-контейнер и всё, что внутри: машзал, электропитание, холодоснабжение, пожаротушение, СКС и мониторинг — с проверкой охлаждения на CFD-модели до изготовления модуля

Состав работ
Машинный зал модульного ЦОД с изолированным холодным коридором

О направлении

Решаем задачу комплексно

Модуль привозят собранным — вместе с ошибкой в компоновке.

ООО «Сибресурс» проектирует мобильные и контейнерные ЦОД. Эта услуга — про модуль как изделие: несущий каркас и ограждающие конструкции блок-контейнера, компоновка машзала, электропитание, холодоснабжение, пожаротушение, СКС и мониторинг инженерных систем. Стадии создания ведём по ГОСТ Р 58811-2020: от концепции и технического задания до рабочей документации и авторского надзора при изготовлении. Охлаждение подтверждаем CFD-моделью машзала — поле температур и скоростей воздуха считаем до того, как модуль изготовлен в металле. Для нагрузок от 20–25 кВт на стойку под GPU и задачи искусственного интеллекта закладываем жидкостное охлаждение. При изготовлении модуля на заказ разрабатываем технические условия на блок-контейнер и сопровождаем подтверждение соответствия техническим регламентам ЕАЭС. Площадка, энергоцентр и разрешительная документация — предмет отдельной услуги. В основе — многолетний опыт нашей команды, полученный на крупных промышленных проектах. Офис в Москве, работаем по всей России с выездом на объект.

01

Выгоды для Заказчика

Охлаждение проверено на модели, а не на приёмке.

Мы не ограничиваемся таблицей теплопритоков: собираем CFD-модель машзала и получаем поле температур и скоростей воздуха по рядам стоек. На модели видно рециркуляцию через незаглушенные юниты, перегретые зоны в верхней части стоек и провалы расхода в конце ряда. Компоновку и раздачу воздуха правим на расчёте, а не после того, как модуль изготовлен и привезён на площадку.

Плотность стойки закладывается под будущую нагрузку.

Воздушная схема имеет предел, и при переходе на GPU-нагрузки его достигают быстро. Мы считаем модуль на заявленную плотность и на перспективу роста: где хватает внутрирядных кондиционеров, где нужен теплообменник на задней двери, где — контурное жидкостное охлаждение. Решение принимается на этапе компоновки, потому что в готовом блок-контейнере нет запаса объёма для другой схемы.

Документация не привязана к одному изготовителю.

Комплект рабочей документации, спецификации и опросные листы оформляются так, что модуль изготовит любой профильный завод, а оборудование можно заменить на аналог без переделки проекта. При изготовлении на заказ разрабатываем технические условия на блок-контейнер и сопровождаем подтверждение соответствия ТР ТС. Заказчик остаётся в переговорной позиции и не зависит от одной продуктовой линейки.

Модуль стыкуется с площадкой по границам, а не по факту привоза.

Ввод электропитания, отвод тепла, каналы связи, точки заземления и присоединительные габариты фиксируем как интерфейсы модуля и увязываем с проектом площадки и энергоцентра. Это снимает классическую ситуацию, когда модуль пришёл, а сечение кабеля, площадка под наружные блоки и трасса связи под него не рассчитаны.

CFD-модель машинного зала модульного ЦОД: поле температур по рядам стоек
02

Что вы получите

Концепция модуля и техническое задание

Расчёт ИТ-мощности и полной мощности модуля, количество и плотность стоек, схема охлаждения, класс резервирования инженерных систем, габариты и транспортное исполнение блок-контейнера; стадийность — по ГОСТ Р 58811-2020 (.docx, .pdf).

Компоновочные решения машзала

Планы расстановки рядов и стоек, горячие и холодные коридоры, зоны обслуживания и раскрытия дверей, тамбур-шлюз, размещение щитового и климатического оборудования, трассы кабельных лотков (.dwg, .pdf).

Конструктивная часть блок-контейнера

Несущий каркас, ограждающие конструкции, узлы и закладные детали, теплотехнический расчёт оболочки, решения по климатической защите и герметизации вводов, транспортные и монтажные нагрузки (.dwg, .pdf).

Рабочая документация по инженерным системам

Электроснабжение (ВРУ, ИБП, АВР, шинопроводы, распределение по стойкам, заземление и уравнивание потенциалов), холодоснабжение и вентиляция, автоматическое пожаротушение и пожарная сигнализация, СКС и кроссовое оборудование, мониторинг и диспетчеризация (.dwg, .pdf).

Расчёты и отчёты

Тепловой баланс машзала, CFD-модель с визуализацией полей температур и скоростей, расчёт PUE по ГОСТ Р ИСО/МЭК 30134-2-2018, категория помещений по СП 12.13130.2009, расчёт времени автономии ИБП, гидравлические расчёты контуров охлаждения (.pdf, .docx, .xlsx).

Спецификации, опросные листы и ведомости объёмов работ

Основание для закупки оборудования и для выбора изготовителя модуля; при изготовлении на заказ — технические условия на блок-контейнер и комплект материалов для подтверждения соответствия ТР ТС (.xlsx, .docx, .pdf).

03

Что проектируем

Конструктив блок-контейнера и компоновка машзала.

Несущий каркас, ограждающие конструкции, теплоизоляция оболочки и климатическая защита — с расчётом на транспортные, монтажные и климатические нагрузки района размещения. Внутри — ряды стоек с разделением горячих и холодных коридоров, зоны обслуживания и раскрытия дверей, тамбур-шлюз на входе в машзал, отдельные отсеки под щитовое, климатическое оборудование и аккумуляторные батареи ИБП. Компоновка ведётся в AutoCAD и nanoCAD, при необходимости — в 3D-модели для проверки на коллизии.

Электропитание внутри модуля.

Вводно-распределительное устройство, устройство АВР, источники бесперебойного питания с расчётом времени автономии, распределение по рядам и стойкам шинопроводами или распределительными щитами, PDU в стойках, учёт и измерения. Заземление, система уравнивания потенциалов и защита от импульсных перенапряжений выполняются по ПУЭ. Класс резервирования (N, N+1, 2N) назначаем по требованиям заказчика к доступности и фиксируем в задании на проектирование.

Холодоснабжение, климат и жидкостное охлаждение.

Прецизионные и внутрирядные кондиционеры, схемы с фрикулингом — прямым или косвенным, по климатическим данным площадки, — увлажнение и осушение воздуха, резервирование холодильных машин. Для нагрузок от 20–25 кВт на стойку под GPU и ИИ-задачи проектируем жидкостное охлаждение: теплообменники на задней двери стойки и контурные схемы с распределительными узлами. Требования к качеству воды для чиллеров, градирен и систем увлажнения закрываем расчётом схемы водоподготовки.

Пожарная безопасность, СКС и мониторинг.

Автоматическое газовое или аэрозольное пожаротушение машзала, система раннего обнаружения задымления с аспирационными извещателями, огнестойкость ограждающих конструкций и противопожарные отсечки на вводах; категория помещений определяется расчётом по СП 12.13130.2009. Структурированная кабельная система, кроссовое оборудование, магистральные и горизонтальные трассы с разделением слаботочных и силовых каналов. Мониторинг и диспетчеризация: параметры электропитания, температура и влажность по зонам, протечки, контроль доступа и видеонаблюдение с выводом на единый пульт.

Жидкостное охлаждение стойки: теплообменник на задней двери
04

Области применения

Вычислительные площадки под GPU и ИИ-нагрузки

Модули высокой плотности с жидкостным охлаждением, когда воздушная схема существующего машинного зала не выдерживает нагрузку на стойку.

Банки, финансовые и страховые организации

Резервные и локальные площадки обработки данных, вынесенные из основного здания, с требованиями к резервированию питания и контролю доступа.

Телеком и edge-площадки

Узлы связи и локальные вычислительные модули рядом с потребителем данных, в том числе на площадках в энергоизбыточных регионах.

Промышленность, добыча и удалённые объекты

Модуль в исполнении для холодного климата и агрессивной среды, автономная работа на площадках без развитой инженерной инфраструктуры.

Ритейл, логистика и распределённые сети

Типовой модуль как повторяемое решение для распределительных центров и региональных площадок с одинаковым составом оборудования.

Расширение и временная замена действующего ЦОД

Быстрый прирост стоек, когда машинный зал исчерпан по мощности или охлаждению, и площадка обработки данных на период реконструкции основного объекта.

BIM-модель машинного зала модульного ЦОД: ряды стоек и кабельные трассы
05

Как мы работаем

  1. 1

    Исходные данные и концепция модуля

    Собираем требования: ИТ-мощность, количество стоек и плотность нагрузки на стойку, требуемый уровень резервирования, климатические данные площадки, ограничения по транспортировке и габаритам. Формируем концепцию модуля и техническое задание по ГОСТ Р 58811-2020, показываем 2–3 варианта компоновки и схемы охлаждения и сравниваем их по капитальным затратам, энергопотреблению и ремонтопригодности. Выбранный вариант согласовываем с вами до начала проектирования.
  2. 2

    Компоновка машзала и CFD-проверка охлаждения

    Расставляем ряды и стойки, разделяем горячие и холодные коридоры, назначаем зоны обслуживания и тамбур-шлюз. Строим CFD-модель машзала в специализированном пакете вычислительной гидродинамики и получаем поле температур и скоростей воздуха при проектной и аварийной работе климатики: находим рециркуляцию, перегретые зоны и участки с недостаточным расходом. По результатам корректируем раздачу воздуха, расположение кондиционеров и заглушек. Подробнее — CFD-моделирование.
  3. 3

    Проектная и рабочая документация на модуль и инженерные системы

    Выпускаем конструктивную часть блок-контейнера и рабочую документацию по электроснабжению, холодоснабжению и вентиляции, пожаротушению и пожарной сигнализации, СКС и мониторингу. Электрическая часть выполняется по ПУЭ, категория помещений определяется расчётом по СП 12.13130.2009, расчёт PUE — по ГОСТ Р ИСО/МЭК 30134-2-2018. Готовим спецификации, опросные листы и ведомости объёмов работ под закупку.
  4. 4

    Технические условия на блок-контейнер и подтверждение соответствия

    Если модуль изготавливается на заказ, а не берётся из серийной линейки, разрабатываем технические условия на блок-контейнер по ГОСТ 2.114-2016 и сопровождаем подтверждение соответствия техническим регламентам ЕАЭС: определяем применимые регламенты и схему оценки, готовим комплект документов, отрабатываем замечания. Подробнее — Разработка ТУ и сертификация ТР ТС.
  5. 5

    Авторский надзор при изготовлении и стыковка с площадкой

    Ведём авторский надзор в порядке СП 246.1325800.2016: контролируем соответствие изготавливаемого модуля проектным решениям, согласовываем замены оборудования и материалов и вносим изменения в документацию. Параллельно фиксируем интерфейсы модуля — ввод питания, отвод тепла, каналы связи, точки заземления — и передаём их в проект площадки и энергоцентра, чтобы модуль включился сразу после установки.
Несущий каркас блок-контейнера модульного ЦОД в цехе
06

Частые вопросы

Вы поставляете и монтируете модули?

Нет. Мы проектируем: выпускаем документацию на модуль и инженерные системы, по которой изготовление выполняет профильный завод, а монтаж — монтажная организация. Такой формат оставляет заказчику выбор изготовителя и возможность заменить оборудование на аналог без переделки проекта. Авторский надзор при изготовлении и монтаже ведём.

По каким нормам проектируется мобильный ЦОД?

Стадии создания инженерной инфраструктуры ЦОД — по ГОСТ Р 58811-2020, электрическая часть — по ПУЭ, категорирование помещений — расчётом по СП 12.13130.2009, расчёт PUE — по ГОСТ Р ИСО/МЭК 30134-2-2018. Свод правил СП 541.1325800.2024, посвящённый зданиям ЦОД, формально не распространяется на мобильные и некапитальные объекты (п. 1.2), но остаётся наиболее полным отраслевым сводом: используем его как методическую базу в части, не противоречащей особенностям модуля, а решения подтверждаем расчётами и требованиями заказчика к доступности, зафиксированными в техническом задании.

Какую плотность нагрузки на стойку можно заложить в модуль?

Воздушная схема с разделением коридоров, внутрирядными кондиционерами и заглушенными юнитами покрывает основной диапазон плотностей. При нагрузках от 20–25 кВт на стойку — а это типовой уровень для GPU и ИИ-задач — воздуха недостаточно, и мы проектируем жидкостное охлаждение: теплообменник на задней двери стойки или контурную схему. Целевую плотность нужно назвать на этапе технического задания: в готовом блок-контейнере места под другую схему уже нет.

Зачем CFD-модель, если есть расчёт теплопритоков?

Баланс теплопритоков отвечает на вопрос, сколько холода нужно на машзал в целом. Он не показывает, как воздух распределится между рядами и стойками. CFD-модель даёт поле температур и скоростей в объёме машзала и выявляет то, что не видно в таблице: рециркуляцию горячего воздуха через незаглушенные проёмы, перегрев верхних юнитов, застойные зоны и падение расхода в конце ряда. Для модуля это критично — переставить оборудование в тесном объёме после изготовления дороже, чем пересчитать компоновку.

Какой PUE вы гарантируете?

Нормируемых значений PUE в России нет, поэтому гарантировать число вне условий эксплуатации некорректно. Мы рассчитываем PUE по методике ГОСТ Р ИСО/МЭК 30134-2-2018 для заданных климатических данных площадки, режима загрузки и выбранной схемы охлаждения, показываем, как значение меняется при частичной загрузке модуля и при работе фрикулинга, и фиксируем расчётные условия в отчёте.

07

Смежные услуги

Член СРО проектировщиков.
Имеем право готовить проектную документацию, в том числе для особо опасных, технически сложных и уникальных объектов.

Выписка СРО (PDF)

Офис в Москве, работаем по всей России

Пришлите ИТ-мощность и плотность нагрузки на стойку — предложим компоновку модуля и состав документации