Российские специалисты накапливают опыт реализации инженерной инфраструктуры современных центров обработки данных.
Во всем мире стремительно растут плотность и мощность оборудования в центрах обработки данных (ЦОД). По прогнозам IDC, к 2009 г. количество используемых в США серверов увеличится впятеро, в связи с чем ожидается настоящий бум строительства ЦОД. Впрочем, спрос на более совершенные центры данных является общемировой тенденцией. Компании, до последнего времени откладывавшие модернизацию инфраструктуры ИТ, вынуждены приступить к ее обновлению, дабы соответствовать требованиям новых технологий. Согласно опросу Network World, до 2012 г. ежегодный рост бюджетов ИТ составит 10-12%, из них 50-75% будет приходиться на ЦОД.
В России более актуальна тема строительства новых ЦОД. Системные интеграторы постепенно накапливают опыт в реализации таких проектов для различных заказчиков — от провайдеров услуг Internet до банков и государственных структур. В июне «Журнал сетевых решений/LAN» и агентство корпоративных коммуникаций OSP-Con провели первую конференцию «Какой должна быть инфраструктура современного центра обработки данных?», посвященную вопросам построения и эксплуатации инженерной инфраструктуры ЦОД, включая основные тенденции в области проектирования центров данных. Поставщики оборудования представили свои продукты и решения, а интеграторы поделились практическими наработками создания инфраструктуры ЦОД.
Консолидация ресурсов и приложений вкупе с изменениями в серверном парке центров данных диктует новые требования и подходы к реализации инженерных систем. Хотя заказчики решают разные задачи и запросы их весьма отличаются (например, в отношении отказоустойчивости и гибкости инфраструктуры ЦОД), накапливаемый опыт дает возможность создавать тиражируемые решения и реализовывать проекты с меньшими затратами.
Как отмечалось на конференции, все большую важность приобретает выработка единого подхода к организации ЦОД. Стандартизация должна способствовать консолидации инфраструктуры, уменьшению ее сложности и сокращению затрат, повышению управляемости, соответствию требованиям бизнес-процессов. Стандарты обобщают опыт, накопленный в ходе построения и эксплуатации различных центров данных и серверных помещений, стимулируют системный подход к реализации инфраструктуры и тем самым к тиражируемости и масштабируемости решений, помогают унифицировать реализацию взаимосвязанных инфраструктурных систем и упростить внесение изменений.
В настоящее время проектировщики руководствуются американским стандартом EIA/TIA-942 («Стандарт на телекоммуникационную инфраструктуру центров обработки данных»), близок к завершению его европейский аналог EN 50173-5, на основе которого формируется и российский ГОСТ. Эти стандарты определяют, какие факторы следует учитывать при планировании и подготовке монтажа ЦОД или серверной, включая архитектурный проект, электроснабжение, заземление, другую инженерную инфраструктуру. Особенно актуальной тема стандартизации ЦОД стала в последние два года. Стандарты ЦОД специфицируют более десятка взаимосвязанных подсистем, что позволяет выработать единый подход к реализации инженерной инфраструктуры и снизить число ошибок.
Стандарт TIA определяет ЦОД как здание или его часть, предназначенные прежде всего для размещения оборудования обработки и хранения данных, функционирование которых обеспечивается вспомогательными системами. В России под ЦОД редко отводят отдельные строения. Часто помещения выделяются «по остаточному принципу», из-за чего приходится применять сложные и подчас очень дорогие решения для создания требуемых «климатических условий», чтобы оборудование работало нормально. В стандарте TIA-942 впервые обобщены требования к помещениям ЦОД, ранее достаточно разрозненные.
Старый советский стандарт на организацию и функционирование машинных залов, претерпевший некоторые изменения в 1985 и 2000 гг., не соответствует потребностям современных технологий и существенно отличается от рекомендаций TIA-942. Требования к инженерной инфраструктуре ЦОД определяются, в частности, потребностью в консолидации ресурсов и приложений, а также в обеспечении соответствия бизнес-процессам и выполняемым задачам. Они касаются кабельных систем, кондиционирования, электропитания, пожаротушения, защиты от протечек, контроля доступа. В их число входят подключение к Internet, территориальным и глобальным сетям, обеспечение круглосуточного режима работы и мониторинга, высокая отказоустойчивость, избыточность (резервирование), безопасность, контроль параметров окружающей среды, возможность быстрого развертывания и изменения конфигурации.
В ЦОД насчитывается до 15-16 различных подсистем, включая основное и резервное питание, слаботочную, силовую и иные типы проводки, прецизионные системы кондиционирования и контроля климата, способные поддерживать параметры температуры и влажности в узких пределах, средства пожаробезопасности и физической защиты помещений. На них приходится две трети стоимости крупного ЦОД. Он считает, что по зарубежной статистике можно с точностью до 15-25% оценить стоимость любого российского проекта ЦОД, поскольку при этом применяется практически то же оборудование, а стоимость площадей приближается к мировой. Среди систем распределенной инфраструктуры ЦОД, созданной компанией IBS для ФНС РФ, исполнитель выделяет обеспечивающие системы (систему фальшпола, контроля и управления доступом, вентиляции и кондиционирования, СКС, гарантированного электропитания, газового пожаротушения, охранно-пожарной сигнализации), сетевую и вычислительную инфраструктуры, сеть хранения данных, системы мониторинга, управления и эксплуатации, а также безопасности. Последние две подсистемы «пронизывают» все другие подсистемы ЦОД.
За рубежом в ближайшие три года нужно будет модернизировать примерно 40% ЦОД. Эта сложная задача требует тщательного планирования, ведь 85% простоев, по данным Tivoli Primary Research, связано с изменениями в инфраструктуре ИТ.
Причиной 40% незапланированных простоев являются изменения в инфраструктуре ИТ. Свою роль играет и «возраст» ЦОД. По мнению специалистов Intel, центры данных старше восьми лет уже не подлежат модернизации. Стимулом к модернизации служит не только износ ресурсов. Чаще на подобный шаг толкает необходимость увеличения вычислительных мощностей и обеспечения защиты от катастрофических отказов. Однако в целом владельцы ЦОД не спешат с внедрением новых технологий, откладывая их развертывание на перспективу, и предпочитают придерживаться прагматического подхода к решению текущих задач. Тем не менее около четверти менеджеров ЦОД планируют обновить системы в течение трех ближайших лет, и еще около 20% — в текущем году. Исходя из этого, вряд ли стоит делать ставку на неизменность создаваемой инфраструктуры. По данным HP, как правило, ее функционирование рассчитано на пять-десять лет.
Среди наиболее актуальных задач, стоящих перед ЦОД, выделяют защиту данных, сокращение расходов, обеспечение производительности систем и их оптимизацию, резервное копирование и восстановление, рост объемов электронной почты, обоснование затрат на инфраструктуру, ее соответствие требованиям подразделений, модернизацию платформ, рост объемов хранимой информации и сложности управления системами. Результаты прошлогоднего опроса CMP среди специалистов по эксплуатации ЦОД показывают актуальность обеспечения непрерывности бизнес-процессов и масштабируемости. Важными задачами остаются электропитание и охлаждение, причем ежегодно потребность в охлаждении ЦОД растет примерно на 8%. Судя по результатам опроса SYSTIMAX/CommScope (см. Рисунок 1), проблемы кондиционирования и электропитания актуальны для 11% респондентов. С ростом потребления энергии и удельного тепловыделения в ЦОД традиционные технологии все хуже справляются с новыми задачами, поэтому вопросы организации инженерной инфраструктуры становятся более актуальными.
Рисунок 1. Опрос SYSTIMAX Solutions 2005 г. показывает, с какими основными проблемами приходится сталкиваться при реализации ЦОД.
Четыре уровня
Зарубежные стандарты ЦОД описывают до 200 различных параметров для четырех категорий центров данных. Заказчики вынуждены учитывать множество аспектов, включая размеры и сроки инвестиций, выбор для ЦОД площадки и технологий и т. д. Один из важных аспектов — уточнение понятия отказоустойчивости. TIA-942 определяет четыре уровня отказоустойчивости ЦОД: базовый (неотказоустойчивый), с резервными компонентами (ЗИП в виде отдельных сменных компонентов), постоянно поддерживаемый (ЗИП в виде заведомо исправных устройств и агрегатов, «холодный» резерв) и отказоустойчивый («горячее» резервирование). ЦОД первого уровня (Tier 1) не имеет резервируемых систем, а потому все плановые и незапланированные работы неминуемо оборачиваются простоями. В ЦОД четвертого уровня (Tier 4) непрерывное функционирование поддерживается автоматически. По оценкам Алексея Солодовникова, центр с полным резервированием обходится в два с половиной раза дороже «простого» ЦОД (см. Рисунок 2).
Рисунок 2. Стоимость 1 м² ЦОД разного уровня (по данным APC).
Если ЦОД первого уровня не предусматривает избыточности, то на втором добавляется резервирование основных инженерных систем, но не «путей доставки» сервиса (электроэнергии, каналов сетей передачи данных). Резервирование последних реализуется в ЦОД третьего уровня, что позволяет проводить регламентные работы без его остановки. Четвертый уровень предполагает резервирование (N+1 и выше) всех основных систем и отказоустойчивость при наступлении наихудшего события. Среднее расчетное ежегодное время простоя ЦОД различается от 28,8 ч для первого уровня до 0,8 ч для ЦОД четвертого уровня, а фактически наблюдаемый коэффициент готовности — от 99,67 до 99,99%.
Центры данных призваны обеспечивать бесперебойную работу всех критически важных процессов обработки хранения и передачи информации, однако, как недооценка, так и переоценка влияния времени простоя одинаково негативно сказывается на бюджете компании, поскольку финансовые потери возможны в обоих случаях — либо при простое критически важных систем, либо из-за переплаты за решение.
ЦОД первого уровня строились еще во второй половине 60-х гг. Центры данных второго уровня появились в начале 70-х, третий уровень — детище середины 80-х, а ЦОД четвертого уровня впервые был создан в 1994 г. Сегодня ЦОД первого уровня применяются в основном в среднем и малом бизнесе, где ИТ обслуживают в первую очередь внутренние процессы. Кроме того, такими центрами довольствуются компании, которым сайт Internet нужен в качестве пассивного маркетингового средства, или их Internet-бизнес находится на начальном этапе развития. Наивысший, четвертый, уровень характерен для предприятий электронной коммерции, крупных финансовых институтов, интернациональных компаний, у которых сотрудники и заказчики находятся в разных часовых поясах, поскольку постоянный доступ к ресурсам ИТ дает им заметное преимущество и позволяет предоставлять услуги круглосуточно.
Важный параметр — отношение вспомогательных площадей к площади машинного зала, подчеркивают в APC. Если в ЦОД первого и второго уровня оно составляет 20-30%, то на третьем-четвертом уровне увеличивается до 90% и более. Дополнительные площади отводятся под размещение генераторов, холодильных машин (чилеров), электрощитов и другого мощного инженерного оборудования, обеспечивающего работу центра данных. В российских условиях крупный ЦОД второго уровня (как, например, центр М-1 площадью около 2000 квадратных метров) обходится около 7500 долларов/м.кв., что примерно соответствует оценкам Uptime Institute. Стоимость ЦОД меньшего размера можно рассчитать, используя поправочные коэффициенты. Сроки реализации проекта и его стоимость не должны сильно отличаться от расчетных.
Кабельная система ЦОД
Стандарты на офисные СКС описывают традиционные тракты и предлагают схемы, которые неприменимы в условиях ЦОД с высокой плотностью портов и насыщенностью оборудования. Например, вместо пользовательских коммуникационных розеток устанавливаются коммутационные панели, к которым подключается оборудование. Такой вариант предусматривает стандарт TIA-942, а применение наборных панелей с розеточными модулями дает возможность получить решение, близкое к стандарту офисных СКС. Грамотно же спроектированная система кабелепроводов позволяет обеспечить гибкость и удобство эксплуатации кабельной системы ЦОД, отмечают в КРОК.
СКС для ЦОД должна предусматривать высокую плотность портов, обладать механической прочностью, помехоустойчивостью, высокой пропускной способностью (с запасом на будущее), обеспечивать гибкость проектных решений и удобство эксплуатации. Увеличение стоимости медных кабелей вследствие роста цен на медь может стать стимулом к появлению более дешевой оптической электроники. Размещение коммутационных панелей в каждом шкафу с оборудованием заметно увеличивает удобство обслуживания ЦОД, где изменения происходят довольно часто, и позволяет не модернизировать СКС длительное время.
Рисунок 3. Plug-and-Play Universal System компании Corning позволяет быстро смонтировать кабельную систему в ЦОД.
Несколько производителей СКС и кабельной продукции предлагают специальные решения для центров данных. В числе требований к кабельной инфраструктуре ЦОД выделяют ее эффективность (высокую производительность, надежность и плотность размещения), управляемость (увеличение контроля над инфраструктурой ЦОД), гибкость (высокую скорость и простоту монтажа), масштабируемость. В Corning разработали готовые оптические сборки с увеличенной плотностью соединений (см. Рисунок 3), применение которых позволяет быстро смонтировать кабельную инфраструктуру ЦОД. Для увеличения плотности физических соединений используются соединители MTP на 12 оптических волокон. К основным достоинствам такого оптического «конструктора для ЦОД» в компании относят высокую плотность физических соединений (288 подключений на коммутационную панель высотой 4U), претерминированную заводскую сборку, исключающую ошибки при монтаже, малые вносимые потери, экономию времени монтажа, надежность элементов, масштабируемость и готовность к Ethernet на 10 Гбит/с. Модульная конструкция обеспечивает различные варианты сборок.
Качественная СКС, способная обеспечить бесперебойный доступ к информации и сервисам, — важная часть любого ЦОД. В ЦОД имеет смысл применять систему управления физическим уровнем кабельной инфраструктуры, поскольку это упрощает контроль за коммутацией портов и внесением изменений в физическую конфигурацию сети, позволяя быстро выявлять проблемы. Кроме того, все более значимым для организаций, владеющих как собственными, корпоративными центрами данных, так и коммерческими ЦОД, предоставляющими различные услуги, становится точное документирование соединений. Система управления физическим уровнем сети реализует его автоматически и в реальном времени, в результате упрощаются поиск и устранение неисправностей, а также внесение изменений в СКС и становится возможным принятие информированных решений. Особое внимание необходимо уделять проектированию и документированю СКС. Предварительно осуществляются планирование помещений, анализ потребностей, проектирование сетевой инфраструктуры с учетом резерва, экспертный анализ и согласование с подразделениями.
Все под контролем
В ЦОД используется несколько типов сетей и множество платформ, в связи с чем возникает задача консолидации систем управления. Фактически ЦОД представляет собой «интеллектуальное здание» в миниатюре и содержит все свойственные ему элементы (см. Рисунок 4). Интеграция различных подсистем ЦОД в общую систему диспетчеризации требует согласования их собственных инструментов управления с системой верхнего уровня. Пока заказчики уделяют этому недостаточно внимания, в результате расширяется парк оборудования с разнородными системами управления, а подсистемами ЦОД обычно занимаются не связанные между собою подразделения. Однако спрос на их интеграцию постепенно растет.
Рисунок 4. ЦОД — «интеллектуальное здание» в миниатюре
Каждый проект требует увязки энергетического и климатического оборудования и создания автоматизированных систем управления компонентами комплексного решения, а в сложных проектах с большим числом взаимоувязанных систем приходится уделять повышенное внимание мониторингу и оповещению оператора. Чтобы свести к минимуму вероятность отказа, используется многократное резервирование систем.
В ЦОД необходимы слаженная работа большого количества систем, быстрота и высокое качество диагностики отказов, которые могут возникать в пассивном и активном сетевом оборудовании и программном обеспечении, в частности в результате влияния человеческого фактора.
В реальной интегрированной системе управления инфраструктурой ЦОД приходится анализировать более 200 источников данных и 150 управляющих воздействий, включая контроль распределенных сетей передачи данных, мониторинг кондиционеров и ИБП, активного сетевого оборудования. Для выявления причин отказа наиболее подходит система корреляции событий. Такие системы особенно важны в распределенных ЦОД.
Предлагаемая Rittal система контроля и мониторинга СМС-ТС позволяет контролировать основные параметры ЦОД, включая состояние среды, систем охлаждения, ИБП, обеспечивать контроль доступа и др.
Решения для комплексного управления инфраструктурой ИТ должны предусматривать контроль всех событий и централизованное управление сетевой инфраструктурой, мониторинг систем, контроль и управление безопасностью. Игорь Романов, начальник службы информационных систем и приложений «Мегафон-Сибирь», выделяет среди используемых в компании систем мониторинга интерактивное отражение состояния всего оборудования, контроль электрической нагрузки, температуры и влажности среды, затопления помещения и открывания дверей, сообщения об авариях, предупреждения об ошибках.
«Глобальное потепление» и локальное охлаждение
Системы гарантированного электроснабжения и отвода тепла (прецизионного кондиционирования) - основа функционирования ЦОД. Плотность энергопотребления современных ЦОД выросла многократно - с 5 кВт на стойку до 15-16 кВт (у серверов 1U) или даже 24 кВт (у модульных серверов), а сегодня говорят уже о 80 кВт на стойку. За последние десять лет плотность тепловыделения оборудования возросла в три-пять раз и может доходить до 3 кВт/м.кв. Энергопотребление и охлаждение становятся главными проблемами при строительстве ЦОД разного масштаба. Если при мощности в 5 кВт на стойку проблему теплоотвода можно решить традиционными способами, то при более 15 кВт на стойку нужны специальные методы, а отвод тепла от стоек мощностью выше 24 кВт превращается в трудно разрешимую техническую задачу. Это вынуждает производителей переходить с традиционного кондиционирования на локальное охлаждение шкафов и даже жидкостное охлаждение процессоров. Emerson, Rittal, APC предлагают комплексные системы управления электропитанием и охлаждением в ЦОД (включая жидкостное охлаждение), применение которых существенно снижает количество отказов и затраты на сервис (см. Рисунок 5).
Рисунок 5. Комплексное решение для ЦОД RimatriX5 от Rittal реализует концепцию модульных вычислительных центров и объединяет в себе системы безопасности, охлаждения, источники питания, оборудование для текущего контроля и средства дистанционного управления.
Оборудование должно устанавливаться с учетом требований по климатике с организацией «горячих» и «холодных» коридоров. Доказав свою работоспособность, подобный подход стал общепринятым (см. Рисунок 6) и зафиксирован в руководящих документах ASHRAE с конца 80-х гг.
Рисунок 6. Рекомендации по организации охлаждения в помещениях, где расположено оборудование для обработки данных.
Российским проектировщикам ЦОД следует придерживаться рекомендаций зарубежных стандартов по охлаждению и электропитанию, а также руководствоваться паспортными требованиями серверного оборудования.
Непродуманное размещение техники приводит к неправильному распределению воздушных потоков и проблемам с подачей холодного воздуха к стойкам, а неправильное распределение потоков под фальшполом — к перемешиванию горячего и холодного воздуха и рециркуляции воздуха вокруг стоек. Причем в наихудшем случае вблизи кондиционеров решетки фальшпола могут даже забирать воздух из помещения, а не подавать его. В такой ситуации размещение наиболее нагруженного оборудования вблизи кондиционера лишь усугубит проблему. Задача отвода горячего воздуха решается посредством совместного проектирования климатических систем и расстановки оборудования. При расположении шкафов задними дверями друг к другу с забором воздушных потоков в кондиционер для охлаждения выбрасываемого в «горячий» коридор воздуха требуется предусмотреть около 3 м2 площади на шкаф.
Даже при «стандартном» тепловыделении 5 кВт на стойку фальшпол приходится поднимать на высоту 75-90 см. При отводе большего количества тепла требуется увеличить расстояние между стойками и высоту фальшпола (подчас до 1 м и более), что не всегда возможно.
К тому же при рассредоточении оборудования слишком много площади будет пустовать. Другой вариант устранения локальных зон перегрева — установка дополнительных вентиляторов, однако они сами увеличивают энергопотребление и вынуждают наращивать мощность систем кондиционирования, да вдобавок требуют резервирования.
Между тем, оснащение стойки с оборудованием вентиляторами в верхней и нижней панели дает возможность увеличить теплоотвод с 5 до 6-8 кВт на стойку (если позволяет фальшпол). Для оборудования мощностью 5-16 кВт рекомендуют систему дополнительных зональных доводчиков, монтируемых, например, на потолке или на стойке. Их можно применять для модернизации ЦОД (без его остановки) при возрастании тепловыделения серверов. Не будучи «привязана» к конкретному оборудованию и не занимая лишнего места, система доводчиков улучшает охлаждение оборудования в верхней части стоек, где наблюдается две трети случаев выхода серверов из строя. Она способна отводить до 70% тепла, выделяемого в ЦОД. Поскольку в системе применяется фреон, в случае разгерметизации расположенное под нею оборудование не пострадает. Комбинированные системы воздушно-водяного охлаждения серийно выпускаются несколькими компаниями и потому относительно недороги. Они достаточно компактны и подходят для монтажа в зданиях старой постройки.
Оборудование мощностью свыше 16 кВт на стойку устанавливают в автономные шкафы (42U) с собственной системой кондиционирования и бесперебойного электропитания. В них используют фреоновые кондиционеры, кондиционеры с выносным жидкостным кулером или водяное охлаждение. Предлагаемые Emerson шкафы подобного типа наряду с нужной температурой поддерживают оптимальную влажность воздуха и обеспечивают резервирование системы охлаждения. В случае аварии в электросети система охлаждения шкафа переходит на внутренние ИБП.
Как поясняет Игорь Антин, менеджер Knuerr (ныне входящей в состав Emerson) по развитию бизнеса в Восточной Европе, Финляндии и Прибалтике, в его компании при охлаждении стоек с высоким тепловыделением следуют общему подходу «холод ближе к теплу», т. е. ориентируются на охлаждение самих стоек. Для этого выпускаются, например, специальные дверцы стоек со встроенным теплообменником (Knuerr CoolAdd), подходящие к шкафам большинства известных производителей и позволяющие отводить 8-10 кВт. Еще более мощная система Knuerr CoolTherm с разделением контуров водяного и воздушного охлаждения рассчитана на удаление от шкафа до 35 кВт тепла. Как утверждают в Knuerr, разработанная четыре года назад система CoolTherm дает более 80% экономии площадей ЦОД и примерно на 15-40% сокращает потребление электроэнергии по сравнению с охлаждением всего помещения ЦОД (см. Рисунок 7). Энергоэффективность улучшается на 30%.
Рисунок 7. Система Knuerr CoolTherm с жидкостным охлаждением дает возможность сэкономить примерно 40% инвестиций в ЦОД (по данным производителя).
Систему жидкостного охлаждения Rittal шириной всего 30 см можно монтировать в боковой части шкафа. Это позволяет использовать все пространство шкафа. Воздушные потоки системы охлаждения направляются горизонтально, поэтому оборудование шкафа охлаждается равномерно. Каждый такой модуль со встроенным микроконтроллером отводит 4-6 кВт тепла. Система Liquid Cooling Package (LCP) предназначена для обслуживания одного или двух шкафов и может подключаться к холодильной установке или водоснабжению (как резервный вариант). По мнению Василия Галагана, руководителя отраслевого направления Rittal, подобный метод обеспечивает лучшее использование площадей ЦОД по сравнению с охлаждением через фальшпол и позволяет отводить до 36 кВт тепла с одного шкафа. При охлаждении самого шкафа нет необходимости организовывать «холодные» и «горячие» коридоры, рассчитывать потоки воздуха, стремиться более эффективно использовать помещение. Системы LCP резервируется по схеме N+1 на нескольких уровнях: с помощью модулей, стоек и на уровне системы обратного охлаждения. Оптимальный подбор температуры входящей воды позволяет избежать конденсата.
По мере развертывания в ЦОД оборудования высокой плотности (например, модульных серверов) проблемы охлаждения будут становиться все более актуальными и для российских заказчиков. По словам Олега Шумаева, архитектора сервисных решений «HP Россия», имеющиеся ЦОД, как правило, проектировались с ограниченным запасом по мощности электропитания и кондиционирования, а эффективность кондиционирования по ряду объективных причин составляет всего 40-50%. Согласно приведенным HP данным, на систему кондиционирования, вентиляции и обогрева (HVAC) приходится до 37% потребляемой ЦОД мощности (см. Рисунок 8). В отдельных случаях HVAC потребляет более 50% мощности ЦОД. Эффективным же считается показатель менее 30%.
Рисунок 8. Распределение потребляемой ЦОД мощности по различным системам (по информации HP).
Для повышения эффективности систем охлаждения и определения безопасных (с учетом аварийных ситуаций) режимов работы оборудования специалисты HP рекомендуют провести термический анализ ЦОД. Он помогает установить экономическую целесообразность применения конкретных вариантов систем вентиляции и охлаждения, ведь увеличение мощности кондиционирования — это дополнительные расходы. Кроме того, в шкафах нередко комбинируется различное оборудование с различающимися требованиями по охлаждению, а сам ЦОД, не будучи статичной системой, предусматривает добавление нового оборудования или замену существующего.
Специальное ПО, которое выпускает HP, выполняет численное моделирование полей температуры, потоков, давления воздуха во всем объеме ЦОД, исходя из реальной геометрии помещения и имеющегося оборудования с учетом положений проекта относительно штатных и аварийных режимов, по результатам которых предоставляются рекомендации. Такое моделирование имеет более высокую точность (90-94%), чем интуитивный подход, не зависит от производителя оборудования, применимо к построенным или проектируемым ЦОД, помогает разрешать существующие и предотвращать будущие проблемы. Специальное ПО для расчета и выбора подходящего типа охлаждения в зависимости от задачи используют и в Rittal.
