Центры обработки данных (ЦОД) — «сердце» современных предприятий, бизнес-процессы которых все в большей степени зависят от работы информационных и коммуникационных систем. Соответственно значительно повышается важность вопросов проектирования, построения и эксплуатации ЦОДов.
Фундаментом ЦОДа является его инженерная инфраструктура, состоящая из большого числа подсистем — это электропитание, кондиционирование, кабельная проводка, управление, контроль доступа и т.д. На рынке преобладают профессионалы (отдельные люди и компании), специализирующиеся на какой-то одной или нескольких инженерных подсистемах. Заказчикам же важно увидеть всю «картину» ЦОДа целиком. Такая возможность им была предоставлена 20 ноября с. г. на II ежегодной конференции «Обеспечение эффективной и экономичной работы центра обработки данных», которая была проведена журналом «Сети и системы связи».
Первым делом — надежность электропитания
Представитель компании Emerson Network Power Денис Беляев напомнил о существующей еще с советских времен классификации потребителей электрической энергии. К категории 1 относится оборудование, которому необходима электрическая энергия с жестко заданными параметрами (изменения напряжения и частоты не должны выходить за пределы ± 0,5 В и ± 0,05 Гц соответственно, а коэффициент нелинейных искажений формы сигнала не должен превышать 1%), при этом не допускается прерывание подачи электричества в течение заданного времени, которое может доходить в общем случае до нескольких лет. В ЦОДах к числу потребителей категории 1 относятся серверы, системы общего контроля и управления, общая и пожарная сигнализации, системы пожаротушения, аварийного электропитания климатического оборудования и аварийного освещения первой категории, системы доступа и видеонаблюдения. Потребители категории 2 должны получать электрическую энергию с параметрами качества общерегламентированного стандарта, разрешается лишь кратковременное прерывание ее подачи — не более 30 с. В ЦОДе такими потребителями являются климатическое оборудование, аварийное освещение второй категории, розетки второй категории, аварийные приточная и вытяжная вентиляции. Наконец, для потребителей категории 3 (общее освещение, розетки бытовых нужд и т. д.) допускается прерывание электропитания на время не более 24 ч. Как видно, основное оборудование ЦОДа относится к потребителям категории 1 и поэтому должно бесперебойно получать электричество высокого качества.
Бесперебойность функционирования системы электропитания, или ее работоспособность, обычно выражается в процентах — например, работоспособность 99,999% (пять девяток) означает, что суммарное время простоя может быть не более 5 мин в год. Денис Беляев обратил внимание на то, что работоспособность системы определяется не только таким хорошо известным параметром, как средняя наработка на отказ (MTBF), но и средним временем восстановления (ремонта) системы (MTTR). Понятно, что работоспособность повышается при увеличении значения MTBF и снижении MTTR. Последняя характеристика складывается из времени обнаружения и локализации неполадок, демонтажа и монтажа оборудования, а также из времени, требующегося на регулировку, настройку и проверку результатов ремонта. При выборе любой системы необходимо обращать внимание на то, чтобы ее конструкция обеспечивала максимальное упрощение указанных процедур и они могли выполняться быстро, что гарантирует минимальное время выполнения ремонта.
Для ЦОДов часто используют четырехуровневую (от Tier 1 до Tier 4) классификацию характеристик отказоустойчивости, разработанную американским институтом Uptime Institute. По мнению специалистов Emerson, для соответствия требованиям Tier 1 (работоспособность — 99,9%) в системе электропитания ЦОДа достаточно установить на входе TVSS-фильтр и активный фильтр (без ИБП), которые обеспечивали бы защиту от скачков тока и стабилизацию напряжения. Объекты уровня 2 (Tier 2, работоспособность 99,99%) требуют уже установки ИБП, но это может быть одиночный ИБП со статическим байпасом. Для объектов Tier 3 (работоспособность — 99,9999%) необходимы параллельно работающие ИБП, а для Tier 4 (99,99999%) — системы ИБП, работающие по технологии Dual Bus (двойная шина питания). В последнем случае нагрузка с двумя блоками питания подключается сразу к двум шинам, а нагрузка с одним блоком питания — через статический переключатель нагрузки, который тоже «сидит» на двух шинах (рис. 1).
По мнению главы представительства компании Socomec UPS в России, Йенко Алеша, современные ЦОДы должны проектироваться с учетом соответствия требованиям Tier 4, а устанавливаемые в ЦОДе серверы — иметь по два блока питания (сейчас выпускаются и устройства с тремя входами для подачи питания). Он также указал на возможность повышения коэффициента готовности путем не только повышения надежности ИБП (показатель MTBF), но и снижения среднего времени ремонта (MTTR). Для этого необходимо, чтобы оборудование имело эффективные средства диагностики и информирования об ошибках в режиме реального времени, а также обеспечивало быстрое проведение ремонта.
Говоря об аккумуляторных батареях, Йенко Алеш отметил, что это очень дорогостоящий (цена на свинец постоянно повышается) и в то же время очень «нежный» элемент бесперебойных систем электропитания. «Да, сегодня существуют батареи, рассчитанные на 10 лет эксплуатации, но если не контролировать работу батарей, то их можно “убить” за два месяца», — сказал он. В связи с этим г-н Алеш рассказал о системе BHC для расширенного мониторинга батарей, которая способна в режиме реального времени отслеживать основные показатели «жизнедеятельности» до шести цепочек по 40 батарей в каждой (всего 240 батарей). Результаты мониторинга выдаются на графический дисплей ИБП.
Ресурс батарей может повысить использование накопителя энергии на маховом колесе. При работе аккумуляторов в параллель с маховиком последний позволяет избежать «эффекта кнута» (короткий разряд) для аккумуляторов, принимая на себя все короткие пропадания электропитания и не «привлекая» аккумуляторы к работе. Если присутствует резервный генератор, то в некоторых случаях можно полностью исключить аккумуляторы из системы, заменив их маховиком. О возможных преимуществах использования маховика говорили не только представители компании Socomec UPS, но и специалисты фирмы Emerson, которая тоже предлагает такое техническое решение.
Среди основных требований, предъявляемых к системам бесперебойного питания ЦОДов, Денис Андреев, руководитель департамента ИБП компании Landata, назвал максимальную надежность и гибкость при развитии ЦОДа. Рецепты повышения надежности понятны — это использование модульных ИБП и установка моноблочных ИБП в параллель. Согласно приведенным г-ном Андреевым данным, вероятность отказа базовой системы ИБП составляет 2,4%, типового модульного ИБП — 1,1, параллельной системы — 0,9, системы, построенной с использованием технологии HotSync, — 0,1%. Если в традиционных схемах построения параллельных систем для синхронизации работы ИБП обязательно наличие сигнальных линий связи между ними, то разработанная компанией Eaton (Powerware) технология HotSync позволяет осуществлять такую синхронизацию через силовые выходы. Снижение числа элементов и отсутствие единых точек отказа в параллельных системах, построенных на базе ИБП Powerware, и объясняют снижение вероятности отказа.
Свой тезис о гибкости систем бесперебойного питания специалист компании Landata проиллюстрировал рассказом о новой модульной системе Blade-UPS компании Eaton. Каждый ее модуль является самодостаточным ИБП мощностью 12 кВА (12 кВт) со своим блоком управления, аккумуляторной батареей и байпасом, и его в любой момент можно извлечь из системы и использовать отдельно. Для повышения мощности и/или обеспечения резервирования модули объединяются при установке в стандартную монтажную стойку (дорогостоящей фирменной стойки не требуется!), где может размещаться и основное оборудование. Всего в стойку устанавливается до шести модулей BladeUPS (60 кВА).
Подобной концепции модульности, но только для систем меньшей мощности, придерживается и фирма MGE Office Protection Systems (OPS), которую недавно приобрела компания Eaton. По словам начальника отдела регионального развития MGE OPS Дмитрия Куликова, далеко не всем заказчикам нужны мегаваттные решения, многие начинают с построения небольших ЦОДов, на установку в которых и ориентирован новый ИБП Pulsar MX Frame. Для большинства модульных систем требуется дорогостоящее фирменное шасси, в которое устанавливаются модули ИБП. Разработанная MGE концепция ModularEasy позволяет заказчикам сначала купить стандартный ИБП, затем — при необходимости — добавить в систему еще до трех таких ИБП с помощью блока согласования (он же ручной байпас). Эта концепция «действует», начиная с 2-кВА источников (модели Pulsar M 2200). Модель Pulsar MX 5000 Frame позволяет объединять до четырех 5-кВА модулей. При установке в стандартную монтажную стойку 20-кВА система Pulsar MX Frame занимает в высоту всего 16 юнитов (16U).
Не забывая об эффективности
Олег Письменский, директор
департамента управления проектами компании APC-MGE в СНГ, назвал ЦОД
энергетически очень неэффективным объектом: 99,9997% поступающей в него
энергии уходит в тепло, и только оставшиеся 0,0003% расходуются полезно
(на вычисления). По его данным, в среднем эффективность инженерной
инфраструктуры составляет 50%, причем современные технологии позволяют
повысить этот показатель примерно на 30%. Для компьютерного
оборудования энергоэффективность составляет 60%, для микросхем — всего
0,01% (!). Так что работы для повышения эффективности использования
электроэнергии еще непаханое поле.
Господин Письменский предложил
модель роста ЦОДа по мере повышения требований со стороны бизнеса. По
его мнению, существует пять основных параметров, определяющих такой
рост: начальная и конечная мощность, время роста (до достижения
максимальной мощности), число итераций и неопределенность в значении
конечной мощности. Исходя из этих параметров строится план развития.
При планировании очень полезным может оказаться ПО (например, компании
APC-MGE), позволяющее оценить полную емкость ЦОДа, спланировать
установку стоек, полок и других элементов для размещения оборудования,
а также развитие средств кондиционирования и электропитания.
Организация Datacenter Science,
входящая в состав APC-MGE, занимается разработкой функционирующих в
режиме реального времени средств оценки энергоэффективности ЦОДа.
Задавая различные параметры (скажем, характеристики ИБП,
дизель-генераторной установки, блоков распределения и пр.), с помощью
этих средств можно оценить эффективность ЦОДа, которая показывается как
в виде процентов, так и в виде возможной денежной экономии на оплате
электричества. Наряду с этими средствами APC-MGE предлагает и другие
решения, с помощью которых можно не только контролировать критичные
параметры инженерной инфраструктуры, но и проводить их анализ — как
ретроспективный, так и перспективный.
Руководитель отдела экспертизы
компании «Абитех» Константин Соколов в своем докладе также уделил
большое внимание повышению энергоэффективности ЦОДов. Он привел данные
IDC, согласно которым сегодня на каждый 1 долл. стоимости оборудования
ИТ около 0,5 долл. тратится на электроэнергию, а в ближайшие четыре
года этот показатель увеличится до 0,71 долл. Одним из основных
способов повышения энергоэффективности ЦОДов является повышение КПД
систем электропитания, и ИБП в частности. В качестве примера г-н
Соколов привел ИБП SG PurePulse (мощность — 160–300 кВА) компании GE
Consumer & Industrial, которые, имея трансформаторную конструкцию,
обеспечивают КПД до 93% в режиме VFI в диапазоне нагрузки от 25 до
100%.
Основными тенденциями на рынке
ИБП г-н Соколов назвал уменьшение занимаемой оборудованием площади при
упрощении доступа к нему (что обусловлено дефицитом площади в
существующих ЦОДах и высокой ее стоимостью), а также развитие
«интеллектуальных» систем мониторинга и превентивной диагностики
(удаленный мониторинг способствует повышению надежности системы). Он
обратил внимание на изменение характера нагрузки: если раньше ИБП
традиционно были ориентированы на обслуживание индуктивной нагрузки
(коэффициент мощности — 0,8), то в современных серверах и сетевых
устройствах блоки питания имеют активный или слабоемкостный характер. В
связи с этим очень важно, чтобы ИБП могли работать на емкостную
нагрузку без существенного снижения выходной мощности. Это
обеспечивают, в частности, уже названные источники SG PurePulse.
Константин Соколов привел данные
о том, что 85% ЦОДов в Европе имеют системы электропитания, построенные
по централизованной схеме. При этом ИБП устанавливаются в отдельном (от
основного зала) помещении, что позволяет физически разделять сферы
ответственности разных служб, а значит, способствует повышению
безопасности и отказоустойчивости ЦОДа.
Постоянный или переменный?
Часто у специалистов возникает
вопрос: поскольку внутренние схемы серверов и сетевого оборудования
используют постоянный ток, не лучше ли всю схему электропитания ЦОДа
строить на системах постоянного тока? Свой ответ на него предложил
Сергей Кузнецов, директор направления систем постоянного тока компании
Emerson Network Power.
В
комплексах бесперебойного электропитания, построенных на основе ИБП
переменного тока (рис. 2), электричество преобразуется три раза:
сначала в самом ИБП (из переменного тока в постоянный и обратно в
переменный), а затем в блоке питания оконечного оборудования (из
переменного тока в постоянный). При использовании системы постоянного
тока такое преобразование осуществляется только один раз — в
выпрямителе этой системы. Если на объекте присутствуют устройства,
потребляющие переменный ток, то для них дополнительно устанавливают
инверторы.
Понятно, что, чем меньше
преобразований испытывает электроэнергия, тем выше должен быть КПД
системы. Кроме того, при этом используется и меньшее число элементов, а
значит, выше надежность системы и меньше занимаемая ею площадь. Именно
это Сергей Кузнецов назвал в качестве основных преимуществ систем
электропитания постоянного тока. В качестве примера такой системы он
привел рассчитанную на 116 кВт DC-систему NetSure 801 компании Emerson.
В ее состав входят до 20 выпрямителей мощностью 5,8 кВт каждый,
занимаемая системой площадь составляет 600 * 600 мм, а КПД (КПД
выпрямителя) — 93%. NetSure 801 устанавливается непосредственно в ряды
стоек (вместе с батареями и системами распределения), при этом
уменьшаются число и протяженность силовых проводов.
Господин Кузнецов привел
интересные данные исследования, проведенного японским оператором —
компанией NTT Facilities. Ее специалисты собрали статистику за пять лет
эксплуатации 12 600 АС-систем и 16 500 DC-систем. Цифры однозначно
свидетельствуют в пользу систем постоянного тока: их надежность
оказалась в 10 раз выше, занимаемая площадь в два раза меньше, а
потребляемая электроэнергия на 20% меньше.
Хотя представитель компании
Emerson привел ряд весомых аргументов в пользу DC-систем, у участников
конференции осталась масса вопросов, связанных с возможностью их
использования в ЦОДах. Многие говорили о том, что установка систем
электропитания в рядах стоек противоречит устоявшейся практике выноса
ИБП за пределы основного зала ЦОДа. Кроме того, при использовании
DC-систем возникает потребность в дополнительном оборудовании для
сопряжения с дизель-генераторными установками.
