Кабельные системы
Менеджер по работе с ключевыми заказчиками компании Panduit Олег Иваников посетовал на то, что «строители» ЦОДов кабельным системам уделяют недостаточно внимания: «Мы часто сталкиваемся с ситуацией, когда заказчики, строя или модернизируя ЦОДы, выбирают мощные и дорогостоящие серверы, коммутаторы и маршрутизаторы, тщательно продумывают системы охлаждения и электропитания, а потом просят, так сказать, «на сдачу» сделать им СКС — попроще и подешевле. В общей стоимости ЦОДа доля СКС относительно невелика — от 5 до 7%, тем более удивительно, что многие пытаются сэкономить именно на ней». Специалисты Panduit, известного производителя кабельных систем, конечно, в корне не согласны с таким отношением к СКС.
Олег Иваников постарался наглядно показать, что СКС и другое пассивное оборудование не только выполняет свои основные функции, но помогает экономить электроэнергию и повышать эффективность систем охлаждения ЦОДов. По приведенным им данным, до 60% охлаждающей мощности теряется из-за того, что потоки воздуха идут в обход того оборудования, которое они должны охлаждать. Это происходит из-за неправильного размещения перфорированных плиток и блоков кондиционирования, а также в силу того, что вырезы в панелях пола для проводки кабелей под стойками/шкафами делаются слишком большими и не заделываются должным образом. Поэтому начать надо с того, чтобы хорошо заделать места, где кабели подаются в шкафы.
Шкафы также должны иметь конструктивные элементы, повышающие эффективность охлаждения оборудования. Скажем, в предназначенных для коммутаторов шкафах Net-Access, разработанных Panduit совместно с компанией Cisco, коммутационные шнуры кроссируются в одну сторону, чтобы с другой стороны было свободное место для поступления холодного воздуха к вентиляторам сетевого оборудования. В серверных шкафах Net-Access, при конструировании которых специалистам Panduit помогали коллеги из компаний IBM и HP, тоже предусмотрена специальная организация кабелей для эффективной работы серверных вентиляторов и имеются специальные вертикальные панели-«заглушки», предотвращающие забор воздуха из горячей зоны. Для высокоплотных решений Panduit предлагает специальные двери с водяным охлаждением, с их помощью от шкафа отводится до 20 кВт тепла.
Еще один важный для ЦОДов момент связан с экономией площади. Традиционная схема кроссировки в шкафах предусматривает установку обычных горизонтальных коммутационных панелей, причем на каждую панель полагается свой горизонтальный организатор. Олег Иваников представил схему высокой плотности, в которой используются угловые коммутационные панели, а кабели проходят по вертикальным организаторам, расположенным сбоку шкафа (горизонтальные организаторы не нужны). Если требуется еще увеличить плотность, можно использовать панели 1U с 48 портами, но в этом случае кроссировка будет затруднена. И хотя Panduit предлагает специальный инструмент, который упрощает работу с 48-портовыми панелями, это решение оптимально лишь для объектов, где переключения происходят не очень часто.
По словам специалиста компании Panduit, использование схем высокой плотности позволяет на 23% экономить площадь помещения. Кроме того, меньшее число системных компонентов дает возможность на 43% сократить время на инсталляцию. Также сократить сроки инсталляции можно, задействуя медные и оптические претерминированные решения, которые предлагают как Panduit (системы QuickNet), так и другие производители. Олег Иваников отметил, что претерминированные кабельные системы тестируются на заводе, поэтому не надо тратить время на их проверку на объекте инсталляции. Экономия времени может оказаться весьма существенной, если учесть, что, например, на тестирование одного медножильного тракта для 10-Гбит/с сети уходит 45 мин.
О необходимости экономии дорогостоящего пространства ЦОДов говорил на конференции и Дмитрий Никулин, технический директор московского офиса компании RiT Technologies. В этом проектировщикам могут помочь коммутационные панели повышенной плотности — например, выпускаемые компанией RiT панели высотой один юнит с 48 разъемами RJ-45 (как и Panduit, RiT предлагает специальный инструмент для подключения и отключения шнуров при работе с такими панелями), а также оптические панели, которые, занимая всего два юнита монтажной стойки, позволяют подключить 96 оптических волокон. Очень полезным для ЦОДов может оказаться уникальное решение RiT по организации коммутационных центров без коммутационных шнуров. Для этого используются коммутационные панели с переключателями, которые обеспечивают соединение верхнего и нижнего порта панели, заменяя обычный коммутационный шнур. Нет коммутационных шнуров, нет и связанных с ними проблем — никто случайно не выдернет чужой шнур, из-за повреждения вилки не нарушится контакт и т.п., — а значит, повышается надежность физической инфраструктуры. Еще одно удобное для ЦОДов решение — коммутационные панели, оборудованные разъемами RJ-45 не только с фронтальной, но и с задней стороны. Их использование значительно упрощает подключение активного оборудования к задней стороне панелей.
Большое внимание в своем докладе г-н Никулин уделил управлению СКС. «На таком объекте, как ЦОД, большое число оборудования сконцентрировано в одном месте, и его невозможно эффективно эксплуатировать без средств дистанционного управления», — сказал он. Система управления компании RiT, базирующаяся на программной платформе PatchView for the Enterprise (PV4E), значительно упрощает процесс эксплуатации СКС, снижая при этом вероятность ошибки и повышая отказоустойчивость всей системы. В частности, она автоматизирует ведение кабельного журнала и позволяет контролировать соединения в режиме реального времени. Кроме того, она может определять физическое местоположение ресурсов (рабочих станций, серверов и пр.) и информировать о их перемещении.
Рабочие задания на перемещения, добавления и изменения сетевых элементов формируются в графическом интерфейсе системы управления PV4E методом «перетащи и отпусти» (drag and drop). Достаточно мышью перетащить элемент из одного места в другое, как система сама сформирует схему переключений с учетом мощности подведенного к стойке питания, ее монтажного пространства и других характеристик. Далее она «поможет» техникам выполнить переключения на коммутационном поле (специальные индикаторы на панелях покажут, какие разъемы подключить, а какие отключить) и зафиксирует изменения в базе данных. Благодаря новой программе SitePro информацию о СКС и инструкции по переключениям техники могут получить на месте через карманный ПК.
Для менеджеров современных ЦОДов едва ли не на первом месте стоят проблемы безопасности. Снять многие из них можно с помощью системы PV4E. Она осуществляет документирование всех событий, ведет списки разрешенного и запрещенного оборудования, автоматически сигнализирует о подключении к сети нового устройства. Отметим, что благодаря интеграции с AutoCAD система PV4E позволяет использовать в интерактивном режиме графики и схемы здания, на которых можно указывать местоположение сетевых элементов. Кроме того, она интегрируется с такими популярными платформами сетевого управления, как HP OpenView и CA Unicenter, а также с другими программами управления и администрирования.
10-Gig в ЦОДе
Сергей Логинов, директор представительства компании R&M, привел данные опроса руководителей 100 высокотехнологичных ЦОДов, проведенного исследовательской организацией Aperture; Согласно этим данным, основной источник сбоев в работе ЦОДов (57% отказов) связан с человеческими ошибками на стадии проектирования, монтажа и обслуживания оборудования. (К слову, из-за перегрева оборудования в ЦОДах случаются только 22,3% отказов.) Исключить ошибки персонала нельзя, но их можно минимизировать. Это позволяют сделать решения с избыточными характеристиками, качественная система управления кабелями и шнурами, четкая идентификация и маркировка кабелей, портов и шнуров, а также упрощение методики монтажа компонентов. Все это без исключения относится и к 10-гигабитовым СКС, которым Сергей посвятил основную часть своего доклада на конференции.
На сегодняшний день большинство производителей СКС предлагают 10-Гбит/с решения на основе как волоконно-оптических, так и медножильных кабелей. Волоконно-оптические кабельные системы, которые обеспечивают максимальную дальность 300 м (по многомодовому волокну OM3), характеризуются высокой стоимостью внедрения и сложностью модификации, Сергей Логинов рекомендовал использовать в статичных сегментах ЦОДа - для построения магистрали и кабельной системы сетей хранения (SAN). Как и большинство экспертов, он посоветовал для ЦОДов претерминированные оптические кабели, но предостерег от применения групповых разъемов типа MPO: «Они добавляют затухание, что может оказаться критичным, особенно для 10-Gig систем, где каждый децибел на счету».
Медножильные 10-гигабитовые кабельные системы (для сетей 10GBase-T) имеют меньшую максимальную дальность (до 100 м), но характеризуются невысокой стоимостью внедрения и внесения изменений. По мнению г-на Логинова, их лучше применять в горизонтальной подсистеме, которая является наиболее динамичной частью кабельной системы ЦОДа. Однако бич медножильных СКС при их использовании в сетях 10-Gig - это повышенная уязвимость к межкабельным наводкам (ANEXT), которые зачастую носят непредсказуемый характер. Наиболее надежный способ устранения этих проблем -использование экранированных СКС, которые дают большой запас по устойчивости.
«ЦОД - благоприятный объект для построения экранированных кабельных систем, поскольку он компактен и часто строится вместе с новым зданием», - сказал Сергей Логинов. При этом он обратил внимание собравшихся на отличие защитного заземления от телекоммуникационного. При использовании экранированной проводки для сетей 10-Gig необходимо именно телекоммуникационное заземление, которое подробно описано в стандарте EN 50174-2. Оно обеспечивает выравнивание напряжений между различными точками заземления и гарантирует контролируемый путь тока на землю без влияния на телекоммуникационные кабели.
На тех объектах, где нет возможности использовать заземление, для организации медножильной 10-гигабитовой среды, Сергей Логинов рекомендовал применять кабельную систему, построенную на основе технологии WARP. Суть этого решения компании R&M заключается в том, что в оболочку кабеля встраиваются изолированные отрезки фольги, создающие эффект виртуального экрана. Такую СКС не требуется заземлять, но при этом ее характеристики близки к характеристикам экранированных систем, т. е. с запасом гарантируют работу систем 10-Gig.
Обсуждение вопросов выбора кабельной системы для 10-гигабитовых сетевых решений продолжил в своем докладе Евгений Власов, менеджер по маркетингу и продажам компании Nexans. Он отметил, что ЦОД - это объект с большим временем «жизни», поэтому и СКС должна подбираться с учетом возможности долговременного использования, и наиболее перспективными здесь являются 10-гигабитовые системы. Также г-н Власов предупредил о том, что, хотя стандарт на протокол 10GBase-T (IEEE 802.3ae) был ратифицирован еще летом 2006 г., стандарты на кабельные системы (в виде приложений и дополнений к документам ISO/IEC 11801 и TIA/EIA 568B.2) до сих пор находятся на стадии доработки и утверждения. Дата их окончательной ратификации постоянно переносится и в последний раз была назначена на февраль 2008 г. Проблемы здесь связаны не столько с определением характеристик самой кабельной системы, сколько с рядом сопутствующих вещей, в том числе со спецификацией тестирования (наиболее уязвимое место).
Специалист компании Nexans раскрыл серьезные недостатки имеющихся на рынке неэкранированных кабельных продуктов для сетей 10-Gig. Большой диаметр соответствующих кабелей (для снижения межкабельных наводок разработчики стараются максимально разнести сердечники кабеля друг от друга) влечет за собой дополнительные затраты на кабельные трассы, а специальная организация кроссовых полей (10-гигабитовые порты располагаются в шахматном порядке) не позволяет строить системы высокой плотности. Для проверки же соответствия неэкранированной СКС требованиям, предъявляемым 10-гигабитовыми решениями, необходимы длительные и дорогостоящие тесты (одни только специальные насадки для измерительного оборудования стоят порядка 3,5-4 тыс. евро). По данным г-на Власова, тракты одной коммутационной панели на 24 порта придется тестировать 6-8 часов, а значит, на проверку всей кабельной системы ЦОДа могут уйти месяцы. При выборочном же тестировании можно пропустить важные тракты, что чревато серьезными отказами.
Применение экранированных СКС снимает практически все обозначенные выше проблемы, и потому компания Nexans рекомендует именно эти системы в качестве медножильных решений для 10-гигабитовых сетей. Что касается волоконно-оптических СКС, то здесь компания предлагает решения на основе многомодовых волокон OM3 (дальность работы протоколов 10G - до 300 м) и улучшенных волокон ОМ3 (дальность - до 450 м), а также на основе одномодовых волокон (дальность - свыше 450 м). Однако Евгений Власов отметил, что решение на многомодовом волокне (пассивный тракт плюс порты активного оборудования) стоит примерно в полтора раз ниже, чем на одномодовом, а поскольку для ЦОДов протяженности трактов 300-450 м вполне достаточно, то для этих объектов имеет смысл ориентироваться именно на многомодовые системы.
Как и Дмитрий Никулин из компании RiT, Евгений Власов отметил важность систем управления СКС (в Nexans их называют системами мониторинга физического уровня сети). Такая система LANsense имеется и в портфеле предложений Nexans. Как и подобные системы других производителей, она отслеживает полный тракт от оконечного оборудования до порта коммутатора, автоматически формирует документацию о состоянии сети и позволяет эффективно контролировать физический доступ к ней. Евгений Власов отметил возможность интеграции LANsense с другими системами ЦОДа, в частности, с системами контроля входа, видеонаблюдения, контроля состояния среды и т.п.
Без воды никуда?
Проблема отвода тепла от оборудования ЦОДов затрагивалась почти во всех докладах конференции, специально же этой проблеме был посвящен доклад Игоря Антина, менеджера по развитию бизнеса в Восточной Европе компании Knurr (входит в состав компании Emerson). Он отметил следующее: несмотря на то, что новые технологии позволяют уменьшить тепловыделение в расчете на единицу площади микросхем, стремление проектировщиков и владельцев ЦОДов поместить все больше активного оборудования в одну стойку способствует росту тепловыделения на стойку, и, по прогнозу IBM, уже через пару лет превысит 30 кВт.
Возможности традиционных схем воздушного охлаждения ограничены; по утверждению г-на Антина, они позволяют отводить от одной стойки лишь 3-5 кВт тепла. Установка дополнительных вентиляторов, усиливающих воздушный поток, и герметизация холодного коридора дают возможность увеличить съем тепла, но незначительно. Чтобы решить проблемы теплоотвода в современных высокоплотных решениях, по мнению специалистов Knurr, необходимо приблизить источник холода к источнику тепла, а также задействовать воду, теплопроводность которой в 3500 раз выше теплопроводности воздуха.
Разработанная Knurr охлаждаемая дверь CoolAdd, которую можно устанавливатькак на серверные шкафы самой Knurr, так и на шкафы других производителей, обеспечивает съем до 10 кВт тепла. Специализированный же серверный шкаф с водяным охлаждением CoolTerm способен отвести до 35 кВт от одной стойки. Подход своей компании Игорь Антин образно сформулировал так: «Невозможно создать ураган в комнате, поэтому мы создаем его внутри шкафа».
Разработчики серверов тоже стараются
Повышением эффективности электропитания и охлаждения озабочены, не только производители ИБП, кондиционеров и монтажных шкафов, но и разработчики основного оборудования ЦОДов, в первую очередь серверов. Об энергосберегающих подходах, реализованных в блейд-системах компании HP, рассказал Сергей Члек, руководитель направления HP BladeSystem. В частности, в его докладе речь шла о разработанной в рамках концепции «Адаптивная инфраструктура» системе HP BladeSystem c-Class, которую компания характеризуют как «модульный строительный блок для ЦОДов следующего поколения». В этой системе реализованы не только серверы, системы хранения и коммутаторы, но и средства для их эффективного электропитания и охлаждения.
В системе HP BladeSystem c-Class реализован целый набор энергосберегающих технологий, получивший название Thermal Logic. Одна из ключевых составляющих Thermal Logic - режим динамической регулировки энергопотребления. В традиционных системах с несколькими блоками питания (для резервирования) нагрузка распределяется между ними равномерно, при этом уровень их загрузки невысок, невысок и КПД. Разработчики HP учли тот факт, что, чем выше уровень загрузки блоков питания, тем выше их КПД, и по-иному построили работу системы из шести блоков питания аппарата HP BladeSystem c-Class: каждый блок мощностью 2,4 кВт нагружается максимально возможно (остальные находятся в режиме «горячего» резерва), и только при возрастании потребляемой мощности до установленного предела подключается следующий блок. По словам Сергея Члека, экономия при этом достигает до 350 Вт на блок питания.
При проектировании систем электропитания всегда очень сложно заранее определить потребляемую мощность. Проектировщики исходят из паспортных данных устройств, однако в реальности потребляемая ими мощность оказывается часто меньше, что приводит к необоснованному расходу средств на систему электропитания повышенной мощности. Специалисты HP постарались сделать свои системы максимально предсказуемыми с точки зрения энергопотребления и охлаждения. ПО HP Insight Control Power Management позволяет точно рассчитать энергопотребление (+-3%). Кроме того, системы HP поддерживают режим Power Capping (ограничение сверху): для каждой блейд-системы можно задать уровень энергопотрбеления, который ни при каких условиях не будет превышен. При необходимости тактовая частота процессоров будет снижена (а значит, снижена и производительность), но энергопотребление останется в установленных пределах.
Отметим и еще один компонент Thermal Logic - архитектуру PARSEC (параллельное, отказоустойчивое и масштабируемое охлаждение полки). Эта архитектура сочетает в себе преимущества местного и центрального охлаждения. Блейды устанавливаются в четырех зонах, и вентиляторы (всего их 10) в каждой зоне обеспечивают охлаждение блейдов своей зоны и резервное охлаждение других блейдов. Сами вентиляторы Active Cool, защищенные 20 патентами, построены по принципу авиационной турбины. Создавая сверхмощный воздушный поток, они при этом имеют низкие шумовые характеристики во всем рабочем диапазоне. По заверению Сергея Члека, один такой вентилятор способен заменить все вентиляторы пяти серверов традиционной конструкции.
Учиться и учиться
ЦОД - очень сложный объект, состоящий из большого числа подсистем. Выбор и инсталляция каждой из них, безусловно, очень важны, но куда важнее (и сложнее) интегрировать различные подсистемы в единую хорошо управляемую систему. Об этом говорил на конференции Валерий Суханов, руководитель отдела рекламы и PR компании «НойХаус Групп». Эта компания занимается построением ЦОДов, начиная с 2000 г., и за ее плечами проекты по созданию ЦОДов М1, «Комкор ТВ», Института космических исследований, ИВЦ МПС РФ, ГИВЦ ГМК «Норильский никель» и др.
Валерий Суханов отметил, что очень важным этапом создания ЦОДов является инженерная экспертиза объектов, которая позволяет определить, подходит ли в принципе здание для размещения ЦОДа. Кроме того, он рассказал о том, что, начав строить ЦОДы, компания «НойХаус Групп» столкнулась со сложностями обеспечения резервного электропитания в черте города. Это подтолкнуло ее к созданию собственного производства агрегатов бесперебойного питания, автоматизированных контейнеров и контейнеров-прицепов, шумозащитных кожухов и топливных баков большой емкости. Предлагаемые компанией контейнеры с дизельными и газовыми генераторами могут быть установлены не только на крыше, но и во дворе здания (мощные установки часто невозможно установить и эксплуатировать внутри здания).
Следует также отметить предлагаемые компанией «НойХаус Групп» полностью мобильные ЦОДы. Решение состоит из трех контейнеров: в первом размещается от 8 до 10 монтажных стоек (кондиционер может находиться как внутри контейнера, так и снаружи), во втором - дизель-генераторная установка, в третьем - ИБП и щитовое оборудование (возможна установка ИБП вместе со стойками в одном контейнере). Это решение, особенно популярное у операторов сотовой связи, можно размещать в неблагоприятных условиях, оно просто монтируется и масштабируется.
Александр Мартынюк, президент Некоммерческого партнерства «АСЦОД», поделился с участниками конференции своими впечатлениями от тех ЦОДов, на которых ему довелось побывать за последние несколько лет, а это, по его словам, сотня ЦОДов в России и полтора десятка объектов за рубежом. Он подчеркнул тот факт, что подходы к построению ЦОДов «у нас и у них» сильно отличаются. «За редким исключением никто в США и Европе не строит ЦОДы в штаб-квартирах компаний, не говоря уже о последних этажах зданий в самой дорогостоящей части города, что у нас принято и даже модно», - сказал он. За границей не экономят на площади технических помещениях - главное, чтобы было удобно обслуживать оборудование.
Одними из основных задач сегодня являются повышение КПД работы всех используемых в ЦОДах систем и максимальное использование энергосберегающих технологий. Что же касается вопросов охлаждения оборудования, то г-н Мартынюк опроверг распространенное мнение, что при мощности стойки выше 6-8 кВт обязательна установка локальных систем охлаждения (как правило, с использованием воды). Он привел пример ЦОДа, построенного в 2006 г. компанией Intel, в котором система воздушного охлаждения позволяет снимать 15 кВт тепла со стойки (всего в этом ЦОДе 400 стоек с оборудованием). Более того, сейчас Intel реализует проект ЦОДа, в котором будет отводиться по 30 кВт от стойки - без применения каких-либо локальных систем охлаждения.
По мнению Александра Мартынюка, не существует одного подрядчика, который мог бы должным образом реализовать все системы на таком сложном объекте, как ЦОД. За границей к проекту по строительству ЦОДов привлекается множество подрядчиков - он привел пример крупного ЦОДа (площадью 20 тыс кв. м), который 450 подрядчиков строили в течение пяти месяцев. Координацией деятельности подрядчиков занимаются специальные управляющие компании. Из выступления Александра Мартынюка можно сделать следующие выводы: все технические решения, которые есть за рубежом, нам тоже доступны; информация по проектным решениям тоже имеется; стоимость ЦОДов «там и здесь» примерно одинаковая, однако качество исполнения работ за границей несоизмеримо выше. «Вы должны требовать, чтобы за ваши деньги вам сделали не то, что смогли, а то, вы изначально хотели получить», - обратился он к заказчикам.
Компания «Строй-ТК» проведет проектирование и монтаж ЦОД для Вашей организации.
Ознакомиться с нашими услугами по проектированию, строительству, эксплуатации ЦОД Вы можете здесь.
