Два блока питания в сервере как работают
У меня есть несколько серверов из линейки HP DL360 (поколения 5-8). На каждом из этих серверов установлены два блока питания. 2 блока питания на каждом сервере питаются от разных цепей.
Мой вопрос заключается в том, будет ли энергопотребление примерно сбалансировано между этими двумя цепями, или серверы считают один источник питания «основным», а другой - «резервным» с меньшим потреблением энергии?
Помните, что на практике вам придется спроектировать обе ваши схемы достаточно прочно, чтобы выдерживать полную нагрузку на случай, если другая цепь выйдет из строя, или вы пропустите весь смысл резервных источников питания. Так что я не совсем понимаю, есть ли какое-либо решение, которое зависит от ответа на этот вопрос.
@GuntramBlohm Существуют ситуации, когда мощность ограничена в месте совместного размещения, или случаи, когда необходимо вручную сбалансировать распределение мощности по каналам PDU. Серверы, которые использует OP, позволяют вам прикрепить конкретный блок питания в качестве основного через BIOS.
Кроме того, иногда избыточность источника питания больше связана с сохранением подключенного устройства, чем угроза потери мощности на объекте. Это еще одна ситуация, когда дизайн для полностью избыточных уровней нагрузки может не потребоваться.
Я собираюсь дать здесь конкретный ответ для HP Proliant, поскольку ОП задает вопрос о линейке продуктов HP.
Давайте рассмотрим пример HP DL360p Gen8 (также относится к серверам G6, G7 и Gen9):
У вас есть возможность настроить режим резервного питания в программе установки HP Rom (нажмите F9 при загрузке) с помощью:
- Сбалансированный режим
- Режим высокой эффективности
Из двух основных параметров в режиме высокой эффективности есть некоторая степень детализации:
- Режим высокой эффективности обеспечивает наиболее энергоэффективную работу с резервными источниками питания, поскольку один источник питания находится в режиме ожидания при более низких уровнях энергопотребления.
- Сбалансированный режим распределяет мощность в равной степени между двумя источниками питания.
- Кроме того, режим «Авто» выбирает один или другой блок питания в качестве основного, в зависимости от серийного номера. Это способ рандомизировать распределение в ситуации центра обработки данных с несколькими серверами.
- Также см .: Максимальное использование обоих PDU в стойке с резервным питанием.
Пример сбалансированного режима на занятом сервере:
Пример режима высокой эффективности на незанятом сервере:
Пример режима высокой эффективности на занятом сервере:
Подробное описание относительной эффективности одного блока питания, блоков питания с балансировкой нагрузки и режима высокой эффективности на источнике питания 750 Вт.
Почему бы вам никогда не использовать режим высокой эффективности? Какие преимущества дает сбалансированный?
@ Oli Показания от двух разных нагрузок. Выход в сбалансированном режиме был от невероятно загруженной системы, загруженной картами PCIe. В Высокие эффективности чтения были , чтобы проиллюстрировать , что один блок питания поддерживается на уровне номинальной стоимости , независимо от нагрузки.
Справедливо, но, учитывая, что большинство блоков питания работают наиболее эффективно при ближайших номинальных нагрузках, зачем вам баланс? Работа при
Блоки питания в примерах 750 Вт. Они никогда не приближаются к показателям номинальной нагрузки. Ты прав насчет выбора. Сбалансированный является значением по умолчанию, поэтому я предполагаю, что именно поэтому люди используют его. Я, как правило, предпочитаю режим высокой эффективности, потому что он . ну, более эффективный .
@ Оли, по моему опыту, максимальная эффективность обычно составляет около 50% от номинальной нагрузки, поэтому балансировка хороша, если вы постоянно приближаетесь к 100% мощности одного блока питания. Высокоэффективный режим - это, по сути, активное / пассивное аварийное переключение, которое является выигрышем, если вы ближе к 50% емкости одного блока питания, чем к 100%. Кривая выше для двойного 750W подтверждает это.
Если вы входите в настройку (F10), вы можете выбрать режим управления питанием, и обычно есть несколько вариантов, включая предлагаемые варианты активного / пассивного режима, а также сбалансированный режим. Я покупаю лезвия, а ты делаешь это на уровне корпуса лезвия, и кажется, что есть больше вариантов, но это зависит от сути :)
Каждый сервер отличается. Некоторые автоматически балансируют между двумя, а некоторые используют первичный блок питания исключительно до тех пор, пока он не выйдет из строя, а затем переключаются на вторичный блок питания. В большинстве случаев есть опция bios для настройки того, как сервер обрабатывает блоки питания. Если по какой-то причине у вас нет такой опции, вы можете узнать об этом, поместив амперметр с зажимом на каждый силовой кабель и измерив потребление тока.
Хочется посадить его на 2 бесперебойника. Собственно вопрос простой - он будет жрать с обоих одновременно или какой-то из БП у него основной, а другой резервный? Если да - как узнать ху-из-ху?
Т.к. тема является архивной.
обычно если два питателя, то один типа основной, а второй резерв. при выходе из строя основного в работу вступает резервный. питание подается на оба сразу, но один (резервный) находится в дежурном режиме.
Т.к. тема является архивной.
А нахрена такая схема? Бп там в резерве один
Узнать какой - не узнаешь - он периодически может переключаться
Стандартно втыкают оба провода в один ибп
Т.к. тема является архивной.
Т.к. тема является архивной.
Т.к. тема является архивной.
Если вставлено 2 или больше БП, то сервер питается от всех понемногу.
Если делать по-правильному, то каждый БП сажается на свой ИБП.
Т.к. тема является архивной.
Т.к. тема является архивной.
Больше скажу.. У меня сервера с двумя БП типа ASUS RS720 если поключить оба БП к одному бесперебойнику то при переходе на питание с него, UPS APC 1500 не выдерживает и ребутит сервер. Если же по схеме два ИБП + 2 Сервера подключены к разным. Тогда все ОК ))) Питатели каждый по 700 ватт.
Т.к. тема является архивной.
У тебя какой-то хилый упс. У меня сервак с 2мя бп через обычный блок розеток в стоечный упс воткнут, проблем нет. Может не стоит городить колхоз из кучи маломощных упсов, коль есть задача резервирования питания?
В идеале 2 линии питания и авр перед серваком. Но стоит это добро - будь здоров.
Т.к. тема является архивной.
Ну уж SUA1500RMI2U и SMT1500RMI2U я бы не назвал дохлыми.. Воткнуто прямо в ИБП. Я еще раз повторю, если один сервер в один ИБП втыкаешь то ИБП не может нормально переключится. Если в один ИБП два таких сервера и еще чего нибудь то проблем нет.. Дело не в мощах. Хотя на производстве 4х корзиный сервер воткнут в один ИБП и проблем нет. А эти в 12-14 корзинами, двумя процессорами и прочим никак вот.
Да и колхоза нет.. Там где два-три сервера то нет смысла городить такое. Проще один в ИБП, второй в сеть прямо.
Т.к. тема является архивной.
durashki писал(а)
если поключить оба БП к одному бесперебойнику то при переходе на питание с него, UPS APC 1500 не выдерживает и ребутит сервер.
Тебя не поймёшь. То про 2 бп одного сервака говорил, то теперь у тебя уже 2 сервака.
Проще и надёжнее я уже описал как - 2 разных линии питания и авр. Остальное - колхоз а-ля туалетный хостинг, а не для серьёзных проектов.
Т.к. тема является архивной.
Т.к. тема является архивной.
Вот именно поэтомому я и написал, что хилый у тебя упс, раз не вывозит один сервак. Неправильно подобрано оборудования.
Т.к. тема является архивной.
Бред пишите.. Он выдерживает и два сервера.. Читайте ВНИМАТЕЛЬНО. У него скорее всего какая то защита срабатывает в момент включения в одном сервере сразу двух БП. А если подключить к такому ИБП два сервера и еще полку например с 12 дисками, то все отлично.. Знаешь почему?
Т.к. тема является архивной.
Понял тебя. Объясняешь так, что фиг поймёшь.
Один сервак, 2 бп в один упс APC, проблем не встречал. С иппонами тоже нет проблем. Почему у тебя конкретно так - хз.
Т.к. тема является архивной.
Ну я Могу )))) Башка сейчас другими видами работ, ремонтными занята, а не компьютерными.
У меня АРС и бесперебойников таких в стойке 6 штук.. Как ни пробовал, все так себя ведут. Да и смысла не вижу втыкать два БП в один ))) Уж лучше один напрямую в электросеть.
Т.к. тема является архивной.
В условиях 2-3 серверов и 2 ИБШек по 1,5-шке, получится, что при выходе из строя одного ИБП все серваки начнут жрать с другого, а он и секунд 15 так не протянет. Отсюда вывод - резервирования по питанию в таких случаях нет никакого.
На 2-3 сервера нужно 2 ИБП на 3 киловатта, чтобы по отдельности они могли протащить все серваки. Соответственно, на каждом серваке по 2 блока (у меня такая схема по филиалам организована + у меня ещё всё на виртуалках и хосты их меж собой реплицируют, но это уже лирика)
Т.к. тема является архивной.
Все очень просто. Я такая схема на самом деле только для одного - ИБП делает нормальным питание и корректно выключают сам сервер. У меня в производстве заводы с таким питанием что ОГОГО. Если оставляешь подключение прямо в разетку, то блоки питания от свичей до серверов живут год-два. По этому и так нормально на самом деле. Все живет уже так 5 лет ))) На набережной у кока-коллы у меня ИБП переходят в режимы от батареи раза два в день. Хотя у меня на производствах нет таких серверов больших. С двумя бп, но мелкие.
Как рассчитать, каких БП достаточно для обеспечения непрерывной работы сервера? Ответ не настолько прямолинеен, как казалось бы. Посчитать максимальное энергопотребление всех компонентов и обеспечить выдачу требуемой мощности от одного БП, а затем для избыточности установить в сервер два таких блока питания — вот традиционный подход. Однако благодаря технологии PowerSafeguard в большинстве случаев можно обойтись блоками питания с меньшим номиналом, чем требуется по результатам такого рассчета, и при этом быть уверенным за работоспособность сервера.
PowerSafeguard – это это технология, обеспечивающая автоматическое регулирование энергопотребления сервера для поддержания непрерывной работы в случае выхода из строя части блоков питания, если мощности оставшихся БП окажется недостаточно для полноценной нагрузки. Эту технологию компания Fujitsu уже некоторое время предлагает в своих серверах RX200 S7, RX300 S7, RX350 S7, TX300 S7. Все эти серверы используют стандартизованные БП двух типов — мощностью 450 Вт или 800 Вт.
PowerSafeguard позволяет эксплуатировать сервер на источниках питания 450 Вт и обеспечивать непрерывность работы при выходе одного из БП из строя, даже в том случае, если пиковое энергопотребление данной конфигурации теоретически может превосходить 450 Вт (допустимое превышение пиковой нагрузки над номиналом БП составляет 30%, то есть конфигурации с теоретическим пиковым энергопотреблением до 585 ватт смогут работать на БП 450 Вт).
В ситуациях, когда реальное энергопотребление системы оказывается на грани возможностей блока питания, технология PowerSafeguard снижает p-state (соответственно тактовые частоты ядер процессоров), обеспечивая общее энергопотребление системы в пределах мощности одного блока питания. Непрерывность работы сервера гарантирована, хотя в некоторые периоды времени будет снижена производительность системы.
Пояснить суть технологии удобно на примере. Возьмем сервер PRIMERGY RX300 S7. Пусть у него будет достаточно насыщенная конфигурация – два процессора Xeon E5-2680, 24x4 = 96ГБ памяти, 8 дисков SAS, PCIe-SSD на 1.2TB, RAID 5/6 c FBU, контроллер FibreChannel и пишущий BlueRay привод.
Пиковое энергопотребление этой системы можно проверить по функции PowerCalculator в конфигураторе Fujitsu. Смотрим нагрузку на БП, то есть DC-load.
При максимальной загрузке сервера это будет 524.8 Вт. Из двух возможных вариантов блоков питания (450 Вт и 800 Вт) возникает желание поставить второй. Однако мы поставим 2х 450 Вт. Естественно, два таких БП полноценно тянут нагрузку, работая при этом в сбалансированном режиме. Что произойдет в случае перегорания одного из них?
Надо отметить, что энергопотребление сервера не является величиной постоянной, а варьируется в зависимости от загрузки сервера (спасибо гибкости платформы Xeon E5 от Intel, включая технологию TurboBoost 2.0). График потребляемой мощности по времени будет выглядеть, как волнистая линия.
Как показывает тот же PowerCalculator, при весьма типичном уровне загрузки сервера 70% — он потребляет не более 378 Вт!
То есть в большинстве случаев даже насыщенно сконфигурированный сервер прекрасно продолжит работать на одном 450-ваттном блоке питания. Однако там, где у нас при двух блоках питания были бы пики энергопотребления – сработает PowerSafeguard. Через встроенный чип управления сервером (iRMC) p-state процессоров будет снижен до минимального, и затем будет повышаться до того момента, пока энергопотребление не «упрется» в лимит блока питания, либо пока не окажется, что ограничивать процессор не требуется – так как при снижении загрузки сервера этот лимит окажется соблюденным без вмешательства технологии PowerSafeguard.
Таким образом, при работе в «аварийном» режиме (на одном блоке питания, до восстановления работоспособности второго) снижение производительности будет наблюдаться лишь в течение определенных отрезков времени. При этом в случае типичной для серверов загрузки около 70% будет доступна полная производительность. Срезаются только «всплески» графика.
Естественно, для конкретной конфигурации лучше проверить параметры энергопотребления при разных загрузках с помощью калькулятора. Но хотелось бы отметить, что для примера взята действительно «хищная» по энергопотреблению конфигурация, и большинство наиболее ходовых конфигураций сервера такого типа даже в пиковых ситуациях потребляют меньше 450 Вт. Так что использование 450-ваттных БП вместо 800-ваттных оправдано. Помимо цены добавлю еще довод: блоки питания имеют наибольшую энергоэффективность при высокой степени нагрузки, поэтому с точки зрения энергоэффективности блок питания 450 Вт, работающий с нагрузкой более 60% — лучше, чем выдающий ту же мощность БП 800 Вт, загруженный на 34%.
Когда я впервые увидел такую надпись при опросе версий прошивок HP DL380, то был несколько обескуражен. Эм, ну ладно, если очень нужно – скачай и поставь. Но что за софт может быть в банальном блоке питания? Оказалось, что для диагностики местной системы жизнеобеспечения и обработки отказов по питанию. Там натуральный кластер из блоков питания, со своим арбитром и логикой. Под катом рассказ об устройстве такого "кластера" и о том, почему 2 x 1400 = 2300W.
Два блока питания – в два раза выше надежность? Не всегда, потому что зависит от настроек системы электропитания. Вот о ней подробнее и поговорим. В качестве предметов рассказа я выбрал оборудование среднего серверного класса, вроде такого:
То есть, не блейды и не мейнфреймы – у них все иначе устроено. Обратите внимание, форм-фактор сервера не имеет значения для наличия или отсутствия дополнительных блоков питания.
Начнем с ответа на вопрос "зачем сколько БП, если можно просто хранить небольшой запас запчастей". Системы с резервированием в сервере всегда полезны, даже если не рассматривать отказоустойчивость. Например, они повышают удобство обслуживания и позволяют нам не ночевать в серверной при замене дисков или тех же блоков питания.
Например, второй блок питания поможет, если:
Выйдет из строя ИБП;
Дорожные рабочие найдут месторождение электричества;
Возникнет необходимость переноса сервера в другую стойку;
Два блока питания дают больше гибкости при проектировании серверной комнаты. Например, рабочая схема подключения у одного клиента: в серверной две фазы, подключены к разным блокам питания серверов. Одна фаза подключена к UPS, а вторая работает только через стабилизаторы. Но эта линия идет от генератора с автозапуском. При отключении электричества дизель стартует и серверы продолжают работать, даже если UPS разрядятся. Это всего лишь один из вариантов, подобранный с учетом пожеланий клиента и возможностей бюджета.
Итого, несколько БП нужны для удобства администратора, повышения надежности системы и обеспечения большей мощности.
Простейший вариант систем с двумя блоками питания выглядит как запитывание отдельных комплектующих компьютера от разных блоков, при этом один из них управляющий и питает материнскую плату. Подобные решения практикуют геймеры и майнеры, потому что для установки трех и более видеокарт одного источника питания не хватит. Для подключения используют такие адаптеры:
При нажатии на Power замыкаются зеленый сигнальный провод с "землей", давая команду на запуск обоим блокам питания.
Помню, когда-то давно был у меня компьютер уровня Pentium III с набором SCSI дисков. Штатного блока питания перестало хватать, и я подключил старый АТ-блок отдельно для жестких дисков. Запуск чудо-машины происходил так: нажимаем на кнопку дополнительного питания и ждем жужжания дисков, затем включаем основной БП и начинается загрузка.
Даже в эпоху всепроникающего Китая для "самоделкиных" существует множество схем подключения двух блоков питания своими руками, чтобы получилась похожая конфигурация:
Но вернемся к промышленным серверным решениям.
Устройство питания по своей логике довольно простое. Блоки подключаются к специальной корзине Power Distribution Backplane, где также присутствует микроконтроллер Power Distribution Unit (не путайте с распределителем питания для серверной стойки). Контроллер отвечает за схему использования доступных БП: одновременно или в режиме primary-backup.
Столь продвинутую подсистему питания можно настраивать под конкретные потребности. При использования сервера с двумя блоками питания доступно несколько режимов работы:
Резервирование, при котором один блок питания нагружен постоянно, а второй готов подхватить нагрузку в случае сбоя;
Очень напоминает RAID – его отказоустойчивый уровень 1 и производительный 0.
Большинство производителей позволяют администратору выбрать необходимый режим. Например, в таком сервере HP настройка через BIOS выглядит следующим образом:
Изображение немного устарело, так как в новых системах используется настройка через iLO, но для понимания сути ее достаточно.
Посмотрим на выдаваемую мощность пары блоков питания HP DL360 при разных режимах настройки и небольшой нагрузке. Для этого используем консольную утилиту hpasmcli.
Не обманул производитель, блоки питания выдают примерно одинаковую мощность.
И правда, при использовании режима распределения нагрузки блоки нагружены примерно одинаково. Но при включении отказоустойчивости используется только один блок питания, а второй переводится в Standby и расходует минимум энергии.
Своеобразный "спящий режим" нужен для того, чтобы избежать холодного старта при подключении резервного БП, сэкономить время и минимизировать риски выхода блока питания из строя в процессе его активизации. Как и в случае с бытовыми лампочками, при любом холодном включении образуются пиковые нагрузки на элементную базу электроцепи, что может привести к ее порче.
Настройка режимов работы у каждого производителя выполняется по-своему. Например, у Lenovo (IBM) в системах с двумя блоками питания настройка через GUI выглядит следующим образом:
На выбор предлагаются три режима работы:
Отказоустойчивость без снижения энергопотребления – вернемся к нему позже;
Отказоустойчивость с понижением мощности;
Generic-серверы, вроде Intel и Supermicro, не всегда хорошо документированы и открытой информации о настройках режимов работы БП не оказалось. Пришлось обратиться к нашим инженерам и форумам. Оказалось, что подобные системы обычно работают они в режиме балансировки нагрузки.
Если вы плотно работали с подобными платформами и владеете другой информацией – поделитесь в комментариях, пожалуйста.
Еще интереснее обстоят дела с системами из трех и более БП.
Как и в аналогии с RAID, большее число узлов открывает более изощренные схемы использования. Например, у сервера Supermicro с тремя блоками штатно используется режим работы 2+1, то есть работают одновременно два, а третий в резерве.
В случае с четырьмя БП в Lenovo можно настроить использование блоков питания более гибко. Интерфейс даже считает показатели мощности самостоятельно:
С точки зрения баланса производительности и надежности, подобные конфигурации из 4 БП оправданы только при использовании "прожорливых" комплектующих. В остальных случаях запас по мощности будет избыточным, а удобство и запас надежности обеспечивают 2 блока питания с разными подводами электричества.
На мой взгляд, в таких платформах интереснее вместо третьего и четвертого БП поставить резервные батареи (примеры для Supermicro и HP). Они подстрахуют от проблем с UPS и минут на 5 повысят время работы без электричества в сети. Кроме того, с подобными модулями удобнее заниматься обслуживанием железа: выдернул кабель – и спокойно перенес сервер в другой шкаф. Время работы сервера от встроенной батареи составляет около пяти минут.
Опыт инженеров Сервер Молл показывает, что блоки питания на втором месте по выходу из строя, после жестких дисков. По крайней мере, в ходе восстановления серверов эти компоненты часто меняются из-за применения в их конструкции электролитических конденсаторов.
Если к сбоям дисковой подсистемы мы привыкли и держим запасной диск наготове, то замена для системы питания встречается на полках ЗИП реже. Ситуацию в какой-то степени спасает гарантия и возможность получить замену отказавшего БП через пару дней с курьером, но Закон Мерфи со счетов сбрасывать не стоит. В моей практике был случай, когда во время ожидания замены отказавшего БП вышел из строя оставшийся. Хорошо, что на сервере ничего жизненно-важного не было.
Если оставить в стороне надежность, то остается вопрос с мощностью. Как правило, лучше взять сразу два блока питания, каждый с достаточным запасом выходной мощности. Но если бюджет таких вольностей не позволяет, то придется взвешивать потребности более детально и учитывать проседания мощности источников питания. Обратимся к руководству от HP, в котором представлен график КПД системы питания в разных конфигурациях:
В случае низкой нагрузки машины КПД одного блока питания выше, но картина меняется, если у нас высоконагруженный сервер.
Что же будет, если один из блоков питания выйдет из строя, а мощности оставшегося не хватит?
У многих вендоров предусмотрен механизм снижения энергопотребления на случай сбоя – PowerSafe Guard у Fujitsu, Throttling у Lenovo. Использование подобных механизмов не всегда спасает ситуацию, да и существенное падение производительности порой хуже простоя.
Есть еще один нюанс: возрастает нагрузка на второй блок питания, что повышает вероятность его выхода из строя. Лучше исходить из того, что один блок питания из пары должен обеспечивать сервер целиком, хотя бы при штатных нагрузках. Разница в стоимости блоков питания разной мощности не так уж велика, поэтому стоит выбирать более производительные модели. Например, вот цены на варианты от Supermicro:
Блок питания PWS-406P-1R на 400 Ватт стоит в среднем 12 000 ₽;
Цены взяты с Яндекс маркета, так что в реальности они могут быть даже ниже. Экономия 4 000 ₽ в ущерб отказоустойчивости выглядит так себе даже для небольшого сервера.
Современный блок питания содержит набор диагностических механизмов для контроля внутренней системы охлаждения, напряжения, силы тока и массы внутренних состояний.
Помимо автоматического отключения при перегреве, полезно иметь возможность подключить к централизованному мониторингу показатели работы подсистемы питания. Например, с их помощью можно прогнозировать выход из строя определенного БП или выявить нестабильный подвод электричества. Все это обеспечивают микроконтроллеры, внутреннюю логику которых производитель периодически совершенствует в новых обновлениях.
При всех описанных преимуществах, у решений с несколькими блоками питания есть и отрицательные стороны:
Необходимость покупать более дорогие проприетарные блоки питания. Как правило, они должны быть одинаковыми, что может вызвать проблемы с заменой для очень старых серверов;
Узким местом становится управляющий блоками питания контроллер и плата, к которой они подключаются (Power Distribution Backplane);
При малой нагрузке больший расход электроэнергии, как следствие специфического алгоритма использования;
Если у вас есть собственный негативный опыт работы с конфигурациями из нескольких блоков питания – было бы интересно почитать в комментариях.
В завершение приведу несколько полезных ссылок на калькуляторы мощности популярных вендоров:
Если вам тоже лень оценивать мощность при выборе очередного нового сервера, то эти инструменты помогут при расчете как мощности блоков питания, так и энергопотребления всего ЦОД.
Продолжаем статью, цель которой — поделиться опытом и показать ключевые особенности и частые ошибки возникающие при проектировании и организации подсистем электроснабжения ИТ-инфраструктуры и ЦОД в целом. Но хотелось бы немного расширить аудиторию и посвятить несколько разделов базовым элементам обеспечения электробезопасности и защиты оборудования и людей.
Тем, кто пропустил первую часть или хочет вспомнить первую часть можно пройти сюда.
Для тех кто понимает, что такое автомат и УЗО, для чего они необходимы, что и от чего защищают – переходите к разделу Нужны ли УЗО для IT-оборудования, серверной, ЦОДа?.
Часть вторая
Посмотрим какая взаимосвязь между энергетикой и конечным ИТ-оборудованием, будем разбираться в вопросе- в каких случаях перебоев в сети питания операционная система гарантированно должна работать без сбоев.
Вопросы переключения на резервный источник питания
Электроснабжение информационного оборудования организовывается с резервированием. Рассмотрим организацию электроснабжения в части ЩБП-БРП-БП (щит бесперебойного питания-блок распределения питания- блок питания). Типы резервирования бывают следующих типов:
- Резервирование кабелей к стойке, оборудованию, с использованием отдельных блоков распределения питания, БРП (рисунок 1)
- Резервирование шин питания в щите электроснабжения, с использованием отдельных блоков распределения питания, БРП (рисунок 2)
Для переключения между основным и резервным вводом могут использоваться:
- в сфере информационных систем: шкафы АВР/STS (Static Transfer Swith) для систем большой мощности, для перехода на питание от резервного ИБП в момент работы полноценной системы 2N или комбинаций систем N+1;
- в сфере систем электроснабжения различного вида схемы АВР (на контакторах, на контроллерах);
- на уровне серверной стойки: автоматические быстродействующие стоечные АВР\ATS (Automatic Transfer Switсh);
- на уровне конкретного информационного оборудование: дублированные блоки питания.
Заказчик внедряет локальную серверную вместе с IT-инфраструктурой двух этажей под офис фирмы. На этапе обсуждения системы электропитания у него возникает желание поставить все информационное оборудование с одним блоком питания (БП), а второй слот под БП серверов оставить свободным, и на всю стойку смонтировать единый ATS стоечного исполнения. (рис.4, схема).
Внешний вид тыльной стороны сервера с дублированными блоками питания
Как Заказчик аргументировал свое желание:
- Экономия средств ($500-800 с каждого устройства в стойке)
- Можно поставить два простейших БРП и применить их уже для распределения питания после ATS
- Абсолютно аналогичный уровень надежности системы, по сравнению с классическим способом распределения
- стоимости (экономии) капитальных затрат при внедрении (CAPEX)
- стоимости затрат на амортизацию, содержание ЗИП, трудозатрат персонала клиента (OPEX)
- сравнения алгоритмов работы и времени переключения на резервную линию в обоих вариантах, проверка на «единые точки отказа»
- уровня рисков зависания и/или перезагрузки операционных систем информационного оборудования, падения информационных сервисов, которые на них работают.
Согласно нормативной базе ГОСТ 32144-2013 (Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электроэнергии в сетях общего назначения. Дата введения – 1 июля 2014 года), основной причиной сбоев в работе информационного оборудования могут стать провалы напряжения, которые
обычно происходят из-за неисправностей в электрических сетях или в электроустановках потребителей, а также при подключении мощной нагрузки
Эта фраза говорит нам, что информационное оборудование должно обеспечиваться ИБП и/или быстродействующими АВР, так как провалы напряжения подобной длительности являются допустимыми и нормальными с точки зрения большой энергетики, но будут являться фатальными для ИТ-оборудования и сервисов.
В последние годы государственные стандарты в области измерений параметров электрической энергии, относящихся к КЭ, активно развивались и были неоднократно переработаны
"
Важным изменением стала замена ГОСТ 13109-97 «Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электрической энергии в системах электроснабжения общего назначения» [16] на ГОСТ 32144-2013. Данные стандарты определяют различную номенклатуру показателей качества электроэнергии.
А вот насколько быстродействующим? Как определить то время в миллисекундах, за которое сервис (и сервер) заказчика не упадет, а операционная система не уйдет в «critical error»?
Существует стандарт CBEMA (Computer and Business Equipment Manufacturers Association), который после некоторых корректировок ныне известен как «кривые ITIC» (Information Technology Industry Council), а ее варианты включены в стандарты IEEE 446 ANSI. Согласно этим нормативам, электронные схемы блоков питания должны сохранять работоспособность в течение 20 мс (или 0,02 секунды, то есть период).
Те самые кривые ITIC
Согласно требованиям к блокам питания серверных и компьютерных систем Server System Infrastructure можем сказать, что параметр блока питания Tvout_holdup во время провала напряжения питающей сети обеспечивает работу информационного оборудования минимум 21 мсек. То есть, полный период сети – это гарантированное время нормальной работы сервера или коммутатора. Параметр Tpwok_holdup определен минимально 20мсек.
Справка: Hold-up time (время удержания) — это временной промежуток, в течение которого блок питания может поддерживать выходные напряжения в определенных пределах после пропадания на его входе питающего напряжения. В большинстве компьютерных блоков питания Hold-up time характеризует еще и через какой промежуток времени power good сигнал (PWR_OK) скажет системе, что напряжения, вырабатываемые блоком питания, нестабильны (для компьютерных блоков питания этот параметр обычно более 16 мс).
Вот одна из таблиц из документа
А это диаграмма (time-line) с регламентируемыми алгоритмами работы БП
Можем сделать вывод, что время переключения на резервный ввод для стоечного переключателя нагрузки соответствует спецификации работы блока питания серверного оборудования. Получается, что сбоев в работе информационного оборудования не будет.
А что у нас с экономической составляющей и какой из вариантов более выгоден и отказоустойчив?
Предположим, у нас в стойке имеются три небольших сервера, в которые можно поставить по два блока питания и три устройства с недублированными блоками питания. Все критически важны и отказ любого из устройств выведет в отказ всю систему заказчика в целом. Стоечный переключатель нагрузки нам в любом случае понадобится. Это порядка 18 тыс. рублей.
Заказчик заявляет, что PDU (БРП) им не нужны, значит, в бюджете будет лишь стоимость ATS – те же 18 тыс. рублей. В качестве замены блокам распределения питания (PDU) Заказчик предлагает использовать распределение питания «на борту» стоечного переключателя нагрузки. Также Заказчик планирует купить сервера с двумя слотами под блоки питания, но в комплектации с одним БП ради экономии. (рисунок 4)
Классический вариант (рисунок 3) предполагает комплект из 2-х PDU – около 32 000 рублей, 3 дополнительных блока питания в серверы по $500 каждый за 84 тыс. рублей итого. ATS за те же 18 тыс. рублей. Сложив все, мы понимаем, что классическое решение обойдется Заказчику примерно в 134 тыс. рублей.
Вроде бы действительно, Заказчик прав, деньги совершенно другие. Но давайте посмотрим с точки зрения отказоустойчивости и удобства обслуживания обоих вариантов:
Вариант заказчика: Единая точка отказа – стоечный переключатель нагрузки. Если с ним что-то случится, то мы теряем всю стойку целиком. Значит, надо иметь ЗИП прямо на площадке, что прибавляет к смете 18 000 рублей. Блоки питания в серверах стоят по одному, они тоже являются точками отказа. Значит, желательно иметь хотя бы один, а лучше все три блока питания в резерве на площадке. Примем, что нужны три БП в ЗИП – это еще плюс 36 тыс. рублей. Нужно проверять мощность, которую может коммутировать стоечный ATS. Cейчас мы исходим из того, что 3 кВт или 16А нам хватит на все оборудование стойки. Если нам понадобится ATS на 32А (7кВт), то это будет уже значительно дороже (более 100 тыс. руб). То есть бюджет варианта Заказчика при детальном рассмотрении надежности вырастает до 160 тыс. рублей. При этом в случае ЧП несмотря на то, что запасные части будут на площадке понадобится down-time для замены устройства.
Единая точка отказа (SPOF, Single Point Of Failure) — узел, линия связи или объект системы доступности данных, отказ которого может вывести из строя всю систему, или вызвать недоступность данных
Вариант Открытых Технологий: По рисунку 3, но при необходимости добавляется ATS для мелкого сетевого оборудования с единственным блоком питания.
Точка отказа – тот самый ATS. Если с ним что-то случится, то мы теряем всю стойку целиком. Согласны с тем, что надо иметь ЗИП прямо на площадке. Но в нашем случае, если отказывает только ATS, то это может повлиять лишь на работу коммутаторов и вспомогательного оборудования. Сами серверы спокойно продолжат работу. Блоки питания в ЗИП не нужны. Так как при выходе из строя одного из дублированных блоков питания сервер продолжит работу на оставшемся, и, скорее всего, дождется нового блока питания от вендора, вне зависимости от удаленности площадки.
Единая точка отказа (SPOF, Single Point Of Failure) – узел, устройство или точка схемы, отказ которого может вывести из строя всю систему, вызвать недоступность данных и сервисов. Рассматривается при разработке и проектировании любых критически важных систем. Полное отсутствие единых точек отказа ведет к значительному увеличению капитальных затрат при внедрении, поэтому критичность работы той или иной системы, сервиса определяется на этапе проектирования исходя из бюджета проекта, а также пожеланий и требований Заказчика. Мы всегда находим вариант идеального решения для каждого Заказчика, определяя несколько вариантов реализации проекта, и предлагая их Заказчику. В результате на этапе сдачи проекта заказчик получает именно то решение, которое он хотел видеть по соотношению цена/качество/надежность.
Таким образом, подключать все оборудование стойки на единый ATS можно, но не рационально, так как в этом случае получаем единую точку отказа по питанию. Закупка серверов с дублированными блоками питания предпочтительна в любом случае, так как отказоустойчивость на уровне информационного оборудования увеличивается в разы.
Стоечный переключатель нагрузки обеспечивает корректное и почти мгновенное переключение на резервный ввод, информационное оборудование даже не почувствует этого, программные продукты и операционные системы продолжат корректно работать. Стоечные блоки распределения питания в любом случае нужны и экономить на них не надо. Видимая экономия на капитальных затратах по распределению питания может обернуться нерешаемыми проблемами при эксплуатации, например, необходимости «гасить» всю стойку только для того, чтобы переместить ATS в другой юнит или провести ревизию стоечного переключателя нагрузки. В любом случае для дублированных блоков питания должен быть ЗИП, а он не всегда возможен или имеется.
Внешний вид съемного блока питания сервера:
Например, мощность такого АВР ограничена, и переключать он может комплекс сравнительно слабых с точки зрения потребляемой мощности нагрузок. Есть вопросы к количеству выходных разъемов питания. Например, вышеупомянутый ATS AP7721 оснащен по входу разъемами типа С14, что означает максимальную мощность переключения 2,5 кВт. На большую мощность нагрузки существует 2U модель AP7724, который по входу комплектуется разъемом на 32 А, то есть максимальная мощность оборудования может быть до 7кВт. А это значит, что типовую стойку с оборудованием можно подключить на этот АВР полностью. Однако цена подобного решения будет более 100 тыс. рублей.
Работа информационного оборудования с двумя блоками питания была хорошо описана в статье Вадима Синицкого @dimskiy . Как видим, есть свои достоинства и недостатки. И наличие резервных блоков питания для информационного оборудования в любом случае необходимо, особенно если объект находится вне зоны быстрой поставки блока питания от вендора. Кроме того, хотим заметить, что онлайн калькуляторы расчета мощности новых серверов от вендоров могут применяться лишь как ориентир для системных администраторов, персонала Заказчика.
Реальные возможности подключения нового мощного сервера к существующей стойке должны оцениваться с учетом изначального проекта электроснабжения, текущего состояния и нагрузки электросети стойки, серверной, ИБП, генератора…. С точки зрения подключения в стойке также стоит учитывать:
- текущие возможности PDU, типа свободных разъемов в них
- номиналов автоматов в щитах и сечения и фазность кабельной линии к стойке.
А как у вас построена система распределения в стойке?
Каков ресурс БП для ИТ-оборудования и алгоритм их программного резервирования?
Какие вы предпочитаете БРП использовать: базовые, с мониторингом? насколько полезна в практике функция «управляемый БРП/PDU» и помогла ли она вам когда либо?
Читайте также: