Как добавить диск в raid 5 hp
Читайте о том, как собрать RAID 5 в домашних условиях. На что обратить внимание при выборе комплектующих под RAID, как собрать компьютер и создать на нём RAID массив.
Все современные материнские платы оснащены интегрированным RAID-контроллером, а топовые модели имеют их даже несколько. Востребованы ли такие интегрированные контроллеры в материнских платах для обычных пользователей — это другой вопрос. Но в любом случае, некоторые материнские платы предоставляют возможность создать RAID массив прямо на персональном компьютере.
Далее будут представлены краткие рекомендации по созданию RAID-массива на домашнем ПК и конкретный пример сборки компьютера с RAID.
Информация
В данном документе описано как развернуть массив и расширить логический диск. Развертывание массивов и расширение логических дисков поддерживается только, если установлен контроллер HP Smart Array c кэш-памятью и батарей. Контроллеры HP Smart Array поддерживают устройства Battery-Backed Write Cache (BBWC) или Flash-Backed Write Cache (FBWC). В первую очередь убедитесь, что сервер оснащен кэш-памятью и батареей.
Если на сервере не установлены устройства BBWC или FBWC, сначала установите батарею. Ознакомьтесь с QuickSpecs серверов и установите нужную версию BBWC/FBWC для контроллера HP Smart Array. После установки BBWC/FBWC функции развертывания и расширения будут доступны в ACU.
Потом-потом
Прислали новый диск для HP MSA 2040, со второй попытки диск встал успешно, пришлось ехать в ЦОД ещ1 раз.
С помощью Smart Storage Administrator вы можете добавить к существующему RAID массиву дополнительные диски и расширить логический том.
Нашёл статью в помощь:
Интерфейс немного устарел, но принцип действия такой же как описано.
Видим, что новые три диска (на них нет разделов) называются:
Не буду выдумывать, также на новых дисках создам партиции и уже её буду добавлять в массив. Создаю партиции с помощью fdisk:
- nvme8n1p1
- nvme10n1p1
- nvme12n1p1
Расширение массива
Добавляем новые разделы в массив:
Разделы добавились как spare.
Теперь расширяем массив:
Где raid-devices — новое количество активных дисков (не считая spare), а backup-file — файл с сохранённой структурой массива.
Статус массива active, resharping. 0% complete. Массив перестраивается, при этом активно используется базой, простоя нет.
Можно узнать скорость перестроения и время до окончания процесса:
Осталось 1769 минут, показан процент завершения, скорость 70 мегабайт в секунду. На следующий день картина такая:
Перестроение выполнено на 40%, скорость упала, т.к. днём нагрузка на базу больше. Жду завершения процесса. Нашёл в Интернете способы ускорить перестроение, но они мне не помогли и скорость осталась прежней, поэтому не буду про них писать.
Далее планирую расширение файловой системы:
Напишу как пройдёт.
Забыл, что у меня файловая система XFS, поэтому resize2fs не сработал, но сработал xfs_growfs:
Сегодня хочу поделиться с вами краткой инструкцией, как добавить диск в существующий RAID 5/6 не пересобирая массив (зачастую это просто нереально — забэкапить 4-10Тб данных) и не останавливая работу сервера на сутки-другие. Данная инструкция написана для линуксовых софтрейдов через mdadm, с аппаратными контроллерами/виндой разговор особый и зачастую очень короткий (никак и все).
Итак, приступим (система — Ubuntu 10.04, но работать должно практически везде).
Первым делом, подключаем диск и день-другой (ну или хотя-бы один раз полная перезапись) гоняем его под нагрузкой, записываем/считываем файлы. Это необходимо чтобы сразу обнаружить проблемы с диском, контроллером, кабелем. Если этого не сделать, и добавить «сбойный» диск в массив, может быть довольно весело (собственно, это случилось со мной, SATA6 диск оказался не очень совместим с SATA1 контроллером. Но благодаря безопасности mdadm потери данных удалось избежать).
0. Проверяем версию mdadm – желательно иметь последнюю стабильную версию. (в часности, в процессе написания этого гайда был найден баг при продолжении работы после сбоя — не устанавливался stripe_cache_size — но это уже должно быть исправлено)
1. Отключаем write intent bitmap, если он у вас конечно был (используется для ускорения пересборки массива в случае сбоя):
mdadm --grow --bitmap=none /dev/md0
2. Добавляем диски в массив как горячая замена (hot spare) – на этом этапе пока на них ничего не начинает писаться, диски будут использоваться в случае сбоя или последующего изменения размера массива.
mdadm /dev/md0 -a /dev/sda1
mdadm /dev/md0 -a /dev/sdb1
Делаем cat /proc/mdstat, и видим что диски добавились как hot spare (S)
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdb1[7](S) sda1[6](S) sdd1[2] sdc1[4] sdh1[0] sdg1[5] sdf1[1]
2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
3. Проверяем UPS, выдергивая розетку из стены вилку из розетки (хотя розетку тоже можно). Аккумуляторы любят со временем сульфатироваться незаметно для упса, и могут неожиданно сдохнуть за пару секунд.
Несмотря на то, что наличие UPS-а необязательно для безопасного ресайза, с ним спокойнее. Драйвер рейд-массивов в ядре постоянно сохраняет прогресс ресайза, и при сбое в любом месте – может продолжить без проблем.
4. Самая главная команда:
mdadm --grow /dev/md0 --raid-disk=8 --backup-file=/var/backup
backup-file – необходим для сохранения резервной копии данных о массиве в случае сбоя на самом первом этапе изменения размера массива. Само собой файл не нужно ложить на сам рейд . Аналогично можно из RAID-5 сделать RAID-6 указав --level=6 (напомню, что RAID-6 выдерживает смерть 2-х любых дисков, что очень важно, т.к. восстановление большого RAID-5 занимает до 10-20 часов и что-то может произойти в это время. )
Операция изменения размера в среднем происходит со скоростью самого медленного диска. Т.е. если самый медленный диск жмет 60Мб/сек, то mdadm нужен будет один проход по массиву с такой скоростью. В случае терабайтных дисков это около 5 часов, если процессор будет успевать, и медленнее если не будет. Если скорость слишком маленькая – делаем
echo "200000" > /sys/block/md0/md/sync_speed_max
В процессе расширения массива данные остаются доступными, смотреть прогресс можно через /proc/mdstat.
5. После завершения ресайза – расширяем файловую систему. Сначала проверка
e2fsck -f /dev/md0
Затем собственно расширение:
resize2fs /dev/md0
6. Добавляем обратно write intent bitmap:
mdadm -G /dev/md0 --force -b /var/md0_intent --bitmap-chunk=65536
7. Перегенерируем конфиг mdadm.conf. Выполняем
mdadm --detail --scan –verbose
И результат вставляем в /etc/mdadm/mdadm.conf
8. Перегенерируем ramfs, чтобы после перезагрузки использовался правильный конфиг mdadm:
update-initramfs -k all –u
Готово
Теперь у вас RAID-массив стал больше, и вам не пришлось платить безумные деньги для того чтобы получить эту возможность. Не забываем про мониторинг – чем больше дисков, тем выше риск один из них перегреть.
PP. С mdadm можно делать и другие веселые вещи – например если у вас маccив из 1Тб дисков, а вдруг нашлись 2 по 500 – их можно объеденить в RAID-0, и добавить в основной массив. А если на этих двух дисках останется по 100Мб свободного места – можно это сделать отдельным разделом, объеденить в RAID-1, и замонтировать туда /boot/ — и тогда можно будет систему полностью перенести на RAID, и грузится без вспомогательных средств (вроде флешек, старых веников и проч.).
PPS. Глядя на количество дисков справа со своего домашнего файлсервера, я начинаю думать, что у меня в детстве наверное был слишком маленький винчестер… Впрочем, могло быть хуже
Комплектующие
Первым делом нужно определиться для каких целей вы будете создавать массив на своём компьютере и какой тип RAID вам нужен.
Детально о том, какие типы RAID массивов бывают, какие между ними различия и как они работаю, читайте в отдельной статье блога.
Определившись с типом RAID, нужно подобрать материнскую плату с поддержкой нужного вам типа массива и наличия достаточного количества SATA разъёмов, чтобы иметь возможность подключить нужное количество дисков.
Для Своих нужд было принято решение построить систему с RAID 5. Для этого была выбрана такая конфигурация:
- Материнская плата ASRock B365M Pro4-F с поддержкой RAID 0, 1, 5 и 10 и шестью SATA разъёмами для дисков;
- Вместительный корпус Cooler Master K380 с большим количеством посадочных мест под HDD;
- Процессор от Intel 9-го поколения – i5-9400F;
- Одна планка оперативной памяти Kingston на 16 ГБ (2400 MHz);
- Видеокарта nVIDIA GeForce GTX 1060.
Установка дисков
Пришли заказанные диски:
К массиву из 11 дисков буду добавлять ещё три. В RAID5 сейчас 10 дисков + 1 spare. Станет 13 дисков + 1 spare. Общий объём дисков больше 100 Тб, поэтому перестроение массива будет долгим.
В самой установке нет ничего сложного. Прикручиваем к дискам салазки, устанавливаем в сервер.
Перезагружаем сервер, чтобы диски определились.
Сбор сведений
Посмотрим текущее состояние массивов.
Процессор
Начнём с установки процессора и оперативной памяти на материнскую плату.
Этот процесс не сложный, нужно лишь сориентироваться как его расположить в сокете. Если вы впервые собираете компьютер, не в коем случае не нужно пытаться его вдавить силой. Все это приведет к тому, что вы попросту погнете ножки или повредите процессор. При правильной установке он легко и без усилий сядет на свое место.
На самом процессоре есть обозначение в углу в виде треугольника и такое же обозначение есть и на материнской плате. Этот угол на процессоре и такой же угол сокета должны совпадать.
Также на самом процессоре есть небольшие вырезы и соответственно на сокете метки под них, обратите на это внимание.
Сегодня не самый обычный пост, я еду в ЦОД менять и устанавливать диски. Любопытно, что все диски разные, оборудование тоже разное. Для мониторинга состояния дисков потребуется самые разные инструменты. Вроде бы всего 4 диска, а подходы самые разные. Поехали.
Видим следующую картину:
Массив md0 состоит из 10 дисков, вернее разделов:
- nvme0n1p1[0]
- nvme9n1p1[1]
- nvme6n1p1[2]
- nvme2n1p1[3]
- nvme3n1p1[4]
- nvme4n1p1[5]
- nvme7n1p1[6]
- nvme1n1p1[7]
- nvme5n1p1[8]
- nvme13n1p1[11]
Все диски в состоянии U (Up). Есть один spare диск:
Номера дисков перемешались после добавления.
Массив в состоянии active, всё в порядке. Детальную информацию можно посмотреть командой:
Сборка ПК
Итак, с комплектующими мы разобрались, приступаем к сборке.
Диск 3. Сервер HP ProLiant DL360 Gen9
Третий диск меняю в сервере HP ProLiant DL360 Gen9. Не первый раз меняю диски в этих серверах:
Диск HDD 1ТБ, форм-фактор 2.5', поставляется с салазками. Битый диск светится оранжевым:
Для мониторинга состояния дисков в серверах ProLiant девятого поколения используется утилита iLO 4. Скриншоты не делал. но там тоже видно какой диск вышел из строя.
Извлекаю битый диск.
Устанавливаю новый диск.
Всё просто, салазки перекручивать не нужно, операция быстрая. На всех дисках массива горит индикатор "не извлекать", начинается перестроение массива.
Диск 4. Сервер HPE ProLiant DL360 Gen9. NVMe.
Четвёртый диск не получится установить в работающий сервер. Диск представляет собой PCIe плату NVMe.
Устанавливаем в сервер HPE ProLiant DL360 Gen9. Выключаем сервер, выдвигаем на салазках, снимаем крышку.
В данный сервер можно установить одну полноразмерную PCIe плату и две низкопрофильные. Второй и третий слоты я уже занял, диск будет устанавливаться в первый полноразмерный слот. Снимаю райзер, понадобится отвертка torx.
Кручу-верчу. В райзер устанавливается две PCIe платы. Одна уже установлена, устанавливаю вторую.
Диск в райзере. Устанавливаю райзер в сервер.
Закрываю крышку, включаю сервер. NVMe платы нельзя собрать в RAID через имеющийся RAID контроллер, у меня они собраны с помощью mdadm в операционной системе Ubuntu. Два диска были в RAID1, третий диск позволит увеличить объём массива в два раза, с преобразованием RAID1 в RAID5.
Подробная информация
Откройте Утилиту настройки массивов на сервере HP Proliant.
Выберите в списке Контроллер Smart Array.
Щелкните, чтобы выбрать имя массива для развертывания (в данном случае – SAS Array B).
На правой панели окна ACU пользователь обнаружит функцию под названием Развернуть массив.
Щелкните Развернуть массив.
Выберите новый физический жесткий диск для добавления в массив.
Щелкните Сохранить, чтобы внести изменения в контроллер.
Начнется развертывание массива, а в ACU отобразится состояние преобразования.
Подождите до завершения процесса развертывания массива.
Функция развертывания массива добавила 136,7 ГБ свободного пространства в массив SAS Array B.
NOTE: При выполнении контроллером Smart Array развертывания массива или расширения логического диска, все другие развертывания и расширения запрещены для данного контроллера до завершения процесса.
По завершении развертывания массива у пользователя появляется 136,7 ГБ свободного пространства, доступного в массиве SAS Array B. Для использования добавленного пространства хранилища необходимо расширить логический диск на эту область.
Щелкните, чтобы выбрать логический диск для расширения (здесь выбран логический диск 2).
На правой панели окна ACU щелкните Расширить логический диск.
Теперь пользователь может выбрать доступный Максимальный размер и нажать кнопку Сохранить.
Выполняется расширение логического диска 2. В ACU отобразится состояние преобразования.
Подождите до завершения процесса расширения логического диска.
По завершении экран примет следующий вид.
По завершении логический диск 2 будет расширен, а его размер увеличен до 273,4 ГБ.
Потом
Забегая вперёд можно сказать, что три из четырёх дисков встали нормально, массивы работают в штатном режиме. А вот четвёртый диск HP MSA 2040 подкачал, новый и не заработал. Техподдержка пока молчит.
Мои дополнения
EVENT (18 Aug 10:54): Option ROM POST Information: 1764-Slot 0 Drive Array - Capacity Expansion Process is Temporarily Disabled.
EVENT (18 Aug 10:54): Option ROM POST Information: Expansion will resume when battery is enabled. Action: Connect Smart Storage Battery Module.
Стоило только снова загрузиться в SSA:
Пока идёт процесс трансформации, сервер находится в состоянии Degraded(Transforming). Есть риск потерять данные, так что лучше подстраховаться. Дело в том, что всё это время кеш RAID-контроллера отключен. Вернее, он используется для трансформации.
После завершения трансформации нужно руками запустить процесс расширения логического диска. Он проходит быстро. При этом предупреждают, что на windows 2000 расширять нельзя - диск станет недоступным.
Здравствуй, юный Linux админ. Если ты здесь, то тебе пришла задачка расширить RAID5 массив, собранный с помощью mdadm, добавив новые диски. Я тоже столкнулся с этим, погуглил, почитал, и засучил рукава. Основная проблема — сервер останавливать надолго нельзя, поэтому расширять массив будем на бою. Вторая сложность состоит в том, что первоначально RAID5 собирал не я, поэтому в текущей структуре массива нужно разобраться.
Диск 2. СХД HP MSA 2040
Второй диск меняю в СХД MSA 2040. Ранее уже менял подобные диски:
Диск HDD 900ГБ, форм-фактор 2.5', поставляется с салазками для MSA. Для управления дисками используется утилита Storage Management Utility, вот так там выглядит дохлый диск:
Он же на MSA с оранжевым светодиодом:
Извлекаю старый диск.
Распаковываю новый диск.
Устанавливаю новый диск.
Теперь нужно зайти в Storage Management Utility и добавить этот диск как Global Spare.
Сразу скажу, что после этого новый диск вышел из строя. Жду ответа техподдержки, замена диска оказалась неуспешной.
Подготовка дисков
Судя по названию "nvme5n1p1" в массив добавлены не сами диски, а созданные на них разделы, проверим. Выводим все NVMe диски со структурой в виде дерева:
Диск 1. Сервер Supermicro
Первый диск будем менять в сервере Supermicro. Сервер Supermicro 4U: CSE-846BE16-R920B. Когда-то давно на нём собирали массивы:
Диск HDD 6ТБ, форм-фактор 3.5'. Вот так выглядит сбойный диск, красный светодиод манит админа.
Перед заменой диска необходимо убедиться, что проблема именно с диском. Сервер работает, выключить его нельзя. Соответственно, в утилиту Avago Config Utility для управления SAS-контроллером войти не удастся. На сервере работает операционная система Ubuntu. Для мониторинга состояния массива будем использовать утилиту storcli. Пример работы у меня уже есть, правда в Oracle Linux, но в данном случае это не принципиально:
Посмотрим, что у нас там с диском. Диск в состоянии "UBad-Unconfigured Bad". Всё понятно, нужно менять.
Данный сервер поддерживает горячую замену дисков, мне же проще. Выдергиваем старый диск.
Красный светодиод продолжает гореть на дисковой корзине. Перекручиваем салазки на новый диск.
Устанавливаем диск в слот.
После установки диска загорится синий диод, красный начнёт мигать.
Начинается перестроение массива. Перестроение займёт много времени, больше суток.
Потом, через пару дней проверил, массив в порядке:
Замена диска прошла без проблем.
Читайте также: