Megaraid storage manager добавить диск в рейд
Сегодня хочу поделиться с вами краткой инструкцией, как добавить диск в существующий RAID 5/6 не пересобирая массив (зачастую это просто нереально — забэкапить 4-10Тб данных) и не останавливая работу сервера на сутки-другие. Данная инструкция написана для линуксовых софтрейдов через mdadm, с аппаратными контроллерами/виндой разговор особый и зачастую очень короткий (никак и все).
Итак, приступим (система — Ubuntu 10.04, но работать должно практически везде).
Первым делом, подключаем диск и день-другой (ну или хотя-бы один раз полная перезапись) гоняем его под нагрузкой, записываем/считываем файлы. Это необходимо чтобы сразу обнаружить проблемы с диском, контроллером, кабелем. Если этого не сделать, и добавить «сбойный» диск в массив, может быть довольно весело (собственно, это случилось со мной, SATA6 диск оказался не очень совместим с SATA1 контроллером. Но благодаря безопасности mdadm потери данных удалось избежать).
0. Проверяем версию mdadm – желательно иметь последнюю стабильную версию. (в часности, в процессе написания этого гайда был найден баг при продолжении работы после сбоя — не устанавливался stripe_cache_size — но это уже должно быть исправлено)
1. Отключаем write intent bitmap, если он у вас конечно был (используется для ускорения пересборки массива в случае сбоя):
mdadm --grow --bitmap=none /dev/md0
2. Добавляем диски в массив как горячая замена (hot spare) – на этом этапе пока на них ничего не начинает писаться, диски будут использоваться в случае сбоя или последующего изменения размера массива.
mdadm /dev/md0 -a /dev/sda1
mdadm /dev/md0 -a /dev/sdb1
Делаем cat /proc/mdstat, и видим что диски добавились как hot spare (S)
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdb1[7](S) sda1[6](S) sdd1[2] sdc1[4] sdh1[0] sdg1[5] sdf1[1]
2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
3. Проверяем UPS, выдергивая розетку из стены вилку из розетки (хотя розетку тоже можно). Аккумуляторы любят со временем сульфатироваться незаметно для упса, и могут неожиданно сдохнуть за пару секунд.
Несмотря на то, что наличие UPS-а необязательно для безопасного ресайза, с ним спокойнее. Драйвер рейд-массивов в ядре постоянно сохраняет прогресс ресайза, и при сбое в любом месте – может продолжить без проблем.
4. Самая главная команда:
mdadm --grow /dev/md0 --raid-disk=8 --backup-file=/var/backup
backup-file – необходим для сохранения резервной копии данных о массиве в случае сбоя на самом первом этапе изменения размера массива. Само собой файл не нужно ложить на сам рейд . Аналогично можно из RAID-5 сделать RAID-6 указав --level=6 (напомню, что RAID-6 выдерживает смерть 2-х любых дисков, что очень важно, т.к. восстановление большого RAID-5 занимает до 10-20 часов и что-то может произойти в это время. )
Операция изменения размера в среднем происходит со скоростью самого медленного диска. Т.е. если самый медленный диск жмет 60Мб/сек, то mdadm нужен будет один проход по массиву с такой скоростью. В случае терабайтных дисков это около 5 часов, если процессор будет успевать, и медленнее если не будет. Если скорость слишком маленькая – делаем
echo "200000" > /sys/block/md0/md/sync_speed_max
В процессе расширения массива данные остаются доступными, смотреть прогресс можно через /proc/mdstat.
5. После завершения ресайза – расширяем файловую систему. Сначала проверка
e2fsck -f /dev/md0
Затем собственно расширение:
resize2fs /dev/md0
6. Добавляем обратно write intent bitmap:
mdadm -G /dev/md0 --force -b /var/md0_intent --bitmap-chunk=65536
7. Перегенерируем конфиг mdadm.conf. Выполняем
mdadm --detail --scan –verbose
И результат вставляем в /etc/mdadm/mdadm.conf
8. Перегенерируем ramfs, чтобы после перезагрузки использовался правильный конфиг mdadm:
update-initramfs -k all –u
Готово
Теперь у вас RAID-массив стал больше, и вам не пришлось платить безумные деньги для того чтобы получить эту возможность. Не забываем про мониторинг – чем больше дисков, тем выше риск один из них перегреть.
PP. С mdadm можно делать и другие веселые вещи – например если у вас маccив из 1Тб дисков, а вдруг нашлись 2 по 500 – их можно объеденить в RAID-0, и добавить в основной массив. А если на этих двух дисках останется по 100Мб свободного места – можно это сделать отдельным разделом, объеденить в RAID-1, и замонтировать туда /boot/ — и тогда можно будет систему полностью перенести на RAID, и грузится без вспомогательных средств (вроде флешек, старых веников и проч.).
PPS. Глядя на количество дисков справа со своего домашнего файлсервера, я начинаю думать, что у меня в детстве наверное был слишком маленький винчестер… Впрочем, могло быть хуже
Утилита MegaRAID Storage Manager
MegaRAID Storage Manager - это более старая утилита, с которой мы уже много взаимодействовали в предыдущих статьях. Например мы устанавливали MegaRAID Storage Manager на ESXI 5.5. Вот так выглядит базовый дашборд со сводной информацией, о RAID контроллерах LSI/Avago. Тут вы увидите:
- Общий объем ваших дисков, в моем примере это 5,3 ТБ
- Состояние контроллера (Status) - если все хорошо, то статус должен быть Optimal
- Drives - количество физических дисков
- Drive groups - количество датасторов
- Virtual Drives - количество виртуальных дисков
Тут же есть область "Action", позволяющая загрузить конфигурацию, обновить прошивку RAID контроллера, настроить звуковой сигнал предупреждения. Справа есть ссылки на документацию. Снизу вы увидите текущие события на вашем контроллере LSI/Avago. Вкладка "Physical" покажет ваши физические диски, выбрав любой из них вы увидите дополнительные свойства.
Вкладка "Logical" позволяет уже взаимодействовать с логическими сущностями. Например вы можете добавить HDD/SSD в существующий RAID массив. Вы легко можете изменить свойства любого Virtual Drive, изменить вид кэширования, включить или отключить инициализацию.
Методы создания различных видов RAID через MSM я подробно описывал. Чаще всего есть поддержка всех видов, но в некоторых контроллерах RAID 50 и 60 нужно разблокировать с помощью специального кода.
Утилита LSI Storage Authority
Про LSA (LSI Storage Authority) я уже делал подробнейший обзор. На текущий момент, это флагманский инструмент имеющий графический интерфейс управления, прямо из вашего браузера, что делает его кросплатфомным, убирающим привязку к операционной системе. Что хорошо, что утилита работает не на медленном Java, а на HTML5, что делает ее очень удобной.
Вот так выглядит общий дашборд управления, на нем вы увидите список ваших устройств представленных на сервере, в моем примере Controller ID: 0 LSI MegaRAID SAS 9280-16i4e.
Вот так выглядит информация по вашим виртуальным и физическим дискам. Хочу отметить, что LSI Storage Authority показывает больше информации по свойствам физических дисков, тут вы легко обнаружите:
- Status - Online
- Exposed As - PHYSICAL-DEVICE
- Product ID - THNSF8480CCSE
- Vendor ID - ATA
- Serial Number - Y7PS10C2TBJT
- Shield Counter - 0
- Device ID - 64
- Usable Capacity - 446.62GB Capacity - 447.13GB
- less properties - General Properties
- SAS Address 0 - 0x500062b200185da2
- Negotiated Link Speed - 6G
- Drive Speed - 6G
- Temperature - 25C
- Revision Level - DAC9
- Power Status - On
- Native Command Queueing Capable - No
- Physical Sector Size - 512B
- SCSI UNMAP - Disabled
- Enclosure Properties
- Enclosure ID - 245
- Enclosure Model - Backplane
- Enclosure Location - Internal
- Enclosure Connector - N/A
- Drive Security Properties
- Full Disk Encryption Capable - No
- Full Disk Encryption Type - NONE
- Protection Information Properties
- Protection Information - Incapable
13 Responses to Как добавить диск в существующий RAID на контроллере LSI
Добрый день, а какая у вас версия MegaRAID? На моей 13.04.03.01(от 2013г.) нет возможности нажать ПКМ на Drive Group, и соответственно зайти в Modify Drive Group(искал в других подменю тоже не нашел). На более старой версии 2.63.00 тоже нет. Пробовал версию 2015 года, она не увидела мой контроллер. Контроллер кстати LSI Logic MegaRAID SAS 8204ELP, может он не умеет на лету пересобирать рейд? Заранее спасибо за ответ.
Добрый день, я пользовался на тот момент 14 версией MSM, но у меня есть подозрения в 99 процентов, что это функционал рейд контроллера, у каких то есть у каких то нет.
Список инструментов управления для LSI/Avago
Правильно подобранная утилита, может выполнять поставленную задачу в разы удобнее и быстрее, и знание всех инструментов является прямой обязанностью любого системного администратора.
Кстати я уже делал похожие подборки по инструментам управления и настройки для серверов IBM, Supermicro и HP
Алгоритм создания RAID массивов в MSM
Логинимся в MegaRAID Storage Manager, для примера в моем тестовом окружении есть 4 SSD диска по 500 гб объема.
Переходим на вкладку Logical. Щелкаем правым кликом и выбираем Create Virtual Drive.Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-01
Выбираем simple (Базовый метод)
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-02
На данном окне можно выбрать нужные вам рейды. RAID5 строится минимум из 3 ssd формула n-1
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-03
RAID6 строится минимум из 4 ssd формула n-2
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-06
При выборе дисков вы можете сразу видеть полезный объем массива.
RAID0 строится минимум из 2 ssd формула объединяет все диски
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-12
RAID1 строится минимум из 2 ssd формула n/2
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-11
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-13
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-04
Видим, что все успешно создано.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-05
В результате у вас создастся virtual drive с нужным raid. Для удаления данного virtual drive щелкните правым кликом и выберите delete.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-09
Соглашаемся с удалением виртуального диска.
Теперь давайте разберемся как создать RAID10, для этого нужно зайти в Advanced режим.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-15
Как видите среди уже вами созданных RAID есть и 10.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-16
Создадим его. Перемещаем два ssd вправо кнопкой ADD>> и нажимаем Create Span
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-19
Добавляем оставшиеся два ssd вправо и создаем новый Span.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-20
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-21
Жмем Create Drive Groupe
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-22
Выбираем при необходимости нужную политику кэширования, размер страйпа.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-23
Если все настройки нас устраиваю, то нажимаем кнопку "Create virtual drive"
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-24
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-25
Для завершения настройки нажимаем кнопку "Finish"
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-26
Наш RAID массив успешно создан.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-27
Всем привет сегодня расскажу ККак добавить диск в существующий RAID на контроллере LSI. Ранее я рассказывал Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager, а теперь представим ситуацию, что вы хотите расширить ваш RAID, более подробно про типы рейдов в посте Виды RAID и их характеристики.
Открываем ваш MSM, как его установить описано тут. Видим у меня есть RAID5 из трех дисков, я хочу добавить к нему еще 5 дисков.
Как изменить тип рейда с RAID5 на RAID6 в контроллерах LSI-01
Щелкаем по RAID правым кликом и выбираем Modify Drive Group
Как изменить тип рейда с RAID5 на RAID6 в контроллерах LSI-02
Вас предупредят, что мол вы реально это хотите сделать ставим галку и жмем ок
Как изменить тип рейда с RAID5 на RAID6 в контроллерах LSI-03
В выпадающем списке выбираем RAID5 и жмем next
Как изменить тип рейда с RAID5 на RAID6 в контроллерах LSI-04
Выбираем диск или диски
Видим сводную информацию и жмем Finish
Как добавить диск в существующий RAID на контроллере LSI-01
На дашборде появится процесс выполнения задачи
Как изменить тип рейда с RAID5 на RAID6 в контроллерах LSI-07
Время выполнения на прямую зависит от объема RAID. У меня это время растянулось на 3 дня.
Как добавить диск в существующий RAID на контроллере LSI-02
Хочу предупредить, что во время расширения RAID контроллер будет испытывать не хилые нагрузки и может вообще встать, так что у вас затормозит диким образом все то что на нем находится Отменить данную процедуру без потери данных уже не получится
Если у вас все затормозило и работать невозможно, то расширение стоит перенести на другое время. Если все же хотите отменить расширение то придется разваливать RAID. Для этого выполните. Правым кликом по каждому из винтов в рейде и выбираем Make Drive Offline.
Как добавить диск в существующий RAID на контроллере LSI-03
Вас предупредят, что это может привести к потере данных, жмем да
Как добавить диск в существующий RAID на контроллере LSI-04
Еще раз подтверждаем
Как добавить диск в существующий RAID на контроллере LSI-05
и далее снова правым кликом выбираем Make Drive as Missing
Как добавить диск в существующий RAID на контроллере LSI-06
Подтверждаем и выводим диск из RAID.
Как добавить диск в существующий RAID на контроллере LSI-07
Вот так вот просто добавить диск в существующий RAID на контроллере LSI.
Популярные Похожие записи:
Утилита StorCLI
Инструмент StorCLI - это утилита командной строки, которая имеет больший функционал в отличии от графических аналогов LSA и MSM. Утилита очень простая и гораздо удобнее, по крайней мере с случае с Vmware ESXI, на которую порой установить MSM/LSA. это целая эпопея.
Я с серверами крайне редко имею дело в смысле настройки нового железа.
Пять лет назад сам его покупал, но сейчас забыл подробности.Короче:
Есть пятилетний сервачок.
Supermicro X9DR3-F
LSI MegaRAID SAS 9261-8i
SATA 2Tb - 2 шт. (в зеркале)
SAS 300Gb - 2 шт. (в зеркале)
DVD-RW
Корпус башня 4U/Tower CSE-745TQ-R1200B, 8*SATA/SAS HS Bays
На нем крутится VMware ESXi 5.5
Задача: воткнуть новый SATA 2Tb без участия в рейде, чисто под бекапник.Так вот я этот диск воткнул, он огоньком подмигивает, но в VMware ESXi его не видно.
Как его там увидеть в списке Storage?eds.adm писал(а): Так вот я этот диск воткнул, он огоньком подмигивает, но в VMware ESXi его не видно.
Как его там увидеть в списке Storage?А как его видит (что про него говорит) LSI`ый софт (в минимуме - MegaCli/StorCli).
"Подмигивает" давно? Или Вы, не увидев его в Storage хоста ESXi, выдернули обратно.
Просто он мог бэкграундно инититься контроллером и до окончания процедуры не показываться контроллером для ОС.
Это если ещё не нужно было сделать рескан scsi-адаптера на хосте.Задачу нужно было решить срочно, поэтому я также обратился с этим вопросом напрямую к инженеру.
Он ответил в письме:Нужно перезагрузить сервер и во время загрузки зайти в управление рейд контроллером Ctrl+H (по моему такое сочетание клавиш), далее в настройках на данном диске нужно создать RAID0, а уже после этот диск увидится в ESX
eds.adm
По идее можно было и не перегружать сервер, сделать все через управлялку.Внезапно продолжение темы на той же железке.
Сервак пахал без проблем 7 лет. Но недавно без предварительных намеков отвалился RAID1 из SATA 2Tb - 2 шт. (в зеркале).
В смысле VMware ESXi не видит в списке стораджей.
Думал может контакты окислились. Диски все вытащил, пошкрябал ластиком.
Не помогло.
Дня через 2 отвалился еще один SATA 2Tb - RAID0.Полез в WebBIOS в управление рейд контроллером (Ctrl+H).
Эти отвалившиеся винты там значатся как Unconf BAD.Читайте также: