Avago raid setup настройка рэцд
В этой статье объясняется использование программы администрирования RAID-контроллера LSI. Эта программа доступна на download.hetzner.de.
Данные для доступа к этому сайту можно найти в email, сообщающем о готовности выделенного сервера. При загрузке программ не забудьте прочитать лицензионное соглашение.
- Утилита megacli служит для управления контроллером из командной строки. (Обратите внимание: установка RPM происходит в /opt/MegaRAID/MegaCli/ )
- Утилита MegaRAID Storage Manager (MSM) предоставляет графический интерфейс для управления контроллером.
Проверка состояния аппаратного RAID-контроллера
Для проверки статуса LSI RAID-контроллера должна быть установлена утилита командной строки megacli . В Hetzner Rescue-System она установлена по умолчанию.
Состояние RAID можно получить следующей командой (отобразить все логические устройства всех контроллеров):
Так как при этом выводится масса дополнительной информации, рекомендуется отфильтровать вывод. Например так:
Перед настройкой массива, возможно, потребуется удалить использованную ранее конфигурацию. Для того чтобы просто удалить логические устройства вы можете использовать CfgLdDel :
Настройка RAID 0, 1 или 5
Вместо «r0» введите соответственно «r1» или «r5» (диски в расположении (Enclosure) 252, на портах 0 и 1, WriteBack включен, ReadCache адаптивный, Cache также включен без BBU):
Настройка RAID 10
Расширение существующего массива
После установки дополнительного диска потребуется изменить настройки соответствующего массива. Вот пример добавления диска в RAID 5:
Использование дисков как JBOD
LSI MegaRAID 9260 не поддерживает режим JBOD, предоставляющий прямой доступ к дискам. Тем не менее, можно создать RAID 0 на каждом диске:
Настройка диска горячего резерва (hot spare)
Выберите unconfigured good диск из меню «Drives» и кликните на Properties . Здесь можно настроить диски как горячий резерв и для конкретного массива и глобально для всех массивов. Также это можно сделать через megacli
- как глобальный горячий резерв: megacli -PDHSP -Set -PhysDrv[252:2] -a0
- как горячий резерв для массива Array0: megacli -PDHSP -Set -Dedicated -Array0 -PhysDrv[252:2] -a0
- удалить статус горячей замены: megacli -PDHSP -Rmv -PhysDrv[252:2] -a0
Создание загрузочного массива
Создание резервной копии и восстановление конфигурации контроллера
Замена диска в массиве, если rebuild не начался автоматически
Статус нового диска должен быть Unconfigured (good) . Это можно проверить с помощью PDList. Если статус диска Unconfigured (bad)`, то его надо сначала сделать пригодным для использования как показано ниже:
Если диск good , то им можно заменить отсутствующий диск. Для этого надо указать массив и позицию, где надо произвести замену. Эти значения можно получить, например, из megacli -CfgDsply -a0 . Если диск отсутствует в массиве, запись Physical Disk: будет показана, но без дополнительно информации. В следующем примере четвёртый диск первого массива (Array0) заменяется диком из Enclosure 245 Slot 3 ("PhysDrv[245:3]") :
Доступ к данным S.M.A.R.T. для дисков в RAID
Вы можете использовать smartmontools для доступа к физическим дискам подключенным к RAID-контроллеру. Сначала надо определить номер устройства (Device Id) с помощью megacli :
В зависимости от используемой операционной системы может потребоваться обновить smartmontools или ядро операционной системы
Пустая конфигурация контроллера после перезагрузки сервера
В редких случаях созданная при первичной настройке конфигурация массива не сохраняется при перезагрузке сервера.
Выпускаемое производителем контроллера обновление для встроенного программного обеспечения (firmware или прошивка) поддерживает контроллер в актуальном состоянии: исправляет ошибки и добавляет новые возможности.
Для предотвращения потенциальной потери данных мы рекомендуем перед обновлением прошивки делать резервную копию данных и конфигурации контроллера.
Получение модели контроллера и версии прошивки
Для того чтобы прочитать информацию с контроллера следует установить утилиту командной строки megacli. Она уже установлена в Rescue System.
Обновление прошивки RAID-контроллера
В зависимости от текущей версии прошивки может потребоваться промежуточное обновление (только для версий старее 12.12.0-0090 ).
Если текущая версия прошивки ниже версии 12.12.0-0090 , пожалуйста, произведите промежуточное обновление до версии 12.12.0-0090 . Прошивку этой версии можно скачать на зеркале Hetzner.
Сохраните файл прошивки на сервер и выполните команду обновления, указав имя файла прошивки. Ниже приведён пример команды для обновления на версию 12.12.0-0090 . Путь к ранее сохраненному файлу прошивки (.rom файл) mr12.12.0-0090.rom должен быть скорректирован соответствующим образом.
Пожалуйста, обратитесь к файлу readme обновления прошивки для соответствующей команды. В этом примере это выглядит следующим образом:
Если промежуточное обновление не требуется, то можно использовать следующую ссылку для поиска на странице поддержки производителя последней доступной прошивки для RAID-контроллера.
Как и ранее, сохраните файл прошивки на сервере и выполните следующую команду, чтобы обновить версию прошивки, в этом примере до 2108fw . Путь к ранее сохраненному файлу прошивки (.rom файл) mr2108fw.rom должен быть скорректирован соответствующим образом.
Пожалуйста, обратитесь к файлу readme обновления прошивки для соответствующей команды. В этом примере это выглядит следующим образом:
Проверка обновления RAID-контроллера
В этой статье демонстрируются различные возможности конфигурации RAID на выделенном сервере с аппаратным RAID-контроллером LSI. Вы должны уже настроить его по своему вкусу.
- Получить ссылку
- Электронная почта
- Другие приложения
Комментарии
Автоматическое монтирование дисков и разделов в Linux или что такое fstab? Проблема Debian
Результат
Мы выяснили, что на сервере есть RAID1 массив из двух NVMe дисков.
Реализация нумерации корпусов и слотом странная. Кстати, в BIOS отображается с такими же EID:Slot. Утилита LSA для Windows тоже видит диски именно так. Установка последней прошивки контроллера ситуацию не изменила. Этот массив я не собирал, а получил готовую сборку вместе с сервером, так что прокомментировать этот момент не могу. Вероятно, это такая фича для NVMe дисков.
Ещё для меня стало новостью, что диски в контроллере могут быть не привязаны к Enclosure. Это привело к тому, что пришлось переписать шаблон для мониторинга LSI контроллеров в Zabbix, добавив автообнаружение именно таких дисков.
MegaRAID Storage Manager мне нужен для того, чтобы воткнуть в свой комп RAID контроллер и прошить его перед установкой в сервер. Прикрепляю к статье интерактивное руководство. MegaRAID Storage Manager есть под разные операционные системы. Будем устанавливать версию для Windows.
Комментарии
Создание и настройка RAID массива расширенным методом
Если же вы пойдете чуть более сложным, но более правильным путем, а именно через "Advanced Configuration", то увидите на выбор для создания RAID массива гораздо больше вариантов:
- Создание RAID 10 - тут от нас потребуется четное количество дисков, минимум от 4-х. Выбрав RAID 10 нажмите "Next".
Нажимаем кнопку "Add Physical Disk", в открывшемся окне выберите нужное количество доступных дисков, в моем примере их 6, они будут поделены на 2 RAID 0 по 3 диска и объеденные в RAID 1 зеркало, тем самым у меня останется половина объема.
Теперь когда выбраны нужные физические диски, вам необходимо нажать кнопку "Add Virtual Drives".
У вас откроется мастер настройки "Virtual Drive Settings". Тут вы можете задать:
- Количество виртуальных дисков
- Размер виртуального (ых) дисков
- Имя виртуального диска
- Размер страйпа
- Будет ли производится инициализация
Про виды кэширования на контроллерах LSI я уже подробно рассказывал, и показал, какие настройки лучше выбрать для максимальной производительности SSD дисков
Вот так выгляди настройка Read Policy.
Вот так выглядит настройка Write Policy
Вот так выглядит настройка IO Policy
Вот так выглядит настройка кэширования на дисках. После всех манипуляция нажмите кнопку "Add Vitrual Drives"
- Создание RAID 50 - Тут от общего количества дисков будет отнято два под контрольные суммы. Напоминаю, что минимальное количество дисков тут 4. В итоге я от моих 6 SSD по 500 ГБ, получил объем 1.74 ТБ, зато отказоустойчивость два диска.
- Создание RAID 60 - тут минимально вам нужно шесть дисков, от общего количества будет отнято 4 диска под контрольные суммы. В итоге от 6-ти дисков по 500 гб я получил объем 893 ГБ.
- Создание RAID 00 - состоит из четного количества дисков, где вы создаете несколько министрайпов, которые в свою очередь образуют один страйп, в таком варианте есть чередование, но нет отказоустойчивости. Вы так же получите полный объем всех дисков.
После всех манипуляций вам покажут, что виртуальный диск успешно создан.
В результате у вас появится ваш новый "Virtual Drive".
Если нужно изменить свойства вашего RAID массива, то выберите его, далее в поле "Action" выберите пункт "Modify Properties".
В окне "Modify Virtual Drive" вы можете поменять нужные вам параметры.
Появился у нас новый сервер Supermicro. На сервере установлен RAID контроллер AVAGO MegaRAID SAS 9460-8i, в котором два NVMe диска собраны в RAID 1. В качестве операционной системы у нас выступает Windows Server 2016.
Естественно, Supermicro и Windows не видят диски, а следить за железом как-то нужно. Windows видит только массив.
Для управления контроллером и дисками воспользуемся утилитой StorCLI.
Как подключить сетевой диск Windows в Linux
Как подключить сетевой диск Windows в Linux Поддержку сетевых дисков Windows в Linux обеспечивает пакет cifs-utils. Если он у вас еще не установлен, в командной строке от имени суперпользователя введите apt-get install cifs-utils Эта команда проверит, установлен ли указанный пакет и, если нет, установит его. Создайте в /mnt (или любом другом месте) папку, в которую мы будем подключать сетевой диск Windows: mkdir /mnt/winshare И наконец само подключение сетевой папки Windows в Linux выполняется с помощью команды mount.cifs mount.cifs //SERVER_IP/SHARE_NAME /mnt/winshare -o username=WIN_USER_NAME,password=WIN_USER_PASSWORD Такая команда выполнит присоединение к фаловой системе Linux сетевого диска Windows с именем SHARE_NAME, расположенного на сервере с IP-адресом SERVER_IP от имени WIN_USER_NAME с паролем WIN_USER_PASSWORD. Следует понимать, что на стороне Windows уже логичным образом указанная папка должна быть расшарена и права на доступ к ней должны пр
Ссылки
Интерактивное руководство В хроме подглючивает, открываете через Firefox.
Подготовка RAID контроллера
И вот новый контроллер приехал:
Первым делом накатываю на контроллер прошивку, чтобы версии на обоих контроллерах совпадали.
На этом подготовка завершена, пора ехать в ЦОД и устанавливать контроллер в сервер.
Создание и настройка RAID массива базовым методом
В данном примере вам нужно выбрать "Simple Configuration". Тут от вас потребует несколько шагов, первое, это нужно выбрать вид RAID массива, от этого будет зависеть ваш объем массива. Я в своих пример создам разные виды.
Обратите внимание, что при "Simple Configuration" вы можете выбрать всего четыре варианта:
- RAID 0 - это обычный страйп
- RAID 1 - Зеркало
- RAID 5 - Чередование
- RAID 6 - чередование
- Создание RAID 0 - Тут все диски будут объединяться в один массив, я в своем примере создам один виртуальный диск, общим объемом 2,62 ТБ, для завершения процедуры нажмите кнопку "Finish".
- Создание RAID 1 - это зеркалирование, от нас потребуется четное количество дисков, которое будет поделено пополам, за счет этого у вас появится избыточность, но вы потеряете по возможному месту, так же ровно на половину.
- Создание RAID 5 - тут формула такая, общее количество дисков минус один, для отказоустойчивости. В итоге я получу на выходе объем от 5 SSD дисков из моих шести.
- Создание RAID 6- это так же чередование, но мы уже от общего количества дисков отнимем два, под контрольные суммы.
Настройка RAID контроллера
Настраивать контроллер особо не нужно, понадобится пара перезагрузок.
Собираю сервер и переключаю полку с дисками на новый контроллер. Включаю сервер.
С первого раза контроллер не увидел диски. Это нормально.
Дожидаюсь полной загрузки сервера и перезагружаю его. Ctrl + R поможет попасть в конфигурационную утилиту.
Вижу два контроллера, проверяю новый. Статус Optimal, статус батарейки Optimal.
Утилита storcli поможет посмотреть статус контроллера из операционной системы Linux.
Полный порядок, диски увиделись, массивы увиделись, сервер полностью работоспособен.
Замена RAID контроллера
Выкручиваю винты, выдвигаю сервер и снимаю крышку.
Извлекаю сгоревший контроллер. На самом деле я его уже вытащил и слот свободен. На фотографии ниже видно, что сейчас установлен только один RAID контроллер, к нему тянется кабель от батарейки.
Распаковываю новый контроллер. Планку менять не пришлось.
Уже на практики знаю, что батарейку удобнее подключить до установки контроллера в слот. Подключаю батарейку к новому контроллеру.
Устанавливаю контроллер в слот. Два одинаковых контроллера радуют глаз.
По инструкции батарейки положено крепить к специальным планкам, которые устанавливаются в PCIe слот.
Кто это придумал? У меня нет столько свободных слотов. Поэтому я устанавливаю батарейки между вентиляторами. Нормально стоят.
Подключение USB флешки к Debian
Подключение USB флешки к Debian Если мы просто вставим флешку в компьютер с Debian то внешне ничего не произойдёт и в какую директорию переходить, чтобы найти файлы с флешки — неизвестно. Чтобы зайти в папку флешки — нужно её сначала примонтировать. Пойдём по порядку. После того, как флешка вставлена в USB-порт, нужно определить каким устройством её определила система. Для этого набираем слудующую команду: fdisk -l /dev/sdb или sda Она даёт нам таблицу, где можно найти своё устройство (например по названию файловой системы) и увидеть присвоенную ему метку. В нашем случае это /dev/sdb1 Теперь можно монтировать флешку например в каталог /mnt. mount /dev/sdb1 /mnt Далее переходим в каталог /mnt и смотрим его содержимое. cd /mnt ls Все файлы на месте. Готово.
Для того, чтобы у вас все получилось, вы должны установить утилиту LSI Storage Authority, которая является одним из последних инструментов по управлению контроллерами Avago/LSI. В веб-интерфейсе LSA вам нужно залогиниться и на главном экране выбрать пункт "Configure". Далее у вас на выбор будет два метода, как создать RAID на вашем контроллере:
- Simple Configuration - быстрый и простой метод, который на начальном этапе не дает произвести тонкие настройки
- Advanced Configuration - данный метод является расширенным мастером, который позволяет вам задать расширенные настройки кэширования, страйпа
StorCLI
Скачиваю утилиту storcli. Доступна версия MR 7.19.
Это очень мощная утилита по управлению RAID контроллером. Сегодня нам понадобится минимум функционала для просмотра информации о дисках. Данную утилиту я планирую использовать для автоматизированного мониторинга за дисками сервера.
В архиве имеются версии storcli для разных операционных систем. Нас интересует папка Windows. Копирую оттуда утилиту storcli64.exe в удобную для себя директорию C:\zabbix\scripts.
Работать с утилитой следует с помощью командной строки.
Данная команда выведет детальную информацию.
Здесь мы увидим модель и состояние нашего контроллера AVAGO MegaRAID SAS 9460-8i. Видим что есть батарейка в состоянии Opt. Видим, что к контроллеру подключены два физических диска.
Получим список виртуальных дисков для контроллера:
Небольшое отступление. Синтаксис команды гибкий, вы можете писать параметры со слешами двумя способами: с отступами и без отступов. При работе в командной строке я предпочитаю ставить отступы, а при написании скриптов пишу без отступов, мне так удобнее.
Найден один массив RAID1 объёмом 6.985 TB в состоянии Optimal. В операционной системе это Disk 0.
Посмотрим на физические диски:
Вижу один NVMe диск в слоте 6 и корпусе 74. Так, а где второй диск? Не знаю как устроена структура этого контроллера, но второй диск я-таки нашёл:
Вижу второй NVMe диск тоже в слоте 6 и без корпуса. Оказывается, параметр /eall отображает все диски во каждом Enclosure, а бывают диски, которые не привязаны к корпусам, это было для меня новостью.
Есть способ отобразить все диски, нужно обратиться к дисковым группам:
Установка MegaRAID Storage Manager
Качаем MegaRAID Storage Manager.
Я скачал версию 7.05.00.02.
Данная версия поддерживает контроллеры:
- RAID
- MegaRAID SAS 9362-4i
- MegaRAID SAS 9362-8i
- MegaRAID SAS 9361-4i
- MegaRAID SAS 9361-8i
- MegaRAID SAS 9363-4i
- MegaRAID SAS 9380-8e
- MegaRAID SAS 9381-4i4e
- MegaRAID SAS 9361-8iCC
- MegaRAID SAS 9380-8eCC
- MegaRAID SAS 9364-8i
- MegaRAID SAS 9340-8i
- MegaRAID SAS 9341-8i
- MegaRAID SAS 9341-4i
- MegaRAID SAS 9270-8i
- MegaRAID SAS 9271-4i
- MegaRAID SAS 9271-8i
- MegaRAID SAS 9271-8iCC
- MegaRAID SAS 9286-8e
- MegaRAID SAS 9286CV-8e
- MegaRAID SAS 9286CV-8eCC
- MegaRAID SAS 9265-8i
- MegaRAID SAS 9285-8e
- MegaRAID SAS 9240-4i
- MegaRAID SAS 9240-8i
- MegaRAID SAS 9260-4i
- MegaRAID SAS 9260CV-4i
- MegaRAID SAS 9260-8i
- MegaRAID SAS 9260CV-8i
- MegaRAID SAS 9260DE-8i
- MegaRAID SAS 9261-8i
- MegaRAID SAS 9280-4i4e
- MegaRAID SAS 9280-8e
- MegaRAID SAS 9280DE-8e
- MegaRAID SAS 9280-24i4e
- MegaRAID SAS 9280-16i4e
- MegaRAID SAS 9260-16i
- MegaRAID SAS 9266-4i
- MegaRAID SAS 9266-8i
- MegaRAID SAS 9285CV-8e
- MegaRAID SAS 8704ELP
- MegaRAID SAS 8704EM2
- MegaRAID SAS 8708ELP
- MegaRAID SAS 8708EM2
- MegaRAID SAS 8880EM2
- MegaRAID SAS 8888ELP
- MegaRAID SAS 8308ELP*
- MegaRAID SAS 8344ELP*
- MegaRAID SAS 84016E*
- MegaRAID SAS 8408E*
- MegaRAID SAS 8480E*
- MegaRAID SATA 300-8ELP*
- LSI SAS 9211
- LSI SAS 9212
- LSI SAS3041E-R
- LSI SAS3041X-R
- LSI SAS3080X-R,
- LSI SAS3081E-R
- LSI SAS3442E-R
- LSI SAS3442X-R
- LSI WarpDrive SLP-300
- 9212 4i4e-R spec
- 9211-8i/4i-R spec
- LSI Nytro WarpDrive WLP4-200
- LSI Nytro WarpDrive WLP4-400
- LSI Nytro WarpDrive BLP4-400
- LSI Nytro WarpDrive BLP4-800
- LSI Nytro WarpDrive BLP4-1600
- LSI Nytro XD BLP4-400
- LSI Nytro XD BLP4-800
- LSI SAS 9207-4i4e
- LSI SAS 9217-4i4e
- LSI SAS 9207-8i
- LSI SAS 9217-8i
- LSI SAS 9207-8e
- LSI SAS 9201-16e
- LSI SAS 9200-8e
* Контроллеры предыдущих версий должны работать, но не тестировались.
Работает в ОС 32 и 64 бит:
- Windows* 2000
- Windows* 2003
- Windows* XP
- Windows* Vista
- Windows* 2008
- Windows* 7
- Windows* 8
Install. Требуется C++ пакет.
Условия установки соблюдены. Открывается окно мастера установки.
Принимаем лицензионное соглашение. Next.
Я выбираю установку для всех пользователей. Next.
Можно сменить папку установки. Next.
Выбираю обычную установку. Next.
Предлагают настроить LDAP, забиваю. Next.
Указываем размер ключа. Поскольку я на своей же машине буду шить контроллер, то эта опция — по барабану. Next.
Вот тут я подвис и оставил значение по умолчанию. Это настройка диапазона времени, за которое выводить уведомления. Мне оно не нужно. Next.
Эта страница предназначена только для того, чтобы нажать кнопку Install или не нажать. Идиотизм.
Установка завершена. Finish.
На рабочем столе появляется иконка MegaRAID Storage Manager. Для работу нужна java.
На сервере Supermicro сгорел RAID контроллер Avago MegaRAID SAS 9380-8i8e. Он отображался в системе как AVAGOMegaRAIDSAS9361-16i, потому что был каким-то прототипом, но на самом деле у него было 8 внутренних и 8 внешний портов. В данном сервере у меня два одинаковых контроллера. Один обслуживает 24 диска в самом сервере, ко второму подключена внешняя полка ещё с 24 дисками.
Пока ехал новый заказанный контроллер, я успел съездить в ЦОД и подключить полку с дисками к рабочему контроллеру, благо есть внешние порты. Да, производительность резко просела с одним контроллером, но хотя бы что-то работает.
Раньше контроллер уже глючил:
Видимо, пришла пора его менять.
Читайте также: