Avago megaraid sas 9460 16i не видит диски
Появился у нас новый сервер Supermicro. На сервере установлен RAID контроллер AVAGO MegaRAID SAS 9460-8i, в котором два NVMe диска собраны в RAID 1. В качестве операционной системы у нас выступает Windows Server 2016.
Естественно, Supermicro и Windows не видят диски, а следить за железом как-то нужно. Windows видит только массив.
Для управления контроллером и дисками воспользуемся утилитой StorCLI.
Тестирование
В первую очередь проверим задержки при работе с диском. Тест выполняется в один поток, размер блока 4 КБ. Каждый тест длится 5 минут. Перед началом для соответствующего блочного устройства выставляется none в качестве планировщика I/O. Команда fio выглядит следующим образом:
Из результатов fio мы берем clat 99.00%. Результаты приведены в таблице ниже.
Случайное чтение, мкс | Случайная запись, мкс | |
---|---|---|
Диск | 112 | 78 |
Linux SW RAID, RAID0 | 113 | 45 |
VROC, RAID0 | 112 | 46 |
LSI, RAID0 | 122 | 63 |
Linux SW RAID, RAID1 | 113 | 48 |
VROC, RAID1 | 113 | 45 |
LSI, RAID1 | 128 | 89 |
Помимо задержек при обращении к данным, хочется увидеть производительность виртуальных накопителей и сравнить с производительностью физического диска. Команда для запуска fio:
Производительность измеряется в количестве операций ввода-вывода. Результаты представлены в таблице ниже.
Случайное чтение 1 поток, IOPS | Случайная запись 1 поток, IOPS | Случайное чтение 128 потоков, IOPS | Случайная запись 128 потоков, IOPS | |
---|---|---|---|---|
Диск | 11300 | 40700 | 453000 | 105000 |
Linux SW RAID, RAID0 | 11200 | 52000 | 429000 | 232000 |
VROC, RAID0 | 11200 | 52300 | 441000 | 162000 |
LSI, RAID0 | 10900 | 44200 | 311000 | 160000 |
Linux SW RAID, RAID1 | 10000 | 48600 | 395000 | 147000 |
VROC, RAID1 | 10000 | 54400 | 378000 | 244000 |
LSI, RAID1 | 11000 | 34300 | 229000 | 248000 |
Легко заметить, что использование аппаратного контроллера дает увеличение задержек и просадку по производительности в сравнении с программными решениями.
Утилита MegaRAID Storage Manager
MegaRAID Storage Manager - это более старая утилита, с которой мы уже много взаимодействовали в предыдущих статьях. Например мы устанавливали MegaRAID Storage Manager на ESXI 5.5. Вот так выглядит базовый дашборд со сводной информацией, о RAID контроллерах LSI/Avago. Тут вы увидите:
- Общий объем ваших дисков, в моем примере это 5,3 ТБ
- Состояние контроллера (Status) - если все хорошо, то статус должен быть Optimal
- Drives - количество физических дисков
- Drive groups - количество датасторов
- Virtual Drives - количество виртуальных дисков
Тут же есть область "Action", позволяющая загрузить конфигурацию, обновить прошивку RAID контроллера, настроить звуковой сигнал предупреждения. Справа есть ссылки на документацию. Снизу вы увидите текущие события на вашем контроллере LSI/Avago. Вкладка "Physical" покажет ваши физические диски, выбрав любой из них вы увидите дополнительные свойства.
Вкладка "Logical" позволяет уже взаимодействовать с логическими сущностями. Например вы можете добавить HDD/SSD в существующий RAID массив. Вы легко можете изменить свойства любого Virtual Drive, изменить вид кэширования, включить или отключить инициализацию.
Методы создания различных видов RAID через MSM я подробно описывал. Чаще всего есть поддержка всех видов, но в некоторых контроллерах RAID 50 и 60 нужно разблокировать с помощью специального кода.
Установка утилиты LSA
Запускаем файл setup.exe
Если у вас не установлены компоненты Microsoft Visual C++ 2010, то они будут доставлены, нажимаем кнопку "Install".
Откроется окно установки модуля OpenSLP 2, нажимаем "Next".
Принимаем лицензионное соглашение "I accept the terms in the License Agreement".
Достаточно будет выбрать обычную установку. нажмите "Typical".
Нажимаем кнопку "Install". Все OpenSLP 2 установлен.
Когда нужные компоненты установлены, можно переходить к инсталляции непосредственно LSI Storage Authority. На первом окне мастера просто нажмите "Next".
Принимаем лицензионное соглашение.
Можете при желании заполнить информацию, о пользователе.
Далее вы можете при желании поменять каталог установки, по умолчанию, это C:\Program Files (x86)\LSI\LSIStorageAutority\
Далее вам необходимо выбрать тип установки LSI Storage Authority, тут четыре варианта:
- Gateway - данный режим установит все компоненты LSA и позволит вам с данного сервера подключаться к другим
- StandAlone - будут установлены компоненты необходимые для работы , только с текущим сервером.
- DirectAgent - тут будут установлены компоненты, только для удаленного управления
- Light Weight Monitor (LWM) - будут установлены минимальные функции для мониторинга
Я выбираю полный режим Gateway.
Обратите внимание на порты по умолчанию, по которым работает LSI Storage Authority, это веб-порт подключения 2463 и LSA Server Port 9000. При желании вы можете их изменить.
Далее вы можете выбрать режим логирования и оповещения, я оставлю "Start From Now"
Завершаем установку кнопкой "Install"
У вас на рабочем столе появится значок Launch LSA.
Указываем логин и пароль, при желании вы можете указать и доменные данные Active Directory.
В результате вы попадаете на общий экран управления вашим контроллером.
В пункте "Select Controller", позволяет вам выбрать нужный RAID контроллер, если на сервере их установлено несколько.
В моей системе представлен контроллер Controller ID: 0 LSI MegaRAID SAS 9280-16i4e. Тут я сразу вижу:
- Серийный номер
- SAS Adress
- Alarm - позволяющая одним кликом включить оповещение звуковым сигналом
- Driver Version - версию драйвера
Справа вы обнаружите полезные кнопки:
- View Event Log - перебросит вас в журнал событий, где вы сможете отслеживать все, что происходит на вашем RAID контроллере. Тут вы можете их зачистить, и скачать.
Вот так выглядит скачанный лог
- Download Diagnostics - скачает те же логи
- Configure - Позволит очистить конфигурацию контроллера, найти потерянную конфигурацию "Foreign Configuration"
- Update Firmware - позволит обновить прошивку. Тут вам необходимо нажать кнопку "Browse", выбираете прошивку и нажимаете "Update".
Утилита StorCLI
Инструмент StorCLI - это утилита командной строки, которая имеет больший функционал в отличии от графических аналогов LSA и MSM. Утилита очень простая и гораздо удобнее, по крайней мере с случае с Vmware ESXI, на которую порой установить MSM/LSA. это целая эпопея.
StorCLI
Скачиваю утилиту storcli . Доступна версия MR 7.19.
Это очень мощная утилита по управлению RAID контроллером. Сегодня нам понадобится минимум функционала для просмотра информации о дисках. Данную утилиту я планирую использовать для автоматизированного мониторинга за дисками сервера.
В архиве имеются версии storcli для разных операционных систем. Нас интересует папка Windows. Копирую оттуда утилиту storcli64.exe в удобную для себя директорию C:\zabbix\scripts .
Работать с утилитой следует с помощью командной строки.
Данная команда выведет детальную информацию.
Здесь мы увидим модель и состояние нашего контроллера AVAGO MegaRAID SAS 9460-8i. Видим что есть батарейка в состоянии Opt . Видим, что к контроллеру подключены два физических диска.
Получим список виртуальных дисков для контроллера:
Небольшое отступление. Синтаксис команды гибкий, вы можете писать параметры со слешами двумя способами: с отступами и без отступов. При работе в командной строке я предпочитаю ставить отступы, а при написании скриптов пишу без отступов, мне так удобнее.
Найден один массив RAID1 объёмом 6.985 TB в состоянии Optimal . В операционной системе это Disk 0 .
Посмотрим на физические диски:
Вижу один NVMe диск в слоте 6 и корпусе 74. Так, а где второй диск? Не знаю как устроена структура этого контроллера, но второй диск я-таки нашёл:
Вижу второй NVMe диск тоже в слоте 6 и без корпуса. Оказывается, параметр /eall отображает все диски во каждом Enclosure, а бывают диски, которые не привязаны к корпусам, это было для меня новостью.
Есть способ отобразить все диски, нужно обратиться к дисковым группам:
Список инструментов управления для LSI/Avago
Правильно подобранная утилита, может выполнять поставленную задачу в разы удобнее и быстрее, и знание всех инструментов является прямой обязанностью любого системного администратора.
Кстати я уже делал похожие подборки по инструментам управления и настройки для серверов IBM, Supermicro и HP
LSI MegaRAID 9460-8i
Внешний вид контроллера LSI MegaRAID 9460-8i
RAID-контроллер является самостоятельным аппаратным решением. Контроллер работает только с накопителями, подключенными непосредственно к нему. Данный RAID-контроллер поддерживает до 24 накопителей с интерфейсом NVMe. Именно поддержка NVMe выделяет этот контроллер из множества других.
Главное меню аппаратного контроллера
При использовании режима UEFI настройки контроллера интегрируются в Setup Utility. В сравнении с VROC меню аппаратного контроллера выглядит значительно сложнее.
Создание RAID1 на двух дисках
Объяснение настройки дисковых массивов на аппаратном контроллере является достаточно тонкой темой и может стать поводом для полноценной статьи. Здесь же мы просто ограничимся созданием RAID0 и RAID1 с настройками по умолчанию.
Диски, подключенные в аппаратный контроллер, не видны операционной системе. Вместо этого контроллер «маскирует» все RAID-массивы под SAS-накопители. Накопители, подключенные в контроллер, но не входящие в состав дискового массива, не будут доступны ОС.
Несмотря на маскировку под SAS-накопители, массивы с NVMe будут работать на скорости PCIe. Однако такая особенность позволяет загружаться с NVMe в Legacy.
Linux Software RAID
Программные RAID-массивы в семействе ОС Linux — достаточно распространенное решение как в клиентском сегменте, так и в серверном. Все, что нужно для создания массива, — утилита mdadm и несколько блочных устройств. Единственное требование, которое предъявляет Linux Software RAID к используемым накопителям, — быть блочным устройством, доступным системе.
Отсутствие затрат на оборудование и программное обеспечение — очевидное преимущество данного способа. Linux Software RAID организует дисковые массивы ценой процессорного времени. Список поддерживаемых уровней RAID и состояние текущих дисковых массивов можно посмотреть в файле mdstat, который находится в корне procfs:
Поддержка уровней RAID добавляется подключением соответствующего модуля ядра, например:
Все операции с дисковыми массивами производятся через утилиту командной строки mdadm. Сборка дискового массива производится в одну команду:
После выполнения этой команды в системе появится блочное устройство /dev/md0, которое представляет из тебя виртуальный диск.
Виды RAID-контроллеров
Существует два способа создать и использовать RAID-массивы: аппаратный и программный. Мы рассмотрим следующие решения:
- Linux Software RAID.
- Intel® Virtual RAID On CPU.
- LSI MegaRAID 9460-8i.
Ссылки
Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.
В данной статье мы расскажем про разные способы организации RAID-массивов, а также покажем один из первых аппаратных RAID-контроллеров с поддержкой NVMe.
Все разнообразие применений технологии RAID встречается в серверном сегменте. В клиентском сегменте чаще всего используется исключительно программный RAID0 или RAID1 на два диска.
В этой статье будет краткий обзор технологии RAID, небольшая инструкция по созданию RAID-массивов с помощью трех разных инструментов и сравнение производительности виртуальных дисков при использовании каждого из способов.
Что такое RAID?
RAID (англ. Redundant Array of Independent Disks — избыточный массив независимых (самостоятельных) дисков) — технология виртуализации данных для объединения нескольких физических дисковых устройств в логический модуль для повышения отказоустойчивости и производительности.
Конфигурация дисковых массивов и используемые при этом технологии зависят от выбранного уровня RAID (RAID level). Уровни RAID стандартизированы в спецификации Common RAID Disk Data Format. Она описывает множество уровней RAID, однако самыми распространенными принято считать RAID0, RAID1, RAID5 и RAID6.
RAID0, или Stripes, — это уровень RAID, который объединяет два или более физических диска в один логический. Объем логического диска при этом равен сумме объемов физических дисков, входящих в массив. На этом уровне RAID отсутствует избыточность, а выход из строя одного диска может привести к потере всех данных в виртуальном диске.
Уровень RAID1, или Mirror, создает идентичные копии данных на двух и более дисках. Объем виртуального диска при этом не превышает объема минимального из физических дисков. Данные на виртуальном диске RAID1 будут доступны, пока хотя бы один физический диск из массива работает. Использование RAID1 добавляет избыточности, но является достаточно дорогим решением, так как в массивах из двух и более дисков доступен объем только одного.
Уровень RAID5 решает проблему дороговизны. Для создания массива с уровнем RAID5 необходимо как минимум 3 диска, при этом массив устойчив к выходу из строя одного диска. Данные в RAID5 хранятся блоками с контрольными суммами. Нет строгого деления на диски с данными и диски с контрольными суммами. Контрольные суммы в RAID5 — это результат операции XOR, примененной к N-1 блокам, каждый из которых взят со своего диска.
Хотя RAID-массивы повышают избыточность и предоставляют резервирование, они не подходят для хранения резервных копий.
После краткого экскурса по видам RAID-массивов можно переходить к устройствам и программам, которые позволяют собирать и использовать дисковые массивы.
StorCLI
Скачиваю утилиту storcli . Доступна версия MR 7.19.
Это очень мощная утилита по управлению RAID контроллером. Сегодня нам понадобится минимум функционала для просмотра информации о дисках. Данную утилиту я планирую использовать для автоматизированного мониторинга за дисками сервера.
В архиве имеются версии storcli для разных операционных систем. Нас интересует папка Windows. Копирую оттуда утилиту storcli64.exe в удобную для себя директорию C:\zabbix\scripts .
Работать с утилитой следует с помощью командной строки.
Данная команда выведет детальную информацию.
Здесь мы увидим модель и состояние нашего контроллера AVAGO MegaRAID SAS 9460-8i. Видим что есть батарейка в состоянии Opt . Видим, что к контроллеру подключены два физических диска.
Получим список виртуальных дисков для контроллера:
Небольшое отступление. Синтаксис команды гибкий, вы можете писать параметры со слешами двумя способами: с отступами и без отступов. При работе в командной строке я предпочитаю ставить отступы, а при написании скриптов пишу без отступов, мне так удобнее.
Найден один массив RAID1 объёмом 6.985 TB в состоянии Optimal . В операционной системе это Disk 0 .
Посмотрим на физические диски:
Вижу один NVMe диск в слоте 6 и корпусе 74. Так, а где второй диск? Не знаю как устроена структура этого контроллера, но второй диск я-таки нашёл:
Вижу второй NVMe диск тоже в слоте 6 и без корпуса. Оказывается, параметр /eall отображает все диски во каждом Enclosure, а бывают диски, которые не привязаны к корпусам, это было для меня новостью.
Есть способ отобразить все диски, нужно обратиться к дисковым группам:
Что такое LSI Storage Authority Software?
LSA (LSI Storage Authority Software) - это утилита Windows/Linux предназначенная для создания, конфигурирования RADI массивов на RAID контроллерах LSI/Avago. Умеющая управлять практически любыми его настройками и функциями, например выбор кэширования, размер страйпа, настройка оповещений, фоновая проверка ошибок на предмет наличия битых секторов, одним словом это комбайн для управления вашим контроллером. LSA пришла на смену утилите LSI MSM, которую мы ранее с вами устанавливали и решали кучу багов и разного рода проблем, например "unable to connect to cimom server ". Огромным преимуществом LSI Storage Authority Software перед старым LSI MSM, это наличие веб-интерфейса, что позволяет управлять всеми настройками из браузера, с любого устройства, что согласитесь дает системному администратору больше гибкости в плане удобства, так и с точки зрения безопасности.
Intel® Virtual RAID On CPU
Intel® VROC Standard Hardware Key
Intel® Virtual RAID On CPU (VROC) — это программно-аппаратная технология для создания RAID-массивов на базе чипсетов Intel®. Данная технология доступна в основном для материнских плат с поддержкой процессоров Intel® Xeon® Scalable. По умолчанию VROC недоступен. Для его активации необходимо установить аппаратный лицензионный ключ VROC.
Стандартная лицензия VROC позволяет создавать дисковые массивы с 0, 1 и 10 уровнями RAID. Премиальная версия расширяет этот список поддержкой RAID5.
Технология Intel® VROC в современных материнских платах работает совместно с Intel® Volume Management Device (VMD), которая обеспечивает возможность горячей замены для накопителей с интерфейсом NVMe.
Intel® VROC со стандартной лицензией Настройка массивов производится через Setup Utility при загрузке сервера. На вкладке Advanced появляется пункт Intel® Virtual RAID on CPU, в котором можно настроить дисковые массивы.
Создание массива RAID1 на двух накопителях
Технология Intel® VROC имеет свои «козыри в рукаве». Дисковые массивы, собранные с помощью VROC, совместимы с Linux Software RAID. Это означает, что состояние массивов можно отслеживать в /proc/mdstat, а администрировать — через mdadm. Эта «особенность» официально поддерживается Intel. После сборки RAID1 в Setup Utility можно наблюдать синхронизацию накопителей в ОС:
Отметим, что через mdadm нельзя собирать массивы на VROC (собранные массивы будут Linux SW RAID), но можно менять в них диски и разбирать массивы.
Настройка уведомлений в LSA
Настроить какие оповещения стоит логировать и проводить оповещение в LSI Storage Authority находится в настройках, которые можно найти на против имени вашей учетной записи. Выбрав пункт "Settings".
Вкладка "Alert Settings" позволяет удобно выставить галочки на против того типа событий, которые следует логировать и посылать по почте.
Mail Server позволяет вам задать учетную запись от имени которой будут отправляться письма с оповещениями.
На вкладке "Email" вы можете составить список email адресов на которые нужно будет высылать оповещения.
Где скачать LSI Storage Authority
Для того, чтобы загрузить последнюю версию LSA вам необходимо зайти на сайт Lenovo, которой на текущий момент принадлежит бизнес LSI/Avago контроллеров, это долгая история поглощений.
В поисковую строку вводим LSI Storage Authority и нажимаем найти.
Переходим на вкладку загрузки и выбираем версию под вашу операционную систему, я буду устанавливать для Windows.
На текущий момент последней версией является 004.189.000.000. Она рассчитана на операционные системы Windows Server 2012 R2 до Windows Server 2019.
Распаковываем дистрибутив LSA и запускаем для последующей установки.
Заключение
Использование аппаратных решений для создания дисковых массивов из двух дисков выглядит нерационально. Тем не менее, существуют задачи, где использование RAID-контроллеров оправдано. С появлением контроллеров с поддержкой интерфейса NVMe у пользователей появляется возможность использовать более быстрые SSD в своих проектах.
Я хочу рассказать вам о том, как я восстанавливал прошивку RAID-контроллера LSI MegaRAID после неудачного обновления.
Когда эта беда случилась со мной, то информации об этом я практически не нашел, хотя, допускаю, что плохо гуглил.
Анамнез
В своей работе я уже достаточно давно использую серверы Supermicro, так как у них есть большой выбор платформ, достаточно демократичная цена и приличная надежность.
Зачастую, особенно в случае с 1U серверами я беру их уже с интегрированным контроллером LSI MegaRAID.
Но проблема с ними заключается в том, что сама Supermicro не очень охотно выкладывает прошивки для встроенных контроллеров, так что я их обычно прошиваю актуальной прошивкой (масло масляное, да) от аналогичного контроллера LSI. Проблем не возникало до этих пор.
Недавно привезли несколько серверов с контроллерами LSI 2208 на борту и достаточно старой прошивкой.
Т.к. дискретные контроллеры на этих чипах я тоже активно использую, то особо не сомневаясь загрузился с флешки с Linux-ом, запустил привычное:
и пошел заниматься дальше своими делами.
Делаю Reset и вижу такую картину:
Да, беда. Поиски в интернетах не привели к какому-либо результату. Судя по всему, проблема достаточно редкая.
Лечение
Я попробовал загрузиться с флэшки и прошить контроллер заново, но ни под DOS, ни под Linux утилита MegaCli его уже не определяла вообще. Прошивать, соответственно, тоже отказывалась.
Так что я обратился в саппорт LSI, где добрый человек с индусским именем указал мне на документацию к MegaRAID, а именно на страницу 305, где есть такой достаточно незаметный подраздел, который толком не объясняет зачем же делать то, что в нем написано:
Ага, подумали партизаны, наверное это прошивка в режиме восстановления, и взялись за дело.
Под Windows флэшку с FreeDOS сделать проще всего используя утилиту Rufus, буквально в один клик.
Под Linux сделать аналогичное можно подручными средствами (используя syslinux или GRUB), на эту тему есть много статей.
Обращаю внимание, что указывать адаптер (опция -a) не нужно, судя по всему он прошивает все какие найдёт, либо первый попавшийся на PCI шине.
Прошивка в этом режиме занимает достаточно долгое время, около 15 минут, так что наберитесь терпения.
Когда он закончит — выключаем сервер по питанию, включаем его обратно и ждем чуда.
Но вместо чуда видим мы такую вот безрадостную картину:
Гугление по такой ошибке приводит к единственной ссылке на блог нашего соотечественника, где он на чистом английском советует отключить от контроллера BBU, вынуть контроллер из сервера и потом поставить обратно.
В моем случае вынуть карту из сервера можно только лобзиком, BBU у меня нет, так что не вариант.
Пробую прошить стандартным способом, MegaCli обнаруживает контроллер, но говорит то же самое, мол F/W is in fault state, так что ничего делать не буду.
Обращаемся опять в саппорт, который разводит руками и советует попробовать LSI Pre-Boot USB and CD tool, а если он не поможет, то сдавать железо назад.
Ок, качаем ISO, подключаем его через IPMI к серверу и грузимся.
Выбираем в меню загрузки пункт recovmr, затем нам предлагают написать в командной строке recover и наступит счастье. Но не наступило.
BAT-файл не может найти подключенный диск D:, видимо драйвер CDROM в FreeDOS на этом образе LSI не дружит с виртуальным приводом IPMI.
Хорошо, заглядываем в BAT файл и смотрим, что же он там собирался делать:
Открываем ISO, ищем этот загадочный файл и видим, что он размером аж 16 мегабайт (да, мы уже догадывались из названия), что вдвое больше стандартной прошивки. Видимо, этот образ ROM полностью переписывает микросхему Flash на контроллере.
Пытаемся прошить его так же, как это собирался делать BAT-ник, но получаем знакомое: F/W is in fault state
Да, так себе Recovery-образ подготовила нам LSI.
Ладно, используем наш предыдущий опыт и пытаемся прошить этот файл через Mode0.
На этот раз прошивка заняла минут 30, так как файл вдвое больше обычного. После прошивки обесточиваем сервер, включаем его обратно и видим заветный экран:
Салют, шампанское, сервер спасён!
Но этот живительный образ содержит не самую свежую версию прошивки, так что я с легким сердцем опять загрузился с FreeDOS-флешки и пошел прошивать его свежей прошивкой от Supermicro… и опять получил зависание на той же стадии, как в самом начале:
Круг замкнулся. Я даже для верности оставил его в таком виде на ночь, но ничего не изменилось.
После перезагрузки имеем опять битую прошивку.
Методом проб и ошибок было выяснено, что после прошивки образа восстановления нужно сделать сброс к заводским настройкам:
и выключить-включить сервер.
После этого прошивается уже без зависания, и мы видим свежую версию прошивки:
Всё, на этот раз получилась 100% победа над непокорным железом!
Выписка
Мораль сей басни такова: если не хочется потратить пару дней на восстановление или еще больше на возврат оборудования, то лучше все-таки прошиваться предназначенными производителем железа прошивками (если он их выкладывает, у того же Supermicro я ее нашел только копаясь в дебрях FTP — на странице сервера или материнской платы ссылок нет), либо ничего не трогать и жить с той, которая уже есть.
Хотя я не уверен что проблема была вызвана именно «инородной» прошивкой, а не каким-то случайным глюком, но проверять это еще раз мне не хочется.
Бывают и такие случаи, когда прошивка просто по какой-то причине портится (выключили электричество во время прошивки или еще какой гамма-всплеск случился в ближнем космосе), и тогда придётся прибегнуть к аварийному восстановлению.
Надеюсь, что эта статья поможет тем, кто наткнётся на похожую проблему в будущем.
Тестовый стенд
Каждый из способов организации дисковых массивов имеет свои физические плюсы и минусы. Но есть ли разница в производительности при работе с дисковыми массивами?
Для достижения максимальной справедливости все тесты будут проведены на одном и том же сервере. Его конфигурация:
- 2x Intel® Xeon® 6240;
- 12x DDR4-2666 16 GB;
- LSI MegaRAID 9460-8i;
- Intel® VROC Standard Hardware Key;
- 4x Intel® SSD DC P4510 U.2 2TB;
- 1x Samsung 970 EVO Plus M.2 500GB.
Обзор настроек контроллера в LSA
Щелкаем по имени вашего контроллера, в моем примере, это LSI MegaRAID SAS 9280-16i4e.
В пункте "Controller Info" нажмите "+", чтобы развернуть его сводные данные.
Ниже будет раздел "Premium Features", где вы можете при наличии ключей активировать дополнительные плюшки.
В правой части экрана будут кнопки действий, тут нас будет интересовать две:
- Configure - которую мы уже видели, она нужна для удаления текущей конфигурации и создания новой
- More Action - она состоит из:
- Schedule Consistency Check - включение или отключение задания проверки целостности, которая будет запускаться в фоновом режиме и проверять все ли хорошо. Она конечно полезна, но кушает лишние IOPS.
- Set Patrol Read Properties - Выберите режим работы для чтения поиска ошибок из раскрывающегося списка Set Patrol Read Mode.
- Automatic - чтение выполняется автоматически в указанный вами промежуток времени.
- Manual - чтение патрулирования запускается только тогда, когда вы запускаете его вручную, выбрав "Начать чтение" на панели управления контроллера.
- Disable - чтение не запускается.
- Set Adjustable Task Rate - регулировка скорости при:
- Rebuild Rate - Скорость восстановления - введите число от 0 до 100, чтобы контролировать скорость, с которой восстановление выполняется на диске, когда это необходимо. Чем выше число, тем быстрее будет происходить перестройка (и в результате скорость ввода-вывода может быть ниже).
- Patrol Rate - Скорость патрулирования - введите число от 0 до 100, чтобы контролировать скорость, с которой выполняются патрульные чтения. Патрульное чтение контролирует диски, чтобы найти и решить потенциальные проблемы, которые могут вызвать сбой диска. Чем выше число, тем быстрее будет происходить считывание патруля (и в результате скорость ввода-вывода может быть ниже).
- BGI Rate (частота фоновой инициализации) - введите число от 0 до 100, чтобы контролировать скорость, с которой виртуальные диски инициализируются в фоновом режиме. Фоновая инициализация устанавливает зеркальное отображение или четность для виртуального диска RAID, одновременно предоставляя полный доступ к виртуальному диску. Чем выше число, тем быстрее произойдет инициализация (и в результате скорость ввода-вывода может быть ниже).
- Consistency Check Rate - Проверка согласованности - введите число от 0 до 100, чтобы контролировать скорость, с которой выполняется проверка согласованности. Проверка согласованности сканирует данные согласованности на отказоустойчивом виртуальном диске, чтобы определить, не повреждены ли эти данные. Чем выше число, тем быстрее выполняется проверка согласованности (и в результате скорость ввода-вывода может быть ниже).
- Reconstruction Rate - Скорость реконструкции. Введите число от 0 до 100, чтобы контролировать скорость, с которой происходит реконструкция виртуального диска. Чем выше число, тем быстрее происходит реконструкция (и в результате скорость ввода-вывода может быть ниже).
- Manage Power Save Settings - Набор функций MegaRAID Dimmer Switch (энергосбережение) снижает энергопотребление устройств, подключенных к контроллеру MegaRAID, что помогает более эффективно распределять ресурсы и снижает стоимость.
- Unconfigured Drives - Установите флажок, чтобы разрешить контроллеру включить не настроенные диски в режим энергосбережения.
- Hot Spare Drives - Установите флажок, чтобы разрешить контроллеру включить диски горячего резервирования для перехода в режим энергосбережения.
Разобравшись с кнопками действий, посмотрим информацию о виртуальных дисках и физических дисках. Для этого загляните в соответствующую область. Как видим у меня есть три Virtual Drives.
На каждом есть вкладка "Physical Drives", позволяющая посмотреть из каких физических дисков состоит данный массив. Например посмотрим состав DG_2. Вижу, что это 6 SSD дисков. Выбрав любой из них, я могу посмотреть все его характеристики: Статус, Product ID, Vendor ID, Serial Number, Device ID, объем, температура и многое другое. Тут же вы можете перевести его в оффлайн, разметить.
Утилита LSI Storage Authority
Про LSA (LSI Storage Authority) я уже делал подробнейший обзор. На текущий момент, это флагманский инструмент имеющий графический интерфейс управления, прямо из вашего браузера, что делает его кросплатфомным, убирающим привязку к операционной системе. Что хорошо, что утилита работает не на медленном Java, а на HTML5, что делает ее очень удобной.
Вот так выглядит общий дашборд управления, на нем вы увидите список ваших устройств представленных на сервере, в моем примере Controller ID: 0 LSI MegaRAID SAS 9280-16i4e.
Вот так выглядит информация по вашим виртуальным и физическим дискам. Хочу отметить, что LSI Storage Authority показывает больше информации по свойствам физических дисков, тут вы легко обнаружите:
- Status - Online
- Exposed As - PHYSICAL-DEVICE
- Product ID - THNSF8480CCSE
- Vendor ID - ATA
- Serial Number - Y7PS10C2TBJT
- Shield Counter - 0
- Device ID - 64
- Usable Capacity - 446.62GB Capacity - 447.13GB
- less properties - General Properties
- SAS Address 0 - 0x500062b200185da2
- Negotiated Link Speed - 6G
- Drive Speed - 6G
- Temperature - 25C
- Revision Level - DAC9
- Power Status - On
- Native Command Queueing Capable - No
- Physical Sector Size - 512B
- SCSI UNMAP - Disabled
- Enclosure Properties
- Enclosure ID - 245
- Enclosure Model - Backplane
- Enclosure Location - Internal
- Enclosure Connector - N/A
- Drive Security Properties
- Full Disk Encryption Capable - No
- Full Disk Encryption Type - NONE
- Protection Information Properties
- Protection Information - Incapable
Результат
Мы выяснили, что на сервере есть RAID1 массив из двух NVMe дисков.
Реализация нумерации корпусов и слотом странная. Кстати, в BIOS отображается с такими же EID:Slot. Утилита LSA для Windows тоже видит диски именно так. Установка последней прошивки контроллера ситуацию не изменила. Этот массив я не собирал, а получил готовую сборку вместе с сервером, так что прокомментировать этот момент не могу. Вероятно, это такая фича для NVMe дисков.
Ещё для меня стало новостью, что диски в контроллере могут быть не привязаны к Enclosure. Это привело к тому, что пришлось переписать шаблон для мониторинга LSI контроллеров в Zabbix, добавив автообнаружение именно таких дисков.
Читайте также: