Объем кэш памяти установленного дискового контроллера
По долгу работы нашим сотрудникам приходится ежедневно отвечать на вопросы пользователей, поэтому имеет смысл привести наиболее популярные из них.
Какие операционные системы поддерживаются RAID
Внутренние RAID-контроллеры фирмы Mylex совместимы со стандартной ПК платформой, сертифицированы и имеют драйвера для работы со следующими ОС:
- Novell NetWare 3.12, 4.xx, 5.xx
- SCO Unix OSR 5.x
- SCO UnixWare 2.1, 7.x
- SUN Solaris 2.x, 7.x
- Linux
- MS Windows NT 3.51, 4.0
- MS DOS, Windows 95/98/2000
- IBM OS/2
Как правило, необходимые драйвера входят в комплект поставки как самой операционной системы, так и в комплект DAC Software kit, обязательно поставляемый вместе с описанием настройки и конфигурации RAID-контроллера. Если не сказано иное, выбирать нужно драйвер, имеющий более свежую дату создания. При этом полезно также посетить и сайт Mylex, почти наверняка там окажется еще более свежая версия. Учитывая появление драйверов под Linux, можно предположить и скорое появление драйверов для BSD.
Внешние RAID-контроллеры (SUI, SXI, SF, FL, FF ) опознаются ОС, как дисковые накопители и никаких дополнительных драйверов не требуют, что позволяет их использовать с любой операционной системой.
WIDTH="20" HEIGHT="40">
Какого объема кэш необходимо иметь на контроллере
2MB кэш-памяти всегда используется для работы процессора контроллера, а остальное отдается под кэширование данных, поэтому чем больше кэш, тем лучше — кэшем контроллер не испортишь. Но чтобы реально подойти к оптимальному выбору объема кэш-памяти, необходимо хотя бы приблизительно представлять себе, какой обьем оперативной информации постоянно работает с дисковой системой. Четких рекомендаций здесь быть не может, но из собственного опыта работы посоветуем, чтобы объем дискового пространства в GB и объем кэш-памяти в MB представляли величины хотя бы одного порядка.
Как правильно выбрать режим работы кэша
У кэша RAID-матрицы есть два режима работы: сквозная запись (Write Through) и отложенная запись (Write Back). При первом режиме контроллер не дает подтверждения записи, пока данные не попали на диски, при втором достаточно того, чтобы данные попали в кэш. Второй режим помогает значительно увеличить производительность RAID-системы. Особенно это сказывается при наличии большого кэша и режима записи/чтения маленьких объемов информации. Существенный недостаток его в том, что при потере питания на контроллере или аппаратной перезагрузки информация безвозвратно теряется, так и не попав на диски. Здесь возможны три варианта: отказ от дополнительного быстродействия RAID-системы в пользу надежности; пренебрежение возможностью потерять данные из кэша в пользу производительности; приобретение дополнительного устройства BBU (cache Battery BackUp) для питания и регенерации содержимого кэш-памяти в случае аппаратного отказа более высокого уровня (контроллер, материнская плата, блок питания, UPS).
Возможно ли улучшить производительность чтения длинных файлов
Да. Жесткие диски показывают плохую производительность при чтении случайных секторов. Можно повысить этот показатель, если читать предполагаемый сектор заранее. Для этого в конфигурационной утилите контроллера существует опция "чтение вперед" (Read ahead). Если в данных имеются часто используемые длинные файлы необходимо установить параметр с состояние "активно".
Как определить состояние контроллера при зависании сервера
Какими бы ни были надежными сервера и операционные системы, нельзя быть уверенным, что система не зависнет. Самое неприятное в этой ситуации — необходимость делать аппаратную перезагрузку, не представляя себе, что происходит с дисковой системой. Предотвратить эту ситуацию можно при аппаратной установке RAID. На плате контроллера имеется разъем для трех индикаторов: активность SCSI-шины, активность шины PCI (EISA), "полный кэш" (данные в кэше еще не попали на диск). Желательно последний из них вывести на светодиод корпуса сервера. По состоянию этих индикаторов можно определить активность контроллера. При "чистом" кэше можно смело делать перезагрузку, не опасаясь потери данных. По рекомендации производителя необходимо выждать не менее 15 сек. после зависания или не менее 3 сек. после выключения индикатора "полный кэш", прежде чем делать перезагрузку. Разумеется, все это относится к случаю использования режима Write Back без установленного модуля BBU. При наличии BBU содержимое кэш-памяти сохраняется и после перезагрузки автоматически переносится на жесткие диски.
Чем отличаются модели MYLEX DACPG и MYLEX DACPJ
Это практически идентичные по функциональным возможностям серии контроллеров для шины PCI с каналами UltraWIDE SCSI. Принципиальное различие в типе RISС-процессора. На модели PG установлен более экономичный i960RP 33MHz, а на модели PJ — более производительный i960RD 66MHz. Кроме того, для дальнейшего повышения производительности управление кэш-памятью в модели PJ перенесено из firmware в отдельный кристалл контроллера памяти 86238. В соответствии с этим серия PG больше подходит для решений с упором на экономичность, в то время как серия PJ ориентирована на максимальное быстродействие.
Чем отличаются модели DACPG/PJ и серия AcceleRAID
Новая экономичная серия контроллеров AcceleRAID 150 и 250 создана на базе DAC960PG и PJ соответственно, т.е. использует одинаковые с ними процессоры, микросхемы поддержки и алгоритмическую реализацию. Серия AcceleRAID ориентирована на минимальный бюджет, поэтому собрана на плате половинной длины, для чего разработчикам пришлось ограничиться всего лишь одним SCSI каналом и отказаться от возможности установки BBU. Правда, взамен за это пользователь получает уже не UltraWIDE SCSI, а в два раза более производительный канал Ultra2. Кроме того, контроллер может использовать имеющиеся на материнской плате канальные SCSI процессоры Symbios для организации дополнительных RAID-каналов, превращаясь таким образом в 2-х или даже 3-канальный.
Какими средствами можно конфигурировать RAID
С любым RAID-контроллером должна поставляться утилита конфигурации под MS-DOS (daccf.exe). После физической установки RAID-контроллера можно загрузиться с дискеты или дополнительного винчестера и запустить утилиту. После создания матрицы и системных дисков всю конфигурацию можно сохранить на дискете прямо из программы. После окончания работы и перезагрузки получаются готовые для работы системные диски.
В контроллерах 5-го поколения (PG, PJ , AcceleRAID 170, AcceleRAID 170LP, AcceleRAID 352 ) и выше эта же конфигурационная утилита присутствует в BIOS самого контроллера и может вызываться по Alt-R при начальной загрузке.
Подключение внешних устройств
Учитывая малый размер задней планки (bracket), производитель был вынужден отказаться от использования распространенных разъемов Micro DB-68 и применить сверхминиатюрные разъемы UHD (Ultra High Density). Таким образом, внешний соединительный кабель со стороны контроллера должен иметь разъем UHD, а с другой стороны — любой удобный пользователю, обычно Micro DB-68.
Как предупредить выход HDD из строя
Вылет нескольких дисков разом в 99% случаев бывает либо по причине внешнего воздействия, либо по причине несовместимости, либо по причине кабельной системы. Мониторинг SMART тут никак не поможет.
Еще одна плохая ситуация - это наличие логических или физических бэдов на одном или нескольких дисках. Если при этом вылетает другой винт, информацию на нем просто не из чего ребилдить. Но это легко предотвращается периодической верификацией массива, батарейкой на контроллере и выключением кэша на дисках.
Как предпочтительнее производить замену диска
Теоретически - надежнее с выключенным питанием. Практически - без разницы. RAID-массив не влияет на отказоустойчивость. Он влияет на доступность данных при выходе из строя одного или нескольких дисков в массиве. На отказоустойчивость влияет наличие бэкапов на внешних устройствах.
Что такое LUN (лун)
LUN - Logical Unit Number
В сказевых системах (а также FC, SAS и практически всех рэйд контроллерах, даже SATA) используется следующая схема адресации устройств - шина (Bus) - адрес (ID) - подадрес (LUN). Аналогия простая: улица - дом - квартира.
Понятие лунов введено в скази стандарт, т.к. существует много систем, где на одном адресе сидит много разных устройств. Например, внешние дисковые системы, которые цепляются к серверу одним кабелем - один порт имеет один адрес. Вот чтобы на этом одном адресе видеть кучу дисков и нужны луны.
Луном может быть не только логический диск. Это может быть например мониторинговый SES процессор или сам контроллер (для управления непосредственно через шину, без Ethernet хвоста).
Что такое "bad stripes"
Кратко - это значит, что на дисках имеются сбойные блоки, информацию из которых контроллер не способен восстановить.
Это может быть:
бэд блок на винте, если массив degraded (т.е. парити для этого блока просто нет).
бэд блоки на двух и более винтах с одинаковыми адресами (т.е. разрушен одновременно и блок данных, и соответствующий ему блок парити).
аналогично предыдущему, но повреждения не физические, а логические (например вследствие краха питания при включенном кэше дисков или контроллера, при отсутствии BBU).
Такое может случиться с любым рэйд контроллером, не только адаптек. Просто адаптек в таком случае не объявляет массив "dead", а помечает блоки как сбойные и сигнализирует админу, давая возможность успеть разобраться (т.е. сбэкапить то, что еще можно).
Диски и контроллер при этом могут быть исправны.
Вылечить это НЕВОЗМОЖНО. В принципе невозможно. Можно только предотвратить.
Во избежание подобных разрушений:
выключать кэш на дисках.
всегда использовать BBU при включенном write back кэше контроллера.
периодически (хотя бы раз в месяц) прогонять верификацию массива (при этом мелкие повреждения будут автоматически выявлены, перевычислены и перезаписаны, диск же отремапится).
Общая последовательность действий при отказе винта в RAID
Отключаем отказавший винт, вытаскиваем из сервера.
Подключаем отказавший винт к "просто" SCSI-контроллеру (HBA, не RAID) и проверяем утилитой вендора винта.
Если винт исправен - подключаем его обратно и делаем Rebuild, либо, если был hot-spare - помечаем как hot-spare именно этот винт.Если неисправен - меняем на заведомо исправный, потом делаем то, что описано выше в п.3 для исправного.
Очень желательно - выполняем Check Consistency/Verify/как оно еще называется у вендоров, смысл - проверка целостности массива.
Чего делать ни в коем случае нельзя:
вытаскивать и быстро вставлять обратно винт: помните, и у контроллера, и у SAF-TE процессора корзины есть время между опросом винтов, и если Вы умудритесь сделать описанное выше за меньшее, чем это, время - реакция контроллера может быть непредсказуемой: с большой вероятностью массив просто развалится. Просто подождите от 30 секунд до минуты, прежде чем вставлять винт обратно.
переставлять на Degraded или Failed массиве винты местами: Drive Roaming - фича, позволяющая контроллеру опознавать принадлежность винтов к конкретным массивам при смене SCSI ID - не работает, и если Вы забудете, где какой винт стоял (а это, поверьте, совсем не сложно) - убьете информацию на массиве.
Что такое HBA
HBA - Host Bus Adapter. Простой контроллер, который ставится в сервер и имеет наружу или внутрь интерфейс нужного типа (SCSI , SAS, FibreChannel . ). Примеры - Adaptec 29320А, Adaptec 29320АLP , Qlogic QLA2460 . Применяется обычно для подключения разного рода стримеров, внешних дисковых массивов.
Часто также подключаются диски, если не требуется функционал, надежность и производительность полноценных RAID контроллеров.
Иногда имеет примитивные рэйдовые функции (страйп, зеркало). Но работают такие "hostraid'ы" далеко не всегда стабильно.
На плечах RAID-контроллеров лежит ответственная задача — управление дисковой подсистемой, то есть всей информацией, хранимой на сервере. Именно они отвечают за работу дисковых массивов, позволяя повысить производительность сервера или надёжность хранения данных. Поэтому давайте поговорим о RAID-контроллерах, установленных в серверы вендоров «большой тройки», об их возможностях и особенностях.
Можно ли использовать в RAID массиве диски разных производителей?
Да, можно. Но при этом надо иметь ввиду, что точные размеры дисков одинаковой емкости (36/73/146. ГБ) у разных производителей могут отличаться на несколько килобайт. Когда вы создаете новый RAID массив, на это можно не обращать внимание, но если вы добавляете диски к уже существующему массиву (например, меняете вышедший из строя диск), то важно, чтобы новый диск был больше чем старые, или точно такого же размера.
Что такое Hotswap?
Как выбрать подходящий контроллер?
Если вы решили апгрейдить сервер и озаботились выбором RAID-контроллера, то в первую очередь исходите из ваших потребностей.
Вам нужна хорошая производительность, но не волнует сохранность данных? Или хочется с небольшими усилиями повысить отказоустойчивость, поступившись скоростью? Понадобился простенький веб-сервер для нужд разработки? Достаточно выбрать недорогой контроллер и создать RAID 0 или 1. Можно даже без кэш-памяти.
При желании сэкономить на накопителях или выжать всю возможную ёмкость из имеющихся, рассмотрите вариант с RAID 5 или 50. Это вполне годное решение для создания архивов. Для таких задач достаточно взять контроллер с поддержкой нужного вида RAID и кэш-памятью среднего объёма.
При создании высокоскоростных и надёжных массивов под базы данных, или больших хранилищ под файловые серверы, нужны производительные контроллеры с большим объёмом кэш-памяти и высокой пропускной способностью. Это тот случай, когда экономия на одном устройстве может свести на нет все ваши усилия.
Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.
Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.
Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:
- Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
- Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
- Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.
Что такое BBU и зачем он нужен?
BBU (Battery Backup Unit) необходим для предотвращения потери данных находящихся в кэш-е RAID контроллера и еще не записанных на диск (отложенная запись - "write-back caching"), в случае аварийного выключения компьютерной системы.
Существуют три разновидности BBU:
- Просто BBU: это аккумулятор, который обеспечивает резервное питание кэша через RAID контроллер.
- Переносимые (Transportable) BBU (tBBU): это аккумулятор, который размещен непосредственно на модуле кэш и питает его независимо от RAID контроллера. В случае выхода из строя RAID контроллера, это позволяет перенести данные, сохраненные вкэш-е, на резервный контроллер и уже на нем завершить операцию записи данных.
- Flash BBU: основная идея заключается в следующем: в случае сбоя питания RAID контроллер копирует содержимое кэш-а в энергонезависимую память (например, в случае с технологией Adaptec » Zero-Maintenance Cache Protection - на NAND флэш накопитель). Питание, необходимое для завершения этого процесса, обеспечивается встроенным супер-конденсатором. После восстановления питания, данные из флэш памяти копируются обратно в кэш контроллера.
Прошивка
Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе.
Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.
Важно — не следует выполнять перепрошивку самостоятельно, поскольку любая ошибка может привести к потере данных!
Управление контроллером
Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:
- Debian,
- Ubuntu,
- Red Hat Linux,
- Fedora,
- SuSE Linux,
- FreeBSD,
- Solaris,
- Microsoft Windows,
- Citrix XenServer,
- VMware ESXi.
С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.
Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.
Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.
Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.
Делается это очень просто:
-
Запрашивается список подключенных дисков к контроллеру:
Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.
Что такое RAID-контроллер?
Чаще всего задачи, выполняемые серверами, требуют высокой скорости чтения/записи данных и/или необходимость сохранить данные при выходе из строя самих накопителей. Поэтому установка в сервер единственного диска редко имеет смысл. Этот вариант можно рассматривать, если нагрузка будет совсем небольшой, а сохранность данных не волнует вовсе. Да и объёмы информации, которыми оперируют серверы, часто требуют куда больше пространства для хранения, чем может дать один диск. А чем больше накопителей, тем выше вероятность выхода из строя, особенно при высокой нагрузке.
Проблемы производительности и отказоустойчивости дисковой подсистемы решаются с помощью создания массивов: логических структур, в которые с помощью RAID-контроллера объединяется несколько накопителей — жёстких дисков и SSD. При этом массив выглядит для системы единым пространством для хранения данных.
Существует много видов массивов, отличающихся производительностью, надёжностью хранения данных и минимально необходимым количеством дисков. Выбор конкретного вида зависит от ваших задач и потребностей, а также от возможностей самого RAID-контроллера.
RAID-контроллеры делятся на:
- Программные. Вся нагрузка по управлению массивом ложится на центральный процессор. Наименее производительное и отказоустойчивое решение.
- Интегрированные. Встроены в материнскую плату. Отдельный чип выполняет часть задач по управлению, но всё же тоже задействует центральный процессор. Интегрированные контроллеры могут иметь собственную кэш-память. По сравнению с программными, поддерживают больше видов массивов, работают куда быстрее и надёжнее.
- Аппаратные. Выполнены в виде плат расширения или отдельных устройств, размещаемых вне сервера (внешние, или мостовые контроллеры). Оснащены собственным процессором, выполняющим все необходимые вычисления, и, как правило, кэш-памятью. Модульные контроллеры могут иметь внешние и внутренние порты:
- Внутренние — предназначены для подключения накопителей, установленных в сам сервер.
- Внешние — используются для подключения внешних дисковых хранилищ.
Если на борту RAID-контроллера есть кэш-память, то она может использоваться для промежуточного хранения записываемых или считываемых данных. Это позволяет эффективнее управлять операциями ввода/вывода.
Чтобы при сбое питания не потерять данные, находящиеся в кэше, используется два разных подхода:
- контроллер оснащается собственной батарейкой (BBU — Battery Backup Unit), позволяющей хранить данные в памяти до 3 суток,
- либо дополнительной флэш-памятью, питаемой от ёмкого конденсатора. При сбое питания в неё выгружает содержимое кэша. А поскольку флэш-память потребляет очень мало энергии, то и данные в ней сохраняются месяцами. Обратите внимание, что флэш-память используется только при сбое питания.
Некоторые RAID-контроллеры позволяют увеличить объём кэш-памяти и установить батарейку, если они её не имеют. Чем больше размер кэша контроллера, тем выше производительность RAID-массивов.
Можно ли использовать в RAID массиве диски разного размера?
Да. можно. Но, при этом, используемая емкость у ВСЕХ дисков будет равна емкости наименьшего диска.
Из этого следует, что добавлять в уже существующий RAID массив можно только диски такого же или большего размераЧто такое Copyback Hot Spare?
Copyback Hot Spare это функция RAID контроллера, которая позволяет пользователям закрепить физическое расположение диска "горячего резерва" (Hot Spare), что позволяет улучшить управляемость системы.
Что такое Write Through и Write Back?
Это способ записи данных, полученных RAID контроллером, на дисковый массив. По другому эти способы еще называются так: прямая запись (Write Through) и отложенная запись (Write Back). Какой из этих способов будет использоваться определяется в BIOS-е контроллера (либо при создании массива, либо позднее).
- Write Through - данные записываются непосредственно на дисковый массив. Т.е. как только данные получены, они сразу же записываются на диски и после этого контроллер подает сигнал управляющей ОС о завершении операции.
- Write Back - данные записываются сначала в кэш, и только потом (либо по мере заполнения кэш-а, либо в моменты минимальной загрузки дисковой системы) из кэш-а на диски. При этом, сигнал о завершении операции записи передается управляющей ОС сразу же по получении данных кэш-ем контроллера.
Избежать описанной проблемы можно или с помощью установки на RAID контроллер BBU (см. ниже), или посредством подключения всего сервера через источник бесперебойного питания (UPS) с функцией программируемого выключения.
Кстати, некоторые RAID контроллеры не позволяют включить функцию Write Back без установленного BBU.
Скорость работы
Для того чтобы продемонстрировать, как наличие аппаратного RAID-контроллера способствует увеличению скорости работы сервера, мы решили собрать тестовый стенд со следующей конфигурацией:
- CPU Intel Xeon E3-1230v5;
- RAM 16 Gb DDR4 2133 ECC;
- 4 HDD емкостью по 1 ТБ.
Затем в этот же стенд поставим RAID-контроллер Adaptec ASR 7805 с модулем защиты кэша AFM-700, подключим к нему эти же жесткие диски и выполним точно такое же тестирование.
Что такое Hot Spare (Hotspare)?
Hot Spare - (Резервная Замена Дисководов ("Горячее резервирование")) - Одна из наиболее важных особенностей, которую обеспечивает RAID контроллер, с целью достичь безостановочное обслуживание с высокой степенью отказоустойчивости. В случае выхода из строя диска, восстанавливающая операция будет выполнена RAID контроллером автоматически, если выполняются оба из следующих условий:
- Имеется "резервный" диск идентичного объема, подключенный к тому же контроллеру и назначенный в качестве резервного, именно он и называется Hotspare ;
- Отказавший диск входит в состав избыточной дисковой системы, например RAID 1, RAID 3, RAID 5 или RAID 0+1.
Обратите внимание: резервирование позволяет восстановить данные, находившиеся на неисправном диске, если все диски подключены к одному и тому же RAID контроллеру.
"Резервный" диск может быть создан одним из двух способов:- Когда пользователь выполняет утилиту разметки, все диски, которые подключены к контроллеру, но не сконфигурированы в любую из групп дисководов, будут автоматически помечены как "резервные" ( Hotspare ) диски (автоматический способ поддерживается далеко не всеми контроллерами).
- Диск может также быть помечен как резервный ( Hotspare ), при помощи соответствующей утилиты RAID контроллера.
В течение процесса автоматического восстановления система продолжает нормально функционировать, однако производительность системы может слегка ухудшиться.
Для того, что бы использовать восстанавливающую особенность резервирования, Вы должны всегда иметь резервный диск ( Hotspare ) в вашей системе. В случае сбоя дисковода, резервный дисковод автоматически заменит неисправный диск, и данные будут восстановлены. После этого, системный администратор может отключить и удалить неисправный диск, заменить его новым диском и сделать этот новый диск резервным.
Внешний вид
Мы выбрали решения Adaptec от компании Microsemi. Это RAID-контроллеры, зарекомендовавшие себя удобством использования и высокой производительностью. Их мы устанавливаем, если наш клиент решил заказать сервер произвольной или фиксированной конфигурации.
Для подключения дисков используются специальные интерфейсные кабели. Со стороны контроллера используются разъемы SFF8643. Каждый кабель позволяет подключить до 4-х дисков SAS или SATA (в зависимости от модели). Помимо этого интерфейсный кабель еще имеет восьмипиновый разъем SFF-8485 для шины SGPIO, о назначении которой поговорим чуть позже.
Помимо самого RAID-контроллера существует еще два дополнительных устройства, позволяющих увеличить надежность:
-
BBU (Battery Backup Unit) — модуль расширения с литий-ионной батареей, позволяющий поддерживать напряжение на энергозависимой микросхеме кэша. В случае внезапного обесточивания сервера его использование позволяет временно сохранить содержимое кэша, которое еще не было записано на диски.
Это особенно важно, когда включен режим отложенной записи кэша (Writeback). При пропадании электропитания содержимое кэша не будет сброшено на диски, что приведет к потере данных и, как следствие, штатная работа дискового массива будет нарушена.
Настройка кэширования
Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.
Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.
Важно — при использовании Write Back настоятельно рекомендуется использовать BBU или ZMCP-модуль, поскольку без него при внезапном отключении электричества часть данных может быть утеряна.
Что такое RAID и зачем он нужен?
Акроним RAID (Reudant Array of Independed Disks) избыточный массив независимых дисков, впервые был использован в 1988 году исследователями из института Беркли Паттерсоном (Patterson), Гибсоном (Gibson) и Кацем (Katz). Они описали конфигурацию массива из нескольких недорогих дисков, обеспечивающих высокие показатели по отказоустойчивости и производительности.
Наиболее "слабой" в смысле отказоустойчивости частью компьютерных систем всегда являлись жесткие диски, поскольку они, чуть ли не единственные из составляющих компьютера, имеют механические части. Данные записанные на жесткий диск доступны только пока доступен жесткий диск, и вопрос заключается не в том, откажет ли этот жесткий диск когда-нибудь, а в том, когда он откажет.
RAID обеспечивает метод доступа к нескольким жестким дискам, как если бы имелся один большой диск (SLED - single large expensive disk), распределяя информацию и доступ к ней по нескольким дискам, обеспечивая снижение риска потери данных, в случае отказа одного из винчестеров, и увеличивая скорость доступа к ним.
Обычно RAID используется в больших файл серверах или серверах приложений, когда важна, высока скорость и надежность доступа к данным. Сегодня RAID находит применение так же в настольных системах, работающих с CAD, мультимедийными задачами и когда требуется обеспечить высокую производительность дисковой системы.
Что такое RAID-контроллер?
Чаще всего задачи, выполняемые серверами, требуют высокой скорости чтения/записи данных и/или необходимость сохранить данные при выходе из строя самих накопителей. Поэтому установка в сервер единственного диска редко имеет смысл. Этот вариант можно рассматривать, если нагрузка будет совсем небольшой, а сохранность данных не волнует вовсе. Да и объёмы информации, которыми оперируют серверы, часто требуют куда больше пространства для хранения, чем может дать один диск. А чем больше накопителей, тем выше вероятность выхода из строя, особенно при высокой нагрузке.
Проблемы производительности и отказоустойчивости дисковой подсистемы решаются с помощью создания массивов: логических структур, в которые с помощью RAID-контроллера объединяется несколько накопителей — жёстких дисков и SSD. При этом массив выглядит для системы единым пространством для хранения данных.
Существует много видов массивов, отличающихся производительностью, надёжностью хранения данных и минимально необходимым количеством дисков. Выбор конкретного вида зависит от ваших задач и потребностей, а также от возможностей самого RAID-контроллера.
RAID-контроллеры делятся на:
- Программные. Вся нагрузка по управлению массивом ложится на центральный процессор. Наименее производительное и отказоустойчивое решение.
- Интегрированные. Встроены в материнскую плату. Отдельный чип выполняет часть задач по управлению, но всё же тоже задействует центральный процессор. Интегрированные контроллеры могут иметь собственную кэш-память. По сравнению с программными, поддерживают больше видов массивов, работают куда быстрее и надёжнее.
- Аппаратные. Выполнены в виде плат расширения или отдельных устройств, размещаемых вне сервера (внешние, или мостовые контроллеры). Оснащены собственным процессором, выполняющим все необходимые вычисления, и, как правило, кэш-памятью. Модульные контроллеры могут иметь внешние и внутренние порты:
- Внутренние — предназначены для подключения накопителей, установленных в сам сервер.
- Внешние — используются для подключения внешних дисковых хранилищ.
Если на борту RAID-контроллера есть кэш-память, то она может использоваться для промежуточного хранения записываемых или считываемых данных. Это позволяет эффективнее управлять операциями ввода/вывода.
Чтобы при сбое питания не потерять данные, находящиеся в кэше, используется два разных подхода:
- контроллер оснащается собственной батарейкой (BBU — Battery Backup Unit), позволяющей хранить данные в памяти до 3 суток,
- либо дополнительной флэш-памятью, питаемой от ёмкого конденсатора. При сбое питания в неё выгружает содержимое кэша. А поскольку флэш-память потребляет очень мало энергии, то и данные в ней сохраняются месяцами. Обратите внимание, что флэш-память используется только при сбое питания.
Некоторые RAID-контроллеры позволяют увеличить объём кэш-памяти и установить батарейку, если они её не имеют. Чем больше размер кэша контроллера, тем выше производительность RAID-массивов.
С программным RAID
Несомненное преимущество программного RAID — простота использования. Массив в ОС Linux создается с помощью штатной утилиты mdadm. При установке операционной системы чаще всего создание массива предусмотрено непосредственно из установщика. В случае, когда такой возможности установщик не предоставляет, достаточно всего лишь перейти в соседнюю консоль с помощью сочетания клавиш Ctrl+Alt+F2 (где номер функциональной клавиши — это номер вызываемой tty).
Создать массив очень просто. Командой fdisk -l смотрим, какие диски присутствуют в системе. В нашем случае это 4 диска:
Проверяем, чтобы на дисках не было метаданных, например, от предыдущего массива:
В случае, если на одном или нескольких дисках будут метаданные, удалить их можно следующим образом (где sdX — требуемый диск):
Создадим на каждом диске разделы для будущего массива c помощью fdisk. В качестве типа раздела следует указать fd (Linux RAID autodetect).
Собираем массив RAID 10 из созданных разделов с помощью команды:
Сразу после этого будет создан массив /dev/md0 и будет запущен процесс перестроения данных на дисках. Для отслеживания текущего статуса процесса введите:Пока процесс перестроения данных не будет завершен, скорость работы дискового массива будет снижена.
После установки операционной системы и Bitrix24 на созданный массив мы запустили стандартный тест и получили следующие результаты:
Температура
Вначале хотелось бы затронуть такую важную вещь, как температурный режим аппаратных RAID-контроллеров Adaptec. Все они оснащены небольшими пассивными радиаторами, что может вызвать ложное представление о небольшом тепловыделении.
Производитель контроллера приводит в качестве рекомендуемого значения воздушного потока — 200 LFM (linear feet per minute), что соответствует показателю 8,24 литра в секунду (или 1,02 метра в секунду). Рассчитаны такие контроллеры исключительно на установку в rackmount-корпусы, где такой воздушный поток создается скоростными штатными кулерами.
От 0°C до 40-55°C — рабочая температура большинства RAID-контроллеров Adaptec (в зависимости от наличия установленных модулей), рекомендованная производителем. Максимальная рабочая температура чипа составляет 100°C. Функционирование контроллера при повышенной температуре (более 85°C) может вывести его из строя. Удобства ради приводим под спойлером табличку рекомендуемых температур для разных серий контроллеров Adaptec.
Series 2 (2405, 2045, 2805) and 2405Q 55°C без модулей Series 5 (5405, 5445, 5085, 5805, 51245, 51645, 52445) 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800 Series 5Z (5405Z, 5445Z, 5805Z, 5805ZQ) 50°C с модулем ZMCP Series 5Q (5805Q) 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800 Series 6E (6405E, 6805E) 55°C без модулей Series 6/6T (6405, 6445, 6805, 6405T, 6805T) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-600 Series 6Q (6805Q, 6805TQ) 50°C с ZMCP модулем AFM-600 Series 7E (71605E) 55°C без модулей Series 7 (7805, 71605, 71685, 78165, 72405) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700 Series 7Q (7805Q, 71605Q) 50°C с ZMCP модулем AFM-700 Series 8E (8405E, 8805E) 55°C без модулей Series 8 (8405, 8805, 8885) 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700 Series 8Q (8885Q, 81605Z, 81605ZQ) 50°C с ZMCP модулем AFM-700 Нашим клиентам не приходится беспокоиться о перегреве контроллеров, поскольку в наших дата-центрах поддерживается постоянный температурный режим, а сборка серверов произвольной конфигурации происходит с учетом особенностей таких комплектующих (о чем мы упоминали в нашей предыдущей статье).
Технические характеристики
Настройка мониторинга
Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями.
Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.
Что такое размер страйпа (stripe size)?
размер страйпа (stripe size) определяет объем данных записываемых за одну операцию ввода/вывода. размер страйпа задается в момент конфигурирования RAID массива и не может быть изменен позднее без переинициализации всего массива. Больший размер страйпа обеспечивает прирост производительности при работе с большими последовательными файлами (например, видео), меньший - обеспечивает большую эффективность в случае работы с большим количеством небольших файлов.
С аппаратным RAID
Прежде чем сервер сможет использовать единое дисковое пространство RAID-массива, необходимо выполнить базовую настройку контроллера и логических дисков. Сделать это можно двумя способами:
- при помощи внутренней утилиты контроллера,
- утилитой из операционной системы.
Утилита позволяет не только управлять настройками контроллера, но и логическими устройствами. Инициализируем физические диски (вся информация на дисках при инициализации будет уничтожена) и создадим массив RAID-10 с помощью раздела Create Array. При создании система запросит желаемый размер страйпа, то есть размер блока данных за одну I/O-операцию:
- больший размер страйпа идеален для работы с файлами большого размера;
- меньший размер страйпа подойдет для обработки большого количества файлов небольшого размера.
Важно — размер страйпа задается только один раз (при создании массива) и это значение в дальнейшем изменить нельзя.
Сразу после того, как контроллеру отдана команда создания массива, также, как и с программным RAID, начинается процесс перестроения данных на дисках. Этот процесс работает в фоновом режиме, при этом логический диск становится сразу доступен для BIOS. Производительность дисковой подсистемы будет также снижена до завершения процесса. В случае, если было создано несколько массивов, то необходимо определить загрузочный массив с помощью сочетания клавиш Ctrl + B.
После того как статус массива изменился на Optimal, мы установили Bitrix24 и провели точно такой же тест. Результат теста:
Сразу становится понятно, что аппаратный RAID-контроллер ускоряет операции чтения и записи на дисковый носитель за счет использования кэша, что позволяет быстрее обрабатывать массовые обращения пользователей.
Нужно ли заниматься архивированием данных в случае использования RAID?
О: Конечно да! RAID это вовсе не замена архивированию, основное его назначение это повышение скорости и надежности доступа к данным в нормальном режиме работы. Но только регулярное архивирование данных гарантировано обеспечит их сохранность при любых отказах оборудования, пожарах, потопах и прочих неприятностях.
Что такое JBOD?
JBOD (Just a Bunch of Disks) это способ подключить диски к RAID контроллеру не создавая на них никакого RAID. Каждый из дисков доступен так же, как если бы он был подключен к обычному адаптеру. Эта конфигурация применяется когда необходимо иметь несколько независимых дисков, но не обеспечивает ни повышения скорости, ни отказоустойчивости.
Заключение
Использование аппаратного RAID-контроллера оправдано в большинстве случаев, когда требуется высокая скорость и надежность работы дисковой подсистемы.
Системные инженеры Selectel бесплатно выполнят базовую настройку дискового массива на аппаратном RAID-контроллере при заказе сервера произвольной конфигурации. В случае, если потребуется дополнительная помощь с настройкой, мы будем рады помочь в рамках нашей услуги администрирования. Также мы подготовили для наших читателей небольшую памятку по командам утилиты arcconf.
RAID-контроллер является важным элементом в системе хранения данных.
На сегодняшний день большая часть важной информации хранится в виде электронных данных и компьютеры выполняют столько задач, что встроенные диски уже с ними не справляются. Вот тут и приходит на помощь raid controller.
Корректная работа дисковых массивов и надежное хранение информации на сервере – это все является главной задачей RAID-контроллера.
Начнем с 6-поколения raid controller.
Контроллеры 6 серии поддерживают: JBOD, Simple Volume, Hybrid RAID 1, 10 и RAID 0, 1, 10, 1E, 5, 6, 50, 60.
Основные характеристики RAIDконтроллеров 6-ой линейки:
• Максимальное количество портов – 8 х SAS 2.0 (6 Гб/с);
• Слоты: 8 x PCI-express Gen2.0;
• Максимальная кэш-память — 512 Мб DDR2-667 DRAM;
• Возможна установка защиты для кэша AFM-600 Kit - Adaptec Flash Module;
• Поддерживаемые ОС: Windows, Linux, VMware и FreeBSD.
Разъемы и порты
RAID контроллеры 6-го семейства поддерживают только Mini-SAS порты.
Разъем SFF-8087 (mini-SAS internal), предназначенный для внутренних портов
SFF-8088 разъем (mini-SAS external) - для внешних портовУправление питанием
Технология IPM, Intelligent Power Management, помогает сэкономить расходы на электроэнергию до 70%, которая требуется для питания и охлаждения серверов.
Intelligent Power Management технология обеспечивает работу дисков в одном из трех режимов:
1) Normal operation – режим полного питания, скорость вращения полная;
2) Standby – диски могут вращаться с пониженной скоростью и энергопотреблением;
3) Power-off – режим, в котором диски вовсе не вращаются.
Унифицированное управление хранением
6-е семейство контроллеров работает под управлением Adaptec Storage Manager ПО – это унифицированный инструмент централизованного управления устройствами Adaptec.
Совместимость и поддержка
Контроллеры прошли тестирование с устройствами других производителей и доказали их совместимость.
Семейство 6T
Основной задачей данного семейства является исключить ситуацию, при которой негибкая сторона кабеля упирается в сервер (радиатор, корпус и др.). Для этого порты должны располагаться так, чтобы та негибкая часть кабеля не вышла за границы самого контроллера.
Семейство 6E
Бюджетные версии контроллеров данной серии.
Модель 6405E имеет поддержку до 4 дисков, 6805E – 8 дисков. 6405E оснащена слотом PCI-E 1x, а 6805E – слотом PCI-E 4x ver. 2.
RAID-контроллеры в серверах «большой тройки»
Чтобы не превращать статью в археологическое исследование, ограничимся только теми контроллерами, что используются в поколениях серверов начиная с 2009-2010:
HP: Gen7, Gen8, Gen9
Dell: Gen11, Gen12, Gen13
IBM: M3, M4, M5Дальше идут громоздкие и скучные таблицы.
Большинство RAID-контроллеров HP и Dell изначально поддерживают все основные виды массивов. У IBM таких моделей — по пальцам пересчитать, почти в каждом случае придётся устанавливать на контроллер 1-2 дополнительных модуля апгрейда, что не слишком удобно.
Другая интересная особенность RAID-контроллеров IBM — большинство из них применяются в серверах нескольких поколений. У HP и Dell другая склонность — с выпуском нового поколения серверов они обычно выпускают и новое поколение контроллеров.
Читайте также: