Нужен ли raid массив
Как это не странно, но с ростом емкости жестких дисков до величин, которые еще пару лет тому назад казались фантастическими, интерес к применению RAID массивов не падает, а наоборот, растет. Мы попытаемся рассказать о применении RAID для целей домашних, которые принято почему-то считать несерьезными и не стоящими внимания серьезных дядей, выпускающих RAID системы. На самом деле это не так, поскольку множество людей занимается на своих домашних компьютерах вполне профессиональным и достойным творчеством, поэтому применение RAID в этом случае зачастую обязательно. К сожалению, большинство из нас понимает важность применения RAID и иных средств спасения только после потери бесценных для автора данных.
Для начала немного теории и истории одновременно. Идея RAID была впервые публично изложена в 1987 году в ставшей с тех пор классической статье ученых из калифорнийского университета Беркли под названием "A Case for Redundant Arrays of Inexpensive Disks (RAID)" («Массивы с избыточностью из недорогих дисков»). Эта статья и сейчас доступна на сайте университета. Но до середины 2000 годов под RAID всегда понималось нечто дорогое и сложное, применяемое только в небедных организациях и никак не дома. Проблема состояла в том, что для обеспечения действительно надежной, быстрой и эффективной работы RAID-систем, отвечающих предъявляемым к ним требованиям, приходилось использовать не дешевые, а напротив, весьма дорогие SCSI диски (именно поэтому впоследствии термин RAID стали "расшифровывать" как Redundant Arrays of Independent Discs – Избыточные массивы из независимых дисков). Но времена меняются, и сейчас, пожалуй, уже стоит вернуться к классической расшифровке RAID как Избыточного массива из недорогих дисков.
Ворвавшиеся на рынок RAID систем SATA диски радикальным образом изменили ситуацию в свою пользу. SATA интерфейс изначально задумывался как интерфейс с возможностью «горячей» замены дисков. Кроме этого, каждый SATA диск подключается к своему персональному порту (каналу) SATA контроллера. Все это сделало создание RAID на SATA дисках занятием несложным и недорогим. Поэтому в разы более дорогие SCSI/SAS диски сначала практически полностью покинули рынок аудио и видео приложений, а теперь потихоньку сдают позиции и на рынке бизнес применений. Первой еще несколько лет тому назад оценила ситуацию компания Western Digital, навсегда прекратившая выпуск и разработку SCSI/SAS дисков.
Данные как бы «размазываются» последовательно по всем дискам, входящим в RAID 0, обеспечивая тем самым высокую скорость записи
Для дома применение SCSI или SAS дисков необоснованно во всех отношениях, даже при безразмерном кошельке владельца компьютера, поэтому далее мы будем иметь в виду только RAID'ы на SATA дисках.
RAID массивы различаются в первую очередь по уровням (level). Расскажем кратко, что есть что:
RAID 0 Этот уровень часто называется страйп (stripe). Идея его в том, что при записи данные как бы «размазываются» последовательно по всем дискам, входящим в RAID 0, обеспечивая тем самым высокую скорость записи. Контроллер «бросает» порцию данных на один диск и, не дожидаясь окончания записи на него, «бросает» следующую часть блока данных на следующий диск и т.д. Точно также, порциями, происходит и чтение данных. Именно RAID 0 дает максимально возможную скорость записи/чтения. Теоретически эта скорость равна суммарной скорости всех входящих в RAID дисков. Иными словами, если в RAID 0 два диска и каждый имеет скорость записи 50 мегабайт/сек, то скорость записи на такой RAID может достигать 80 мегабайт в секунду. На практике, разумеется, скорость немного ниже теоретической, но, тем не менее, близка к ней. Строго говоря, в RAID 0 может участвовать сколь угодно много дисков, но в домашней практике используют обычно пару жестких дисков. Достоинства RAID 0 – высокая скорость работы, нулевая избыточность, т.к. емкость RAID равна суммарной емкости входящих в него дисков, а недостаток всего один, но он весьма существенен. В случае выхода из строя хотя бы одного диска теряется ВСЯ информация на массиве.
RAID0 сводит к нулю риск потерять данные. Информация параллельно (зеркально) записывается на 2 диска, но в отличие от RAID 0, на каждый диск записывается одна и та же информация
RAID 1. Чаще всего этот уровень RAID называют «зеркалом». Такое название довольно точно отражает суть – информация параллельно (зеркально) записывается на 2 диска, но в отличие от RAID 0, на каждый диск записывается одна и та же информация. Соответственно, если один диск вышел из строя, то вся информация берется с оставшегося в живых диска. Достоинства RAID 1 очевидны – высокая надежность хранения данных, легкость создания контроллера массива. Недостатки – высокая, точнее 100% избыточность, поскольку RAID 1 это всегда пара дисков, и один из дисков тратится на избыточность. Иными словами, RAID 1 вещь недешевая.
RAID 5. Представляет собой некий компромисс между RAID 0 и RAID 1. Данные также «размазываются» по нескольким дискам, но с избыточностью (утрированно - добавляется контрольная сумма) и при выходе любого из дисков в массиве данные не теряются. RAID 5 требует минимально 3 диска в массиве. Чем больше дисков в массиве, тем быстрее он будет работать, но только в том случае если процессор RAID контроллера будет также успевать обрабатывать данные. Поскольку в RAID 5 требуется вычислять каждую «полоску» (stripe) данных, этот уровень RAID требует специального аппаратного контроллера. Разумеется, можно реализовать его и программно, но тогда о высокой скорости записи надо будет забыть.
RAID как осознанная необходимость
В каких случаях применение RAID оправданно? Попробуем рассказать об этом. RAID системы, вообще говоря, применяют в домашних условиях для решения двух основных задач: ускорения работы с дисковой подсистемой и/или для безопасного хранения данных.
Внешний накопитель желательно выбирать с поддержкой RAID
Скорость и только скорость
Решение первой задачи требуется по делу довольно редко. В домашних условиях необходимость в существенном ускорении работы дисковой подсистемы или, иными словами, применении RAID 0 может возникнуть в том случае, например, если вы увлеклись съемками и монтажом видео высокого разрешения (HDV). Причем только в том случае, если вы как истинный перфекционист хотите весь монтаж выполнить с несжатым видео или с видео, обработанным кодеком класса Canopus HQ, что, по сути, то же самое. В этом случае вам будет не хватать скорости одного диска и RAID 0 станет единственным выходом из ситуации. Для работы с видео надежность массива не играет существенной роли - если данные пропадут, вам всего лишь надо будет повторить захват видео.
Самый распространенный (и недорогой) вариант — купить отдельно бокс на два диска с поддержкой RAID и отдельно диски. Собрать такую систему самостоятельно не сложно
Построение RAID 0 не потребует от вас дополнительных затрат. На большинстве материнских плат, выпускаемых в последние года 3-4, есть возможность создать как RAID 0, так и RAID 1. Для этого достаточно зайти в Setup BIOS материнской платы, а затем «подсунуть» операционной системе правильный драйвер с прилагаемого к материнской плате диска.
Конечно, можно использовать и внешние RAID 0, но такой вариант вынуждены использовать только владельцы компьютеров iMAC от Apple, обладающих интерфейсом IEEE-1394b и не имеющих возможности установить внутрь компьютера даже один жесткий диск.
Для офисных же целей (или офисной работы дома, что тоже самое), RAID 0 не подходит в принципе, поскольку не обеспечивает даже видимости надежного хранения данных. Даже школьнику понятно, что вероятность выхода одного диска из строя в массиве из 2-х выше, чем вероятность выхода из строя одиночного диска.
Недоверие может убить…
Сфера применения RAID 1 понятна и очевидна. Везде, где требуется надежное хранение до терабайта данных и нет необходимости в высокой скорости работы, использование RAID 1 будет наилучшим решением. Почему до терабайта? Просто потому, что сейчас это максимальная емкость одного жесткого диска, а для RAID 1 требуется пара одинаковых дисков. Вероятность одновременного выхода двух дисков из строя близка к нулю, поэтому RAID 1 можно доверить многое – свои бесценные фотографии, фильмы и многое другое. В малых и домашних офисах RAID 1 поможет сохранить все необходимые для функционирования офиса данные. Но днем и ночью помните любимую поговорку умных (увы, только умных) системных администраторов: «Никакой RAID не отменяет резервного копирования данных». Если ваши данные действительно бесценны для вас, следуйте этой поговорке всегда и жизнь ваша будет безоблачна.
Скорость плюс доверие. Такое возможно?
Да, конечно, применение RAID 5 дает и скорость, и надежность плюс практически ограниченную только доступным количеством дисков емкость. Но, стоимость реализации RAID 5 по сравнению с фактически бесплатными RAID 0 и 1 высока. Аппаратные контроллеры стоят вполне осязаемые деньги (дешевые от $200, хорошие и надежные от $350). Программная же реализация, которая предлагается тем же Intel для своих наборов системной логики в некоторых материнских платах не дает ни скорости, не надежности, а лишь иллюзию того и другого. Кроме этого, просто разместить 3 диска и более, обеспечив им достойное охлаждение, в обычном компьютерном корпусе зачастую невозможно. Поэтому практически единственный вариант использования преимуществ RAID 5 в условиях квартиры или аналогичного квартире офиса – внешний массив.
О том, как создать внутренние массивы RAID 0 или RAID 1 рассказывать, строго говоря, нечего – установите в системный блок два одинаковых диска, разрешите в Setup BIOS RAID желаемого уровня и все. Разумеется, прежде чем покупать диски, надо удостовериться, что ваша материнская плата поддерживает создание RAID.
Далее мы расскажем о внешних недорогих RAID, хотя предложения по ним не блещут разнообразием. В России не проблема купить внешние RAID системы корпоративного уровня, причем выбрать можно из пары десятков производителей. К сожалению, такие системы никак не подойдут для дома или небольшого офиса. Во-первых, их стоимость в лучшем случае начинается от $1800 (без дисков) и заканчивается сотнями тысяч хоть и подешевевших, но все еще довольно дорогих по сравнению с рублями долларов. Во-вторых, все они довольно заметно шумят, поскольку жесткие диски надо охлаждать и чем больше дисков, тем мощнее должны быть системы охлаждения.
Для дома и семьи выбрать внешний RAID вы можете из продукции всего нескольких производителей. В первую очередь расскажем о внешних RAID 0 и 1.
Western Digital My Book Premium Edition II. Готовый накопитель на два жестких диска с общей емкостью до 1.5 терабайт. Накопитель выполнен в привычном для WD приятном дизайне, удобен в использовании и специально для поклонников компьютеров от Apple поддерживает не только USB 2.0 и IEEE-1394a, но и IEEE-1394b (Firewire 800). Поддерживает программный RAID уровней 0 и 1. Под программным понимается невозможность создания RAID средствами самого накопителя, требуется подключение к компьютеру с установленным специализированным программным обеспечением для создания RAID. Понятно, что максимальная емкость 1.5 TB получается только при использовании RAID 0 и двух жестких дисков по 750 GB каждый. В RAID 1 емкость накопителя будет 750 GB.
LaCie 2big Triple имеет аппаратную установку уровней RAID, возможность «горячей» замены дисков и весьма привлекательный дизайн
LaCie 2big Triple (2-disk RAID). Также готовый накопитель на два жестких диска и с теми же внешними интерфейсами. Но, в отличие от модели WD, свойственный, впрочем, всем устройствам от LaCie.
Здесь надо сделать небольшое отступление и пояснить преимущества и недостатки готовых накопителей и боксов для жестких дисков. На стороне готовых накопителей беззаботность в установке – купил, принес, подключил и пользуйся. Но и против них есть весьма серьезные аргументы, особенно в свете российской специфики. Во-первых, емкость, какая есть, такая останется навсегда или, по крайней мере, до окончания гарантии. Во-вторых, если выйдет из строя всего один диск из двух, вам придется нести в сервис сам накопитель и на время ремонта/замены диска остаться без накопителя. Кроме этого, если данные имеют конфиденциальный характер, придется их куда-либо перенести, прежде чем отдавать накопитель в чужие руки сотрудников сервис-центра. Просто боксы с поддержкой RAID, конечно, требуют больше хлопот по сравнению с готовыми накопителями – надо самому купить диски и установить их в накопитель. Но за исключением старта применения и дизайна накопителей, боксы предпочтительнее, особенно если вы умеете владеть хотя бы отверткой. Основной плюс, конечно это то, что в случае выхода из строя диска вам придется отнести продавцу только вышедший из строя диск, продолжая пользоваться накопителем.
MirrorDrive и MirrorDriveB от IOI Technologies. Внешние боксы под два жестких диска. Модели отличаются интерфейсами FireWire. MirrorDrive имеет IEEE-1394a, а MirrorDriveB IEEE-1394b, но обе модификации имеют USB 2.0. Понятно, что модель с индексом B предназначена в первую очередь для владельцев компьютеров Apple. MirrorDrive только бокс, поэтому пользователь может установить в него любые диски по своему усмотрению. Любой из дисков может быть заменен в «горячем» режиме, т.е. без остановки работы накопителя. Поддержка RAID аппаратная, уровни RAID устанавливаются переключателями на корпусе, как и у LaCie.
Raidsonic SR3620-2S-SB2 от RAIDON TECHNOLOGY INC. Довольно редкий в России вид двухдискового бокса. Практически аналогичен MirrorDrive, отличается более привлекательным дизайном, особенно для владельцев Mac. Цена тоже выше, разумеется.
MDrive от IOI Technologies. Пожалуй, это Hi-End модель для домашнего пользователя. Накопитель поддерживает 5 дисков с «горячей» заменой, 0, 1, 5 и 6 уровни RAID, настраивается через Ethernet с помощью встроенного web сервера, имеет три интерфейса наружу – IEEE-1394b, USB 2.0 и eSATA. На таком устройстве легко хранить пару терабайт информации, защищенной от потери с помощью RAID 5. К сожалению, цену MDrive никак нельзя назвать доступной – от $1200 без дисков.
А действительно, если подумать, то свет не сошелся клином на внешних RAID, подключенных через стандартные интерфейсы. Есть еще один интерфейс, который присутствует на всех компьютерах, выпущенных в последние 3-4 года. Это Ethernet и/или Wi-Fi. 100 мегабит Ethernet в качестве встроенной опции применяется очень давно на всех материнских платах, многие модели современных материнских плат поддерживают и гигабитный Ethernet. Внешние накопители, подключаемые по Ethernet, называются NAS (Network Attached Storage – Сетевое устройство хранения). Фактически NAS представляют собой готовые файловые серверы, работающие под управлением собственной операционной системы, в качестве которой обычно используется клон Linux. NAS бывают как с встроенными RAID, так и без оных, на одном диске.
Конечно, NAS и внешние боксы отличаются друг от друга весьма существенно. Самое существенное отличие – скорость доступа. На сети в 100 мегабит можно получить максимально 8–9 мегабайт в секунду, что в 4 (!) раза меньше скорости USB 2.0, самого медленного из стандартных интерфейсов. На сети в 1 гигабит, разумеется, скорость будет не ниже скорости обмена по обычным внешним интерфейсам (за исключением eSATA), но все-таки гигабитный Ethernet пока еще мало применяется как дома, так и производителями NAS. Кроме этого, диск в сети понимается именно как сетевой и не все программы соглашаются работать с таким диском.
Разумеется, нельзя говорить только о минусах NAS – если в вашем доме не один компьютер, то бесценным плюсом NAS станет возможность доступа к нему любого пользователя. В этом варианте NAS может служить общим надежным хранилищем данных.
Сетевые накопители (NAS) с поддержкой RAID пятого уровня — это самое совершенное на сегодня решение для домашнего пользователя. Такие накопители выпускает, например, QNAP. Хранить здесь можно огромную медиабиоблиотеку или базы данных без риска потерять информацию
В настоящей заметке мы расскажем только о тех NAS, в которых есть RAID 1 для SATA дисков, обеспечивающий надежное хранение данных. RAID 0 обычно не применяется в NAS, поскольку нет смысла ускорять работу с жесткими дисками – сеть все равно не успеет за ними. У недорогих NAS скорость доступа вообще вопрос больной, поскольку у многих моделей даже при использовании гигабитной сети скорость не превышает 7-10 МБ/с.
D-Link DNS-323. Пожалуй, один из самых недорогих NAS с встроенным RAID, но, тем не менее с гигабитной сетью и возможностью использования NAS и как принт-сервера. При стоимости от $220 (без дисков) DNS-323 является хорошим выбором. Использовать с DNS-323 вы можете диски любой емкости. Поскольку DNS-323 получился изначально удачным с аппаратной точки зрения, под него существует ряд программных дополнений, улучшающих его работу. Они создаются продвинутыми владельцами DNS-323 в сообществе вокруг независимого сайта устройства . Кстати, исходный текст операционной системы этого NAS выложен на сайте производителя.
My Book™ World Edition™ II от Western Digital. Отличное устройство от весьма известного производителя. Самый существенный недостаток, как уже упоминалось выше – проблемы, которые могут возникнуть в случае выхода одного диска из строя. В США замена одного диска возможна, но там покупатель имеет дело с производителем, а у нас – с продавцом. В остальном устройство вполне функционально и, кстати, недорогое. В варианте с двумя дисками по 500 GB стоит около $500.
На рынке доступно большое количество накопителей различных скоростей, различных производителей. Далеко не все четко понимают, какой диск лучше приобрести и для какой задачи и зачем порой лучше заплатить больше, а когда можно сэкономить. В этой статье я постараюсь прояснить основные моменты и сделать проблему выбора более простой. Статья будет полезна не только тем, кто хочет купить/арендовать выделенный сервер, но и тем, кто хочет получить надежное хранилище информации дома. После прочтения материала станет понятным, почему не всегда целесообразно арендовать desktop-решения в low-cost дата-центрах и лучше остановить выбор на более надежном, серверном железе.
Начнем с того, что все имеющиеся на рынке накопители, можно четко разделить на классы:
— диски для обычных desktop-ов (применяются в домашних ПК, в ноутбуках и в desktop-серверах low-cost дата-центров);
— серверные диски со скоростью 7200 оборотов в минуту (RPM);
— Enterprise-диски со скорость 10 000 и 15 000 RPM;
— твердотельные накопители.
Особенности выбора твердотельных накопителей мы, пожалуй, рассмотрим в отдельной статье, а сейчас остановимся преимущественно на жестких дисках и рассмотрим какой диск где и когда целесообразно применять.
Начнем с обычных дисков для PC. Это отличные диски с довольно большой емкостью и хорошей производительностью, но их главный недостаток в том, что они не рассчитаны на работу в RAID-массиве в силу своих конструктивных особенностей. В этих дисках вибрации, вызываемые вращением шпинделя, практически никак не компенсируются. Конечно эти вибрации минимальны и в случае применения 1-2 дисков в домашних условиях они не являются проблемой. Однако, если рассматривать серверный случай, когда дисков много, влияние вибраций может быть довольно существенным, так как возникают взаимные вибрации, резонанс усиливает эффект. Так, когда в корпусе установлено сразу 12 дисков, да еще и работают довольно мощные серверные вентиляторы по 5000-9000 оборотов в минуту — уровень вибрации нарастает довольно значительно, а с ними и % ошибок, потерь, что и оказывает негативное влияние на производительность. Производительность дисков десктопного типа падает в этих случаях в разы, так как они испытывают значительные трудности с позиционированием головок, теряют дорожку. Это хорошо можно видеть из популярного графика зависимости производительности от вибрационной нагрузки:
Другое дело диски SATA RE (RAID Edition) или же серверные диски со скоростью 7200 RPM. Они менее подвержены вибрациям и в меньшей степени зависят от них. Как видим из графика — вероятность возникновения ошибки в результате вибраций на 50% ниже для них.
Но не только вибрации являются проблемой, другая основная проблема всех дисков — уровень невозобновимых ошибок. Что это означает на практике?
Для SATA PC дисков уровень невозобновимых ошибок 1 ошибка на 10 14 бит, или 1 ошибка на 12,5 ТБ данных. Диск на 1ТБ имеет 1000/12500х10 14 бит. 5 дисков имеют емкость 5х(1000/12500х10 14 ) бит, а вероятность возникновения ошибки при работе этих дисков в массиве RAID5 будет составлять (5х(1000/12500х10 14 ))/10 14 x100% = 40%.
Конечно, можно применять более надежные уровни RAID, такие, как RAID10 или в крайнем случае RAID6, но при большом количестве дисков мы также будем получать довольно высокую степень вероятности возникновения невосстановимой ошибки во время ребилда.
Другое дело серверные диски со скоростью 7200 оборотов в минуту (RPM) SATA RE или диски Near Line (NL) SAS. Вероятность невосстановимой ошибки для них на порядок меньше уже за счет их технических особенностей, 1 ошибка возникает на 10 15 бит данных. Тем не менее, при использовании не только большого количества накопителей, но и накопителей большого объема — этого может быть уже недостаточным и в таких случаях все же придется применять SAS-накопители Enterprise класса, степень надежности которых 1 невосстановимая ошибка на 10 16 бит данных.
Стоит также отметить, что на самом деле для дисков SATA RE, Near Line (NL) SAS и дисков SAS Enterprise-класса, по сути дисков, которые умеют эффективно взаимодействовать с RAID-контроллером, вероятность возникновения невосстановимой ошибки еще значительно меньше, как раз за счет этой способности. Так, при работе с нагруженным массивом (базы данных, с которыми работают сразу много пользователей, активная запись и считывание данных) начинают играть роль уже восстановимые ошибки, с которыми обычные диски работают неэффективно. Они пытаются перечитать проблему многократно — в тех же Western Digital значение установлено на 64 прохода головки с разными параметрами высоты, угла, только после чего головка переходит к обработке других задач. За счет этого сильно возрастает время ожидания, которое RAID не терпит и непременно сочтет диск потерянным и попытается восстанавливать диск, в результате чего нагрузка на массив приобретет критичный характер, так как одновременно с рабочей нагрузкой будет идти еще и ребилд. Результат предсказуем — крах всего массива.
Диски, которые умеют работать с RAID, могут сообщить RAID-контроллеру, что есть проблема с чтением блока данных, запросить этот блок с других дисков и в это время обрабатывать другие запросы, а получив блок — перезаписать его в другом месте проблемного диска. За счет этого никакого падения производительности RAID-массива не происходит и вероятность потери данных снижается значительно. Однако следует отметить, что не все софтовые рейд-контроллеры, установленные на чипсетах, умеют «понимать» такие диски, потому порой недостаточно иметь диски RE для надежного массива, а все же требуется применение аппаратного контроллера или другой платформы, которая корректно работает с RAID.
Тем не мене, если есть желание собрать более надежное хранилище, нежели хранилище на PC-накопителях, можно купить более дешевые диски, нежели диски RE, к примеру Constellation CS, которые предназначены для работы исключительно с софтовыми рейдами и лишены недостатка десктопных (попыток многократного перечитывания данных в ущерб другим задачам), при этом полноценно, само собой, с контроллерами они не взаимодействуют, так что cбои RAID полностью не исключены.
Также отметим еще одну ключевую особенность дисков SAS Enterprise-класса, на них данные хранятся еще более надежно, так как минимальный размер кластера составляет 520 байт, а не 512, добавляется еще 8 байт для проверки четности. Применяется большое количество алгоритмов восстановления данных без участия контроллера. Именно по этой причине объем этих дисков не бывает очень большой.
К слову на счет объема, крайняя рекомендация, если у Вас есть задача хранить данные надежно, не пытайтесь использовать диски большего объема, нежели это необходимо, так как в случае ребилда восстановление будет занимать больше времени. Как правило контроллеры не анализируют то, сколько реально занято на диске и восстанавливают весь диск в целом, потому разница во времени восстановления между 1 ТБ и 6 ТБ накопителем будет более, чем в 6 раз.
Подведем итоги. Исходя из вышеизложенного понятно, что для небольшого RAID-массива, применение самых дорогостоящих дисков Enterprise класса не принципиально и не дает никаких преимуществ в надежности. Тем не менее, применение серверных дисков весьма желательно, так как в этом варианте на порядок большая вероятность того, что ребилд завершится успешно. Не следует применять диски большего объема, чем это необходимо, за исключением случаев, когда нужно обеспечить более высокую производительность по IOPS (в некоторых дисках большего объема все же может быть выигрыш по скорости за счет большего количества головок и пластин). В случаях, когда необходим большой объем и много дисков и при этом достаточный уровень надежности — можно смотреть в сторону SAS NL, которые по сути являются модифицированным вариантом накопителей SATA RE за счет интерфейса SAS, однако имеют все те же 7200 RPM. Для повышения уровня надежности целесообразно применять RAID более высокого уровня. Когда же объем массива не принципиален и требуется максимальная надежность, нужно однозначно применять SAS 15000 RPM Enterprise.
Приходит понимание того, какие диски и какой из серверов лучше использовать и для каких задач, когда лучше использовать диски в RAID, а когда по отдельности, распределяя файлы софтом в зависимости от популярности (скрипт балансера в зависимости от нагрузки). Почему 4 диска большего объема, в плане надежности, может быть лучше, чем 12 меньшего, но хуже в плане времени восстановления в случае ребилда. Ну и самое важное — почему наше предложение реально крутое для серверного сегмента и мы реально приблизили цену к desktop-площадкам, при этом сохранив на порядок более высокую надежность без преувеличений! Так что если Вам, либо Вашим знакомым нужен хороший сервер — welcome, распродажа некоторых конфигураций из списка ниже ограничена, очень скоро цены на эти конфигурации будут выше, мы хоть и щедры, но не безгранично :):
Да, если у кого-то есть реальный опыт применения тех или других накопителей для определенных задач — не стесняйтесь делиться им в комментариях. Интересно все, вплоть до статистики отказов. На эту тему, как и по поводу проблематики выбора SSD-накопителя, мы постараемся опубликовать материал позднее.
Привет Хабр! В этом материале мы расскажем, стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит? Мы решили разобраться в этом вопросе, рассмотрев виды и типы контроллеров, которые позволяют это сделать, а также сферы применения таких конфигураций.
Так или иначе, каждый из нас хоть раз в жизни слышал такие определения, как “RAID”, “RAID-массив”, “RAID-контроллер”, но вряд ли придавал этому серьезное значение, потому что рядовому ПК-боярину все это вряд ли интересно. А вот высоких скоростей от внутренних накопителей и безотказности их работы хочется всем и каждому. Ведь, какой бы мощной ни была начинка компьютера, скорость работы накопителя становится узким местом, если говорить о совокупном быстродействии ПК и сервера.
Так было ровно до того момента, пока на смену традиционным HDD не пришли современные NVMe SSD со сравнимой емкостью в 1 Тбайт и более. И если раньше в ПК чаще встречались связки SATA SSD + парочка емких HDD, то сегодня их начинает сменять другое решение — NVMe SSD + парочка емких SATA SSD. Если говорить о корпоративных серверах и “облаках”, многие уже успешно переехали на SATA SSD, просто потому что они быстрее обычных “жестянок” и способны обрабатывать большее количество операций ввода/вывода одновременно.
Однако отказоустойчивость системы все равно находится на достаточно низком уровне: мы не можем как в “Битве экстрасенсов” предугадать с точностью даже до недели, когда тот или иной твердотельный накопитель прикажет долго жить. И если HDD “умирают” постепенно, позволяя уловить симптомы и принять меры, то SSD “мрут” сразу и без предупреждений. И вот теперь самое время разобраться, зачем все это вообще нужно? Стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит?
Подводим итоги:
Несмотря на то, что зеркалирование обеспечивает большую отказоустойчивость, чем RAID 50/60, оно также требует гораздо больше места. Поскольку количество данных удваивается, вы фактически получаете только 50% от общей емкости установленных в сервере накопителей для записи и хранения информации. Выбор между RAID 50/60 и RAID 10, скорее всего, будет зависеть от имеющихся бюджетов, емкости сервера и ваших потребностей в защите данных. Причем стоимость выходит на первый план, когда мы говорим об SSD-решениях (как корпоративного, так и потребительского класса).
Не менее важно, что теперь мы точно знаем – RAID на базе SSD вполне безопасное решение и нормальная практика для современного бизнеса. В рамках домашнего применения тоже есть резон переходить на NVMe, если позволяют бюджеты. А если у вас еще остался вопрос, зачем же все это нужно, вернитесь к началу статьи – мы уже подробно ответили на него.
Данная статья подготовлена при поддержке наших коллег из Broadcom, которые предоставляют свои контроллеры инженерам Kingston для тестирования с накопителями SATA/SAS/NVMe корпоративного класса. Благодаря этому дружескому симбиозу, клиентам не приходится сомневаться в надежности и стабильности работы накопителей Kingston c HBA- и RAID-контроллерами производства Broadcom.
Дополнительную информацию о продуктах Kingston можно найти на официальном сайте компании.
Разбираем работу SSD Kingston в самых популярных типах RAID — “1”, “5”, “10”, “50”
Итак, “нулевой” уровень RAID не обеспечивает избыточности данных, а только увеличивает производительность. Никакой защиты данных RAID 0 не предоставляет вообще, поэтому в рамках корпоративного сегмента мы его рассматривать не будем. RAID 1, с другой стороны, обеспечивает полную избыточность, но лишь скромный прирост производительности, и поэтому его следует рассматривать в том случае, если повышение производительности не является основополагающим фактором при создании RAID-массива из SSD.
Виды и типы RAID-контроллеров
Существует три вида RAID-контроллеров, основанные на принципах реализации RAID-массивов:
1. Программные, в которых управление массивом ложится на CPU и DRAM (то есть исполнение программного кода происходит на процессоре).
2. Интегрированные, то бишь встроенные в материнские платы ПК или NAS-сервера.
3. Аппаратные (модульные), представляющие собой дискретные платы расширения для разъемов PCI/PCIe системных плат.
В чем их принципиальное отличие друг от друга? Программные RAID-контроллеры уступают интегрированным и аппаратным по производительности и отказоустойчивости, но при этом не требуют специального оборудования для работы. Однако важно убедиться, что процессор хост-системы является достаточно мощным для запуска программного обеспечения RAID, не оказывая негативного влияния на производительность приложений, которые также работают на хосте. Интегрированные контроллеры, как правило, оснащаются собственной кэш-памятью и задействуют некоторое кол-во ресурсов CPU.
А вот аппаратные обладают и собственной кэш-памятью, и встроенным процессором для выполнения программных алгоритмов. Обычно они позволяют реализовать все виды уровней RAID-массивов и поддерживают сразу несколько видов накопителей. Например, к современным аппаратным контроллерам компании Broadcom можно одновременно подключать SATA-, SAS- и NVMe-устройства, что позволяет не менять контроллер при апгрейде серверов: в частности, при переезде с SATA SSD на NVMe SSD контроллеры менять не придется.
Собственно, на этой ноте мы подошли к типологизации самих контроллеров. Если есть трехрежимные, должны быть и какие-то еще? В данном случае ответ на этот вопрос будет утвердительным. В зависимости от функций и возможностей RAID-контроллеры можно поделить на несколько типов:
1. Обыкновенные контроллеры с функцией RAID
Во всей иерархии это самый просто контроллер, который позволяет объединять HDD и SSD в RAID-массивы уровней “0”, “1” или “0+1”. Программно это реализовано на уровне прошивки. Однако, такие устройства вряд ли можно рекомендовать для использования в корпоративном сегменте, ведь у них отсутствует кэш и не поддерживаются массивы уровней “5”, “3” и т.п. А вот для домашнего сервера начального уровня они вполне подойдут.
2. Контроллеры, работающие в паре с другими RAID-контроллерами
Этот тип контроллеров может работать в паре с интегрированными контроллерами материнских плат. Реализовано это по следующему принципу: дискретный RAID-контроллер берет на себя решение “логических” задач, а встроенный — функции обмена данными между накопителями. Но есть нюанс: параллельная работа таких контроллеров возможна только на совместимых системных платах, а значит область их применения серьезно сужается.
3. Самостоятельные RAID-контроллеры
Эти дискретные решения содержат на борту все необходимые чипы для работы с серверами корпоративного класса, обладая собственным BIOS’ом, кэш-памятью и процессором для быстрой коррекции ошибок и вычисления контрольных сумм. К тому же они отвечают высоким стандартам надежности в плане изготовления и обладают высококачественными модулями памяти.
4. Внешние RAID-контроллеры
Нетрудно догадаться, что все перечисленные выше контроллеры являются внутренними и получают питание через разъем PCIe материнской платы. О чем это говорит? А о том, что выход из строя системной платы может привести к ошибкам в работе RAID-массива и потере данных. Внешние же контроллеры избавлены от этого недоразумения, так как размещаются в отдельном корпусе с независимым блоком питания. В плане надежности такие контроллеры обеспечивают самый высокий уровень хранения данных.
Broadcom, Microsemi Adaptec, Intel, IBM, Dell и Cisco — это лишь некоторые из компаний, которые предлагают аппаратные RAID-контроллеры в настоящее время.
RAID 6 и RAID 60: про них мы тоже не забыли
Раз уж мы поговорили о массивах пятого и пятидесятого уровней, грех не упомянуть и о таких типах организации массивов как RAID 6 и RAID 60.
Производительность RAID 6 аналогична RAID 5, но здесь уже минимум два накопителя отдаются под контроль четности, что позволяет массиву пережить выход из строя двух накопителей без потери данных (в RAID 5 такая ситуация крайне нежелательна). Благодаря этому обеспечивается более высокая надежность. В остальном все так же, как и в массиве пятого уровня: в случае сбоя одного или двух дисков контроллер RAID использует блоки четности для воссоздания всей недостающей информации. При сбое двух накопителей восстановление происходят не одновременно: сначала реанимируется первый накопитель, затем – второй. Таким образом, выполняются две операции по восстановлению данных.
Нетрудно догадаться, что, если RAID 50 представляет собой массив нулевого уровня из массивов пятого уровня, то RAID 60 – это массив нулевого уровня из массивов шестого уровня, о которых мы только что рассказали. То есть такая организация RAID-хранилища позволяет пережить потерю двух SSD в каждой группе накопителей RAID 6. Принцип работы схож с тем, про который мы рассказывали в разделе про RAID 50, но количество сбоев, которые может выдержать массив шестидесятого уровня, вырастает с 8 до 16 накопителей. Обычно такие массивы используются для онлайн-обслуживания клиентов, которое требует высокой отказоустойчивости.
RAID 10 на базе SSD Kingston и контроллеров Broadcom
Итак, RAID 0 предоставляет нам двукратный прирост скорости и времени доступа, а RAID 1 обеспечивает надежность. В идеале бы их совместить, и тут на помощь приходит RAID 10 (или же 1+0). “Десятка” собирается из четырех SATA SSD- или NVMe-накопителей (максимум – 32) и подразумевает массив из “зеркал”, количество накопителей в котором всегда должно быть кратно четырем. Данные в этом массиве записываются посредством разбиения на фиксированные блоки (как в случае с RAID 0) и чередования между накопителями, распределяя копии между «дисками» в массиве RAID 1. А благодаря возможности одновременного доступа к нескольким группам дисков, RAID 10 показывает высокую производительность.
Так как RAID 10 способен распределять данные по нескольким зеркальным парам, это означает, что он может допускать сбой одного накопителя в паре. Однако в случае сбоя обеих зеркальных пар (то есть всех четырех накопителей) произойдет неизбежная потеря данных. В итоге мы также получаем хорошую отказоустойчивость и надежность. Но стоит иметь в виду, что, как и RAID 1, массив десятого уровня использует только половину суммарной емкости, а потому является дорогостоящим решением. Да еще и сложным в настройке.
RAID 10 подходит для использования с хранилищами данных, которым требуется 100-процентная избыточность групп зеркальных дисков, а также повышенная производительность ввода-вывода RAID 0. Это лучшее решение для баз данных среднего размера или любой среды, которая требует более высокой отказоустойчивости, чем в RAID 5.
Зачем нужен RAID-массив?
Само слово “массив” уже подразумевает то, что для его создания используется несколько накопителей (HDD и SSD), которые объединяются с помощью RAID-контроллера и распознаются ОС, как единое хранилище данных. Глобальная задача, которую позволяют решить RAID-массивы — минимизация времени доступа к данным, повышение скорости чтения/записи и надежности, которая достигается благодаря возможности быстрого восстановления в случае сбоя. К слову, для домашних бэкапов использовать RAID совсем не обязательно. А вот если у вас есть свой домашний сервер, к которому необходим постоянный доступ 24/7 — тут уже другое дело.
Существует свыше десятка уровней RAID-массивов, каждый из которых отличается количеством используемых в нем накопителей и имеет свои плюсы и минусы: например, RAID 0 позволяет получить высокую производительность без отказоустойчивости, RAID 1 — наладить автоматическое зеркалирование данных без прироста скорости, а RAID 10 объединяет в себе возможности вышеперечисленных. RAID 0 и 1 — самые простые (поскольку не требуют произведения программных вычислений) и, как следствие, — самые популярные. В конечном счете выбор в пользу того или иного уровня RAID зависит от возлагаемых на дисковый массив задач и возможностей RAID-контроллера.
Зачем нужен RAID на SSD?
Преимущества массивов хранения на основе SSD по сравнению с массивами хранения на жестких дисках включают сокращение времени доступа к данным на накопителе и превосходную производительность в операциях чтения/записи. Однако для идеальной производительности RAID’а на базе SSD требуется оптимальное сочетание процессора, кэша, программного и аппаратного обеспечения. Когда все эти факторы идеально работают вместе, RAID-массив из SSD может значительно превзойти сопоставимую конфигурацию с применением традиционных HDD.
Типичный SSD потребляет меньше энергии, чем жесткие диски, поэтому при объединении большого количества твердотельных накопителей в RAID-массив экономия энергии по сравнению с RAID-массивом из HDD может привести еще и к снижению расходов при оплате корпоративных счетов за электроэнергию.
Однако SSD RAID имеет ограничения и недостатки: в частности, более высокая цена за гигабайт пространства по сравнению с жесткими дисками сопоставимой емкости. А время наработки флеш-памяти на отказ ограничено определенным количеством циклов перезаписи. То есть у SSD-накопителей есть определенный срок службы, который зависит от эксплуатации: чем активнее перезаписывается информация на нем, тем быстрее накопитель выйдет из строя. С другой стороны, корпоративные твердотельные накопители имеют приличный срок службы, сопоставимый с механическими жесткими дисками.
RAID 5 на базе SSD Kingston и контроллеров Broadcom
Для организации RAID-массива пятого уровня нам потребуется как минимум три накопителя, данные на которых чередуются (циклически записываются на все накопители в массиве), но не дублируются. При их организации следует учитывать их более сложное устройство, так как здесь появляется такое понятие, как “контрольная сумма” (или же “четность”). Под этим понятием подразумевается логическая алгебраическая функция XOR (она же исключающее „ИЛИ“), которая и диктует использование минимум трех накопителей в массиве (максимум – 32). При этом информация о четности записывается на все «диски» в массиве.
Для массива из четырех SATA SSD-накопителей Kingston DC500R с емкостью по 3,84 Тбайт каждый, мы получим 11,52 Тбайт пространства и 3,84 для контрольных сумм. А если объединить в RAID пятого уровня 16 NVMe-накопителей Kingston DC1000M U.2 с емкостью 7,68 Тбайт — поучим 115,2 Тбайт с потерей 7,68 Тбайт. Как видите, чем больше накопителей, тем в итоге лучше. Лучше еще и потому, что чем больше накопителей в RAID 5, тем выше суммарная производительность при операциях записи. А линейное чтение будет достигать уровня RAID 0.
Группа дисков RAID 5 обеспечивает высокую пропускную способность (особенно для больших файлов) и избыточность с минимальной потерей мощности. Лучше всего такой тип организации массива подходит для сетей, которые выполняют много небольших операций ввода-вывода (I / O) одновременно. А вот использовать его для задач, требующих большого количества операций записи небольших или небольших блоков, не стоит.
Есть и еще один нюанс: при отказе хотя бы одного из NVMe-накопителей, RAID 5 переходит в режим деградации и выход из строя еще одного устройства хранения может стать критичным для всех данных. В случае сбоя одного накопителя в массиве RAID-контроллер использует информацию о четности для воссоздания всех недостающих данных.
Домашний и корпоративный RAID: в чем разница?
Основа любого современного бизнеса — большие объемы данных, которые должны надежно храниться на серверах компаний. А еще, как мы уже отмечали выше, к ним должен обеспечиваться постоянный доступ 24/7. Понятное дело, что наравне с “железом” важна и софтверная часть, но в данном случае мы говорим все-таки об оборудовании, которое обеспечивает надежное хранение и обработку информации. Никакой софт не спасет компанию от разорения, если “железное” оснащение не соответствует возложенным на него задачам.
Для этих задач любой производитель “железа” предлагает так называемые корпоративные устройства. У Kingston — это мощные твердотельные решения в лице SATA-моделей Kingston 450R (DC450R) и серии DC500, а также NVMe-моделей DC1000M U.2 NVMe, DCU1000 U.2 NVMe и DCP-1000 PCI-e, предназначенных для использования в ЦОД (центрах обработки данных) и суперкомпьютерах. Массивы из таких накопителей, как правило, используются в связке с аппаратными контроллерами.
Для потребительского же рынка (то есть для домашних ПК и NAS-серверов) доступны такие накопители как Kingston KC2000 NVMe PCIe, но в этом случае необязательно покупать аппаратный контроллер. Можно ограничиться встроенным в материнскую плату ПК или NAS-сервера, если вы конечно не планируете самостоятельно собрать домашний сервер для нетипичных задач (завести маленький домашний хостинг для друзей, к примеру). К тому же, домашние RAID-массивы, как правило, не предполагают наличие сотен и тысяч накопителей, ограничиваясь двумя, четырьмя и восемью устройствами (чаще SATA).
Стоит ли создавать RAID-массив на SSD?
Итак, мы уже поняли, что RAID-массивы – это залог высокого быстродействия. Но стоит ли собирать RAID из твердотельных накопителей для домашнего и корпоративного использования? Многие скептики говорят о том, что прирост в скорости получается не столь существенным, чтобы разоряться на NVMe-накопители. Но так ли это на самом деле? Вряд ли. Самым большим ограничением для использования SSD в RAID (как в домашних условиях, так и на корпоративном уровне) может стать только цена. Как ни крути, а стоимость гигабайта пространства у HDD значительно дешевле.
Подключение нескольких твердотельных “дисков” к контроллеру RAID для создания массива из SSD в определенных конфигурациях может оказать огромное влияние на производительность. Не стоит, однако, забывать, что максимальная производительность ограничена пропускной способностью самого контроллера RAID. Уровнем RAID, который предлагает лучшую скорость работы, является RAID 0.
Организация обычного RAID 0 с двумя SSD-накопителями, в которой используется метод разбиения данных на фиксированные блоки и их чередования между твердотельными хранилищами, приведет к удвоению производительности (если сравнивать со скоростями, которые выдает один SSD). При этом массив RAID 0 с четырьмя твердотельными накопителями будет уже в четыре раза быстрее, чем самый медленный SSD в массиве (в зависимости от ограничения пропускной способности на уровне контроллера RAID SSD).
Если исходить из простой арифметики, SATA SSD примерно в 3 раза быстрее традиционного SATA HDD. NVMe-решения еще эффективнее — в 10 раз и более. При условии, что два жестких диска в RAID’е нулевого уровня покажут удвоенную производительность, увеличив ее на 50%, два SATA SSD окажутся в 6 раз быстрее, а два NVMe SSD — в 20 раз быстрее. В частности, один накопитель Kingston KC2000 NVMe PCIe может достигать скорости последовательного чтения и записи до 3200 Мбайт/с, что в формате RAID 0 достигнет внушительных 6 Гбайт/с. А скорость чтения/записи случайных блоков размером 4 Кбайт превратится из 350 000 IOPS в 700 000 IOPS. Но… в то же время “нулевой” RAID не обеспечивает нам избыточности.
Можно сказать, что в домашних условиях избыточность хранилища обычно и не требуется, поэтому самой подходящей конфигурацией RAID для SSD действительно становится RAID 0. Это надежный способ получить значительное повышение производительности в качестве альтернативы использованию таких технологий, как твердотельные накопители на базе Intel Optane. А вот как поведут себя SSD-решения в самых популярных типах RAID (“1”, “5”, “10”, “50”) — мы поговорим в нашем следующем материале.
Данная статья подготовлена при поддержке наших коллег из Broadcom, которые предоставляют свои контроллеры инженерам Kingston для тестирования с накопителями SATA/SAS/NVMe корпоративного класса. Благодаря этому дружескому симбиозу, клиентам не приходится сомневаться в надежности и стабильности работы накопителей Kingston c HBA- и RAID-контроллерами производства Broadcom.
Дополнительную информацию о продуктах Kingston можно найти на официальном сайте компании.
В прошлом материале мы уже рассмотрели вопрос о том “Применим ли RAID на SSD” на примере накопителей Kingston, но сделали это только в рамках нулевого уровня. В текущей статье мы разберем варианты использования профессиональных и домашних NVMe-решений в самых популярных типах RAID-массивов и расскажем о совместимости контроллеров Broadcom с накопителями Kingston.
Как SSD Kingston живут в режиме RAID с контроллерами Broadcom
На заре появления SSD-накопителей RAID-конструкции таили в себе много нюансов. В том числе из-за использования менее отказоустойчивых HDD-дисков. Твердотельные накопители гораздо надежнее своих собратьев на основе магнитных дисков. Как мы знаем, в SSD-решениях нет движущихся элементов, поэтому механические повреждения сведены к нулю. Выход твердотельных накопителей из строя вследствие скачков напряжения тоже маловероятен, учитывая, что на уровне домашнего ПК и любого сервера вас предохраняют ИБП, сетевые фильтры и даже блок питания.
При этом у твердотельных накопителей есть еще один существенный плюс: даже если ячейки памяти износятся на запись – чтение данных с них все равно можно будет произвести, а вот при повреждении магнитного диска – увы.
На сегодняшний день использовать SSD-решения в RAID-массивах разных уровней вполне нормальная практика. Главное – выбирать правильные твердотельные накопители, латентность которых минимальна. А еще в идеале использовать SSD одного и того же производителя и одной и той же модели, чтобы не получилась мешанина из накопителей, поддерживающих разные типы нагрузок и построенных на базе разных типов памяти, контроллеров и прочих технологий. То есть, если уж мы решили закупить для создания RAID-массива четыре или 16 NVMe SSD компании Kingston – пусть лучше все они будут из одной серии и модельного ряда.
К слову, в прошлой статье мы неспроста приводили в пример контроллеры Broadcom, когда говорили о NVMe SSD от Kingston. Дело в том, что в мануалах к этим устройствам сразу прописываются совместимые накопители (включая решения от вышеупомянутого американского производителя SSD), с которыми контроллер будет работать без нареканий. На эту информацию и нужно опираться при выборе связки «контроллер-SSD» для RAID.
RAID 50 на базе SSD Kingston и контроллеров Broadcom
Комбинированный массив, аналогичный RAID’у десятого уровня, который представляет собой массив нулевого уровня, созданный из массивов пятого уровня. Как и в предыдущем случае, основная цель данного массива состоит в получении удвоенной производительности при сохранении надежности данных в массивах RAID 5. При этом RAID 50 обеспечивает повышенную производительность записи и лучшую защиту данных, нежели стандартный RAID 5 в случае сбоя диска, а также способен к более быстрому восстановлению в случае отказа одного из накопителей.
Группа дисков RAID 50 разбивает данные на более мелкие блоки, а затем распределяет их на каждый массив RAID 5. Группа дисков RAID 5, в свою очередь, также разбивает данные на более мелкие блоки, вычисляет четность, производит логическую операцию OR для блоков, а затем выполняет операции записи в блоки данных и контроля четности для каждого диска в группе дисков.
И хотя производительность неизбежно снижается в случае сбоя одного из накопителей, это не столь существенно, как в массиве RAID 5, поскольку один сбой влияет только на один из массивов, оставляя другой полностью работоспособным. На самом деле RAID 50 может выдержать до восьми отказов HDD/SSD/NVMe-накопителя, если каждый отказавший “диск” находится в отдельном массиве RAID 5.
RAID 50 лучше всего использовать для приложений, которым требуется высокая надежность и которые должны обрабатывать большое количество запросов при сохранении высокой скорости передачи данных и более низкой стоимости накопителей, чем в массиве RAID 10. Однако, поскольку для настройки массива RAID 50 требуется минимум шесть накопителей, стоимость не полностью исключается как фактор. Одним из недостатков RAID 50 является то, что, как и RAID 5, ему нужен сложный контроллер: такой как упомянутый нами в прошлой статье MegaRAID 9460-16i от Broadcom.
Стоит также отметить, что RAID 50 имеет меньше используемого дискового пространства, чем RAID 5, из-за выделения емкости для содержания записей контроля четности. Тем не менее, он все еще имеет больше полезного пространства, чем другие уровни RAID, особенно те, которые используют зеркалирование. При минимальном требовании в шесть дисков RAID 50 может быть дорогостоящим вариантом, но дополнительное дисковое пространство оправдывает затраты, защищая корпоративные данные. Этот тип массива рекомендуется для работы с данными, требующими высокой надежности хранения, высокой частоты запросов, высокой скорости передачи и большой емкости для размещения.
Режимы работы RAID контроллеров SAS/SATA/NVMe
Основной задачей трехрежимных HBA- и RAID-контроллеров (или контроллеров с функцией Tri-Mode) является создание аппаратного RAID на базе NVMe. У компании Broadcom это умеют делать контроллеры 9400 серии: например, MegaRAID 9460-16i. Он относится к самостоятельному типу RAID-контроллеров, оснащен четырьмя разъемами SFF-8643 и, благодаря поддержке Tri-Mode, позволяет коннектить к себе SATA/SAS- и NVMe-накопители одновременно. К тому же это еще и один из самых энергоэффективных контроллеров на рынке (потребляет всего 17 Ватт энергии, при этом менее 1,1 Ватт на каждый из 16 портов).
Интерфейсом подключения служит PCI Express x8 версии 3.1, что позволяет реализовать пропускную способность на уровне 64 Гбит/с (в 2020 году ожидается появление контроллеров для PCI Express 4.0). В основе 16-портового контроллера лежит 2-ядерный чип SAS3516 и 72-битная DDR4-2133 SDRAM (4 Гбайт), а также реализована возможность подключения до 240 накопителей SATA/SAS-, либо до 24 NVMe-устройств. По части организации RAID-массивов поддерживаются уровни “0”, “1”, “5” и “6”, а также “10”, “50” и “60”. К слову, кэш-память MegaRAID 9460-16i и других контроллеров в серии 9400 защищена от сбоев напряжения дополнительным модулем CacheVault CVPM05.
В основе трехрежимной технологии лежит функция преобразования данных SerDes: преобразование последовательного представления данных в интерфейсах SAS/SATA в параллельную форму в PCIe NVMe и наоборот. То есть контроллер согласовывает скорости и протоколы, чтобы беспрепятственно работать с любым из трех типов устройств хранения. Это обеспечивает бесперебойный способ масштабирования инфраструктур центров обработки данных: пользователи могут использовать NVMe без существенных изменений в других конфигурациях системы.
Однако при планировании конфигураций с NVMe-накопителями, стоит учитывать, что NVMe-решения используют для подключения 4 линии PCIe, а значит каждый накопитель задействует все линии портов SFF-8643. Выходит, что напрямую к контроллеру MegaRAID 9460-16i можно подключить только четыре накопителя NVMe. Либо ограничиться двумя NVMe-решениями при одновременном подключении восьми SAS-накопителей (см. схему подключения ниже).
На рисунке показано использование разъема «0» (С0 / Connector 0) и разъема «1» для подключений NVMe, а также разъемов «2» и «3» для подключений SAS. Это расположение может быть изменено на обратное, но каждый накопитель x4 NVMe должен быть подключен с использованием соседних линий. Режимы работы контроллера устанавливается через конфигурационные утилиты StorCLI или Human Interface Infrastructure (HII), которая работает в среде UEFI.
Режим по умолчанию — профиль «PD64» (поддержка только SAS / SATA). Как мы уже говорили выше, всего профилей три: режим «SAS/SATA only mode» (PD240 / PD64 / PD 16), режим «NVMe only mode» (PCIe4) и смешанный режим, в котором могут работать все типы накопителей: «PD64-PCIe4» (поддержка 64 физических и виртуальных дисков с 4 NVMe-накопителями). В смешанном режиме значение задаваемого профиля должно быть таким – «ProfileID=13». К слову, выбранный профиль сохраняется в качестве ведущего и не сбрасывается даже при откате к заводским настройкам через команду Set Factory Defaults. Сменить его можно будет только вручную.
RAID 1 на базе SSD Kingston и контроллеров Broadcom
Итак, RAID-массив первого уровня на базе контроллера Broadcom MegaRAID 9460-16i объединяет от двух до 32 накопителей Kingston, которые являются копиями друг друга, и обеспечивает полную избыточность. Если при использовании традиционных HDD скорость записи и чтения данных оставалась на уровне этого самого HDD, то с использование NVMe SSD-решений мы получаем десятикратный прирост производительности. Особенно по части времени доступа к данным. Например, с двумя SSD Kingston DC1000M U.2 NVMe в серверном RAID 1 мы получим 350 000 IOPS при чтении случайных данных и 75 000 IOPS при записи.
В отношении последовательной скорости чтения результаты будут соответствовать характеристикам накопителя — 3200 Мбайт/с. Но, поскольку оба NVMe SSD находятся в рабочем состоянии, данные могут считываться с них одновременно, что делает операции чтения довольно быстрыми. А вот скорость записи (заявленная составляет 2000 Мбайт/с) будет медленнее, потому что каждая операция записи выполняется дважды.
Массив RAID 1 идеально подходит для небольших баз данных или любой другой среды, которая требует отказоустойчивости, но небольшой емкости. Зеркальное копирование накопителей особенно выручает в сценариях аварийного восстановления (производительность при этом немного ухудшается), поскольку обеспечивает мгновенную “реанимацию” важных данных, если один из накопителей в массиве выходит из строя. Но, поскольку этот уровень защиты требует удвоения емкости для хранения зеркальной копии данных (для хранения 100 Тбайт потребуется 200 Тбайт места), во многих корпоративных системах используются более экономичные варианты хранения: RAID 5 и RAID 6.
Читайте также: