Raid из 4 дисков какой лучше
Небольшой, но, надеюсь, обоснованный ответ на топик Почему RAID-5 — «mustdie»?.
Ниже я произведу простейший расчёт надёжности RAID10 и RAID5 и сравнение их характеристик, а также укажу на некоторые принципиальные недостатки RAID1 и RAID10.
Небольшая вводная:
Рассматривать мы будем простейшие случаи — RAID10 из 4-х дисков и RAID5 из 3-х дисков. Все диски в системе примем одинаковыми.
В первоначальной версии статьи вместо RAID10 упоминался RAID0+1, но это вносит лишнюю путаницу. Корректное название конечно же RAID10 — сыплю голову пеплом.
Пусть n — вероятность отказа одного диска;
Итак — RAID10:
Кол-во дисков в массиве — 4;
Цена массива равна стоимости четырёх дисков;
Ёмкость массива будет равна удвоенной ёмкости используемых дисков (одного диска);
Максимальная скорость чтения данных равна удвоенной скорости одного диска;
Вероятность отказа массива для самого лучшего случая (когда контроллер реализует RAID1+0 как единую матрицу и умеет комбинировать накопители произвольным образом):
Вероятность отказа одного диска: P1=n(1-n)^3;
Вероятность отказа двух дисков: P2=(n^2)*(1-n)^2;
Вероятность отказа трёх дисков: P3=(n^3)*(1-n);
Вероятность отказа четырёх дисков: P4=n^4;
Вероятность безотказной работы: P0=(1-n)^4;
Полная вероятность: 4*P1+6*P2+4*P3+P4+P0=1;
Вероятность отказа массива: P(RAID10)=2*P2+4*P3+P4;
* В первом слагаемом вместо 6 стоит 2, так как только в двух случаях (при повреждении дисков с одинаковыми ыми данными) массив не может быть восстановлен.
Отдельно замечу, что большинство контроллеров не умеют комбинировать накопители, а значит отказ двух любых накопителей ведёт к потере данных, и надёжность массива в целом получается значительно ниже.
RAID5:
Кол-во дисков в массиве — 3;
Цена массива равно стоимости трёх дисков;
Ёмкость массива равна ёмкости двух дисков;
максимальная скорость чтения равна полуторной скорости чтения одного диска;
Вероятность отказа массива равна вероятности отказа двух дисков в нём:
Вероятность отказа одного диска: P1=n(1-n)^2;
Вероятность отказа двух дисков: P2=(n^2)*(1-n);
Вероятность отказа трёх дисков: P3=n^3;
Вероятность безотказной работы: P0=(1-n)^3;
Полная вероятность: 3*P1+3*P2+P3+P0=1;
Вероятность отказа массива: P(RAID5)=3*P2+P3;
Выводы:
Начнём конечно же с вероятности отказа — отнимем вероятность отказа RAID5 от вероятности отказа RAID10:
P(RAID10)-P(RAID5)=2n^2*(n-1)^2-n^3+n^4+3*n^2*(n-1)-4*n^3*(n-1)
Учитывая, что n->0 P(RAID10)-P(RAID5) Если же допустить, что накопители не могут комбинироваться произвольным образом, то RAID5 надёжнее.
Соотношение цен: RAID5 в 1.333 раза дешевле.
Соотношение скоростей: RAID5 в 1.333 раза медленнее чем RAID10, но при этом в полтора раза быстрее одиночного накопителя.
Внимание вопрос какой вариант лучше? Тот, который дороже и менее надёжен, хоть и немного быстрее. Или тот, что дешевле и надёжнее?
Лично моё мнение склоняется в сторону более надёжного и дешёвого RAID5 никуда не склоняется.
Дополнение:
В комментариях уважаемый track аргументировано указал, что в некоторых случаях RAID-5 может оказаться намного медленнее RAID1. По моему скромному мнению это должны быть очень и очень специфичные случаи, но иметь в виду следует.
Всякого рода замечания:
Время восстановления:
Восстановление RAID10 в идеале равно времени копирования всего объёма данных.
Для RAID5 ситуация сложнее, так как требуется восстановление данных по кодам коррекции.
При программной реализации время восстановления RAID5 будет определяться быстродействием процессора.
При аппаратной реализации время восстановления RAID5 равно времени восстановления RAID10.
Учитывая, что современные процессоры без проблем справляются с потоком данных порядка 100МБ/с (приблизительная пиковая скорость чтения современных накопителей) можно утверждать, что при правильной реализации программный RAID5 будет не намного медленнее RAID10.
Про надёжность во время восстановления. Для рассматриваемого случая об этого говорить вообще не приходится — резервные копии делать нужно! В общем же случае следует принимать во внимание, что на момент восстановления количество дисков в RAID10 больше, чем в RAID5, а значит вероятность отказа выше, и нельзя говорить о том, что на время восстановления RAID10 однозначно надёжнее.
Дополнение:
Если используется RAID-5EE, то в случае первого отказа он «сжимается» в RAID-5, что может занять очень длительное время. Однако, следует учитывать, что в результате получается полноценный RAID-5, который устойчив к одиночным отказам, т.е. фактически (при некоторых ограничениях) система может пережить два отказа подряд.
Загрузка процессора:
Программная реализация RAID5 нагружает процессор. Для современных процессоров, это как правило не критично, но для быстрых накопителей нужно иметь в виду, что чем быстрее накопитель, тем сильнее нагрузка на процессор.
И снова надёжность — последний гвоздь в крышку гроба:
Почему-то при разговоре о RAID10 и особенно о RAID1 все упускают из вида один очень важный момент.
Да, в случае физического отказа накопителя он обеспечивет восстановление данных из копии, но что будет, если накопители вернут разные данные? Ведь в RAID1 нет способа узнать какие данные верны! Можно попытаться определить достоверность данных по их содержанию, но это не тривиальная задача, которая может быть выполнена только вручную, причём, далеко не всегда.
Именно по этой причине я вообще не рассматриваю здесь RAID1 — он не обеспечивает механизма контроля достоверности данных. И RAID10 в общем случае тоже.
А RAID5 (6?) в общем случае очень даже обеспечивает — если один из трёх накопителей вернёт неверные данные, то будет однозначно известно, что они не достоверны.
Как такое (недостоверность данных) может случиться?
Проблемы с перегревом дисков. Проблемы с питанием. Проблемы с прошивкой дисков. Масса вариантов! Вплоть до полного выгорания электроники в результате выхода их строя компьютерного источника питания. В таком случае диски можно попытаться оживить, поставив платы с аналогичных устройств, но не будет гарантии, что все данные на дисках достоверны.
И ещё один гвоздик туда же. В топике с которого всё началось много расписано про BER (bit error rates). Не вдаваясь в подробности лишь замечу что, во-первых, для жёстких дисков все же принято больше говорить о MTBF (mean time between failures), во-вторых, если и говорить о BER, то о UBER (uncorrectable bit error rates), а, в-третьих, это будет аргумент в пользу RAID5 — если накопители вернут искажённые данные (которые прошли через все процедуры коррекции), то как узнать какому накопителю верить?
Дополнение:
Вики говорит обратное — информация для восстановления не используется до тех пор, пока один из дисков не выйдет из строя. Жизненный опыт, правда, говорит иначе, но это было давно и я даже не помню на каком контроллере (возможно это был один нестандартных уровней RAID). Так что однозначно о достоверности данных можно говорить лишь для ZFS/RAID-6.
Вердикт:
Вердикт прост — если не нужны лишние проблемы на ровном месте, то не нужно городить ни RAID1 ни RAID0+1 — нужно смотреть в сторону RAID5, 5E, 6, ZFS
Вердикт по отношению к «чистому» RAID5 не однозначен :)
Udpate:
Поправил расчёт вероятности — вывод не изменился. Поправил «RAID0+1» на «RAID10». Замечу, что в описываемом случае «RAID0+1» идентичен «RAID1+0». Но корректное название конечно же «RAID10».
Udpate2:
Вот так легко и не замысловато смысл статьи изменился если и не на противоположный, то уж точно кардинально.
Итого:
1. какой вариант nas для дома взять на итоговую емкость 30 Тб, чтобы при выходе хотя бы одного любого диска все не покрашилось в миг?
2. на мой взгляд, высока вероятность поломки не одного, а сразу двух дисков (они же в один момент покупаются, даже если куплю у разных поставщиков, партия производственная может быть одна). Какой вариант RAID брать чтобы не бояться краха 2 дисков в массиве?
какой вариант nas для дома взять на итоговую емкость 30 Тб, чтобы при выходе хотя бы одного любого диска все не покрашилось в миг?
NAS или RAID? Если NAS, то вы правильно выбрали Синолоджи, если RAID, то 5.
Нет, Вероятность этого варианта на порядки ниже, чем поломка одного.
RAID 6. Но вам "пятёрки" за глаза.
В конце концов, это сервер для бэкапов.
Вероятность выхода из строя двух дисков действительно существенно ниже вероятности выхода из строя одного, но ввиду того, что при ребилде массива идет повышенная нагрузка на диски, и учитывая объемы современных накопителей, вероятность того, что второй диск отвалится вскоре после первого (и до того, как ребилд будет завершен) довольна велика, из-за чего в последнее время приобретает популярность точка зрения, что при дисках емкостью более 3тб рейд5 уже не айс.
В любом случае, автору вопроса стоит задуматься о том, а на что он будет бэкапить то, что у него в рейде, и в каком объеме. Может статься, что при наличии бэкапа и рейд5 сойдет.
John Smith, ну я не думаю, что у автора будет такая жёсткая нагрузка на диски, что посыпется хотя бы один :)
Рональд Макдональд, нагрузка будет невысокой, это верно. Верно и то, что без "бекапа бекапа" и raid5, и raid6 все равно риск.
Я тут внезапно задумался о скорости записи на raid6, которая не высока совсем. Тоже надо иметь ввиду. Raid10, думаю, все же перебор для дома, так что пока raid6 побеждает.
Рональд Макдональд, диски - расходники, и дело не только и не столько в нагрузке.
Почитайте отчеты backblaze на досуге.
raid5 - это возможность без опаски потерять один диск
raid6 - возможность потерять два диска
Пример, почему имело бы смысл использовать 6 рейд - когда умирает один диск, вы покупаете ему замену и весь рейд начинает операцию rebuild, это очень длительная операция, она работает в idle, т.е. не должна заметно замедлить работу всего массива, но может длиться сутками. К сожалению из-за повышенной нагрузки на диски, все те косяки, которые привели тот умерший диск к смерти, могут возникнуть и на оставшихся дисках (особенно это актуально для дисков одного производителя и одной партии), т.е. шансы помереть дискам в момент ребилда массива - выше, и вот за надежность данных в этот период и будет следить raid6.
p.s. брать одинаковые диски рекомендуют чтобы тайминги были у них одинаковые, особенно это актуально для аппаратных рейдов, буквально цитата, можно получить разрушенный рейд на пустом месте из-за этого.
Полагаю это актуально для аппаратных рейдов, заточенных на производительность, а домашние софтовые рейды этой проблемой не страдают.
Согласен во всем, мнение насчет проблем при ребилде встречается часто. Честно говоря, пораскинул немного мозгами и не стал такое городить для дома. Не дешево, может выкинуть фокус с ребилдом, особенно годика через 4 или позднее, плюс бекапы просто разделил - пару стареньких nas, пару дисков usb, есть же скоростные диски thunderbolt - какие там wifi. фьють - и 40 Гб за мнгновения скопированы.
Привет Хабр! В этом материале мы расскажем, стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит? Мы решили разобраться в этом вопросе, рассмотрев виды и типы контроллеров, которые позволяют это сделать, а также сферы применения таких конфигураций.
Так или иначе, каждый из нас хоть раз в жизни слышал такие определения, как “RAID”, “RAID-массив”, “RAID-контроллер”, но вряд ли придавал этому серьезное значение, потому что рядовому ПК-боярину все это вряд ли интересно. А вот высоких скоростей от внутренних накопителей и безотказности их работы хочется всем и каждому. Ведь, какой бы мощной ни была начинка компьютера, скорость работы накопителя становится узким местом, если говорить о совокупном быстродействии ПК и сервера.
Так было ровно до того момента, пока на смену традиционным HDD не пришли современные NVMe SSD со сравнимой емкостью в 1 Тбайт и более. И если раньше в ПК чаще встречались связки SATA SSD + парочка емких HDD, то сегодня их начинает сменять другое решение — NVMe SSD + парочка емких SATA SSD. Если говорить о корпоративных серверах и “облаках”, многие уже успешно переехали на SATA SSD, просто потому что они быстрее обычных “жестянок” и способны обрабатывать большее количество операций ввода/вывода одновременно.
Однако отказоустойчивость системы все равно находится на достаточно низком уровне: мы не можем как в “Битве экстрасенсов” предугадать с точностью даже до недели, когда тот или иной твердотельный накопитель прикажет долго жить. И если HDD “умирают” постепенно, позволяя уловить симптомы и принять меры, то SSD “мрут” сразу и без предупреждений. И вот теперь самое время разобраться, зачем все это вообще нужно? Стоит ли организовывать RAID-массивы на базе твердотельных решений SATA SSD и NVMe SSD, и будет ли от этого серьезный профит?
Зачем нужен RAID-массив?
Само слово “массив” уже подразумевает то, что для его создания используется несколько накопителей (HDD и SSD), которые объединяются с помощью RAID-контроллера и распознаются ОС, как единое хранилище данных. Глобальная задача, которую позволяют решить RAID-массивы — минимизация времени доступа к данным, повышение скорости чтения/записи и надежности, которая достигается благодаря возможности быстрого восстановления в случае сбоя. К слову, для домашних бэкапов использовать RAID совсем не обязательно. А вот если у вас есть свой домашний сервер, к которому необходим постоянный доступ 24/7 — тут уже другое дело.
Существует свыше десятка уровней RAID-массивов, каждый из которых отличается количеством используемых в нем накопителей и имеет свои плюсы и минусы: например, RAID 0 позволяет получить высокую производительность без отказоустойчивости, RAID 1 — наладить автоматическое зеркалирование данных без прироста скорости, а RAID 10 объединяет в себе возможности вышеперечисленных. RAID 0 и 1 — самые простые (поскольку не требуют произведения программных вычислений) и, как следствие, — самые популярные. В конечном счете выбор в пользу того или иного уровня RAID зависит от возлагаемых на дисковый массив задач и возможностей RAID-контроллера.
RAID 10
RAID 10 — массив дисков с зеркалированием и чередованием. Представляет собой массив RAID 0 из нескольких массивов RAID 1. В реализации RAID 10 на практике каждый подмассив RAID 1 состоит из двух дисков, поэтому допускается выход из строя не более одного диска в каждом подмассиве. RAID 10 обладает самой высокой производительностью и надежностью, при этом эффективность использования дискового пространства составляет 50%.
Использование:
Основным сценарием применения является использование для работы с базами данных (Oracle, SAP HANA, SQL) и другими высокотранзакционными нагрузками.
Формула эффективности:
S * N / 2, где N — количество дисков в массиве, S — объем наименьшего диска.
RAID 4
RAID 4 — массив дисков с поблочным чередованием с одним выделенным диском четности на группу. Принцип работы похож на RAID 3, но данные разбиваются не на байты, а на блоки. Это увеличивает производительность при работе с небольшими файлами. Слабым местом RAID 4 является диск четности, на который ложится большая нагрузка в RAID-группе. Как следствие, диск четности почти всегда первым выходит из строя.
Использование:
RAID 4 ранее использовался в дисковых массивах NetApp серии FAS, где недостаток надежности компенсировался принципом записи файловой системы WAFL (Write Anywhere File Layout). Рекомендуется только для временных и неважных данных. На данный момент RAID 4 в СХД NetApp вытесняется RAID DP.
В соответствии с рекомендациями компании NetApp, оптимальный размер RAID группы для NL-SAS составляет 7 дисков; для SAS или SSD — от 8 до 14 дисков.
Формула эффективности:
S * (N - 1), где N — количество дисков в массиве, S — объем наименьшего диска.
Стоит ли создавать RAID-массив на SSD?
Итак, мы уже поняли, что RAID-массивы – это залог высокого быстродействия. Но стоит ли собирать RAID из твердотельных накопителей для домашнего и корпоративного использования? Многие скептики говорят о том, что прирост в скорости получается не столь существенным, чтобы разоряться на NVMe-накопители. Но так ли это на самом деле? Вряд ли. Самым большим ограничением для использования SSD в RAID (как в домашних условиях, так и на корпоративном уровне) может стать только цена. Как ни крути, а стоимость гигабайта пространства у HDD значительно дешевле.
Подключение нескольких твердотельных “дисков” к контроллеру RAID для создания массива из SSD в определенных конфигурациях может оказать огромное влияние на производительность. Не стоит, однако, забывать, что максимальная производительность ограничена пропускной способностью самого контроллера RAID. Уровнем RAID, который предлагает лучшую скорость работы, является RAID 0.
Организация обычного RAID 0 с двумя SSD-накопителями, в которой используется метод разбиения данных на фиксированные блоки и их чередования между твердотельными хранилищами, приведет к удвоению производительности (если сравнивать со скоростями, которые выдает один SSD). При этом массив RAID 0 с четырьмя твердотельными накопителями будет уже в четыре раза быстрее, чем самый медленный SSD в массиве (в зависимости от ограничения пропускной способности на уровне контроллера RAID SSD).
Если исходить из простой арифметики, SATA SSD примерно в 3 раза быстрее традиционного SATA HDD. NVMe-решения еще эффективнее — в 10 раз и более. При условии, что два жестких диска в RAID’е нулевого уровня покажут удвоенную производительность, увеличив ее на 50%, два SATA SSD окажутся в 6 раз быстрее, а два NVMe SSD — в 20 раз быстрее. В частности, один накопитель Kingston KC2000 NVMe PCIe может достигать скорости последовательного чтения и записи до 3200 Мбайт/с, что в формате RAID 0 достигнет внушительных 6 Гбайт/с. А скорость чтения/записи случайных блоков размером 4 Кбайт превратится из 350 000 IOPS в 700 000 IOPS. Но… в то же время “нулевой” RAID не обеспечивает нам избыточности.
Можно сказать, что в домашних условиях избыточность хранилища обычно и не требуется, поэтому самой подходящей конфигурацией RAID для SSD действительно становится RAID 0. Это надежный способ получить значительное повышение производительности в качестве альтернативы использованию таких технологий, как твердотельные накопители на базе Intel Optane. А вот как поведут себя SSD-решения в самых популярных типах RAID (“1”, “5”, “10”, “50”) — мы поговорим в нашем следующем материале.
Данная статья подготовлена при поддержке наших коллег из Broadcom, которые предоставляют свои контроллеры инженерам Kingston для тестирования с накопителями SATA/SAS/NVMe корпоративного класса. Благодаря этому дружескому симбиозу, клиентам не приходится сомневаться в надежности и стабильности работы накопителей Kingston c HBA- и RAID-контроллерами производства Broadcom.
Дополнительную информацию о продуктах Kingston можно найти на официальном сайте компании.
Технология объединения физических дисков в логический том — RAID — имеет огромное количество вариаций. Практическую реализацию в системах хранения данных и серверном оборудовании можно встретить у следующих спецификаций: RAID 0, 1, 3, 4, 5, 6, DP, 10, 50, 60, однако в коммерческом применении как правило используются только некоторые из них.
RAID TEC
RAID TEC — массив дисков с тройной четностью в линейке продукции FAS компании NetApp. Данный тип RAID разработан для медленных объемных дисков с устойчивой производительностью во время восстановления.
Использование:
Рекомендуется для SATA/NL-SAS дисков объемом 6TB и более.
В соответствии с рекомендациями компании NetApp, оптимальный размер RAID группы — от 20 до 29 дисков.
Формула эффективности:
S * (N - 3), где N — количество дисков в массиве, S — объем наименьшего диска.
RAID 6
RAID 6 — массив дисков с поблочным чередованием с двумя контрольными суммами. Данные распределяются по дискам массива по очереди, в качестве информации для восстановления используется схема двойной четности. RAID 6 может выдержать отказ двух дисков одновременно, однако низкая производительность по операциям ввода-вывода (IOPS) ограничивает область применения.
Использование:
Сценарии применения RAID 6 аналогичны RAID 5 с уклоном в более надежное хранение информации. RAID 6 широко применяется в системах хранения данных, где не важна высокая транзакционная производительность — архивное хранение, видеонаблюдение стратегических объектов, использование в системах безопасности, а также для надежного хранения критически важных данных.
Формула эффективности:
S * (N - 2), где N — количество дисков в массиве, S — объем наименьшего диска.
RAID 50
RAID 50 — массив дисков, состоящий из чередования массивов RAID 5. Реализуется построением страйпа (RAID 0) из RAID 5. Допускается отказ не более одного диска в каждом подмассиве. Производительность RAID 50 выше, чем при использовании RAID 5, и стремится к RAID10, но надежность недостаточна для применения в реальных бизнес-задачах.
Использование:
Поддерживается ограниченным количеством производителей, т.к. не рекомендуется к использованию ввиду низкой надежности. Возможная модель использования предполагает хранения временных или неважных данных.
Формула эффективности:
S * (N - 2), где N — количество дисков в массиве, S — объем наименьшего диска.
RAID 5
RAID 5 — массив дисков с поблочным чередованием с одной контрольной суммой. При построении RAID 5 для контрольных сумм не выделяется отдельный диск, как в RAID 4, вместо этого данные циклически записываются на все диски. Аналогично RAID 4, RAID 5 позволяет производить параллельную запись, что существенно увеличивает производительность. Нагрузка на диск четности равномерно распределяется по всем дискам в массиве.
Использование:
RAID 5 широко применяется в реальных бизнес-задачах. Типовым сценарием является использование в серверах в области хранения данных для пользовательских приложений и выполнения транзакций. Использовать в СХД рекомендуется в первую очередь для маловажной информации с небольшой нагрузкой на диски, например, в системах видеонаблюдения.
Формула эффективности:
S * (N - 1), где N — количество дисков в массиве, S — объем наименьшего диска.
Режимы работы RAID контроллеров SAS/SATA/NVMe
Основной задачей трехрежимных HBA- и RAID-контроллеров (или контроллеров с функцией Tri-Mode) является создание аппаратного RAID на базе NVMe. У компании Broadcom это умеют делать контроллеры 9400 серии: например, MegaRAID 9460-16i. Он относится к самостоятельному типу RAID-контроллеров, оснащен четырьмя разъемами SFF-8643 и, благодаря поддержке Tri-Mode, позволяет коннектить к себе SATA/SAS- и NVMe-накопители одновременно. К тому же это еще и один из самых энергоэффективных контроллеров на рынке (потребляет всего 17 Ватт энергии, при этом менее 1,1 Ватт на каждый из 16 портов).
Интерфейсом подключения служит PCI Express x8 версии 3.1, что позволяет реализовать пропускную способность на уровне 64 Гбит/с (в 2020 году ожидается появление контроллеров для PCI Express 4.0). В основе 16-портового контроллера лежит 2-ядерный чип SAS3516 и 72-битная DDR4-2133 SDRAM (4 Гбайт), а также реализована возможность подключения до 240 накопителей SATA/SAS-, либо до 24 NVMe-устройств. По части организации RAID-массивов поддерживаются уровни “0”, “1”, “5” и “6”, а также “10”, “50” и “60”. К слову, кэш-память MegaRAID 9460-16i и других контроллеров в серии 9400 защищена от сбоев напряжения дополнительным модулем CacheVault CVPM05.
В основе трехрежимной технологии лежит функция преобразования данных SerDes: преобразование последовательного представления данных в интерфейсах SAS/SATA в параллельную форму в PCIe NVMe и наоборот. То есть контроллер согласовывает скорости и протоколы, чтобы беспрепятственно работать с любым из трех типов устройств хранения. Это обеспечивает бесперебойный способ масштабирования инфраструктур центров обработки данных: пользователи могут использовать NVMe без существенных изменений в других конфигурациях системы.
Однако при планировании конфигураций с NVMe-накопителями, стоит учитывать, что NVMe-решения используют для подключения 4 линии PCIe, а значит каждый накопитель задействует все линии портов SFF-8643. Выходит, что напрямую к контроллеру MegaRAID 9460-16i можно подключить только четыре накопителя NVMe. Либо ограничиться двумя NVMe-решениями при одновременном подключении восьми SAS-накопителей (см. схему подключения ниже).
На рисунке показано использование разъема «0» (С0 / Connector 0) и разъема «1» для подключений NVMe, а также разъемов «2» и «3» для подключений SAS. Это расположение может быть изменено на обратное, но каждый накопитель x4 NVMe должен быть подключен с использованием соседних линий. Режимы работы контроллера устанавливается через конфигурационные утилиты StorCLI или Human Interface Infrastructure (HII), которая работает в среде UEFI.
Режим по умолчанию — профиль «PD64» (поддержка только SAS / SATA). Как мы уже говорили выше, всего профилей три: режим «SAS/SATA only mode» (PD240 / PD64 / PD 16), режим «NVMe only mode» (PCIe4) и смешанный режим, в котором могут работать все типы накопителей: «PD64-PCIe4» (поддержка 64 физических и виртуальных дисков с 4 NVMe-накопителями). В смешанном режиме значение задаваемого профиля должно быть таким – «ProfileID=13». К слову, выбранный профиль сохраняется в качестве ведущего и не сбрасывается даже при откате к заводским настройкам через команду Set Factory Defaults. Сменить его можно будет только вручную.
RAID 3
RAID 3 — массив дисков с побайтным чередованием с одним выделенным диском четности на группу. Байты данных записываются поочередно на все диски, кроме одного. Отдельный диск выделяется для хранения информации о четности.
Использование:
Из-за побайтового чередования RAID 3 подходит для работы с большими файлами, однако на практике не используется в коммерческих задачах в связи с невысокой надежностью.
Формула эффективности:
S * (N - 1), где N — количество дисков в массиве, S — объем наименьшего диска.
RAID 60
RAID 60 — массив дисков, состоящий из чередования массивов RAID 6. Реализуется построением страйпа (RAID 0) из RAID 6. Допускается отказ до двух дисков в каждом подмассиве. Обладает базовой надежностью и невысокой эффективностью используемого пространства . Для построения минимальной RAID-группы требуется 8 дисков.
Использование:
Поддерживается ограниченным количеством производителей, т.к. не обладает явными преимуществами по сравнению с использованием других типов RAID. Область практического применения ограничена.
Формула эффективности:
S * (N - 4), где N — количество дисков в массиве, S — объем наименьшего диска.
И в том и в другом случае потери емкости одинаковые. Интуиция подсказывает, что два первых, проще одного десятого.
С другой стороны:
Потеря одного диска в первом - уже риск «вообще все потерять». Потеря же одного диска в десятом - это еще некоторый шанс, что отказ еще одного диска не угробит вообще все.
Что бы вы выбрали? Или уже выбрали? И как оно?
Хотелось бы чей-то практический опыт, а не только статьи в гугле.
Давайте подсчитаем количество комбинаций отказавших дисков, при которых RAID 10 останется работоспособным. Число таких вариантов (промежуточные выкладки пропустим) равно 3M – 1.
Например, для состоящего из двух зеркальных пар массива RAID 10 число комбинаций безвредных отказов равно 32 – 1 = 8. Для проверки перечислим эти комбинации: , , , , , , и , где A1 и A2 – диски первой зеркальной пары, а B1 и B2 – диски второй пары.
Программист ставит себе на тумбочку перед сном два стакана. Один с водой — на случай, если захочет ночью пить. А второй пустой — на случай, если не захочет. Админ ставит четыре - на случай отказа основной системы.
параноик ложится спать в подземный резервуар с водой
сколько стоит потеря данных?
20-30к на железный контроллер жалко (а так бы можно было еще и в HS диск держать). комп рабочий итак уже золотой просто стал. не все по старым ценам купил.
будет х99 и офтопик.
ситуации с отказом дисков в 1\10 рейдах уже отрепетировал. все нормально ресинкается.
сама потеря - ну очень болезненна.
сверх-сверх критичные данные в сторонних бэкапах есть, на несольких физически разнесенных носителях. а то, что будет на сабже - терять категорически не хочется.
стоял у нас тут рэйд-10. Сдох винт. К концу дня сдох второй. И все. Хорошо, что были бэкапы. Винты оказались с одной партии.
Теперь как раз стоят эти самые «2 раза по рэйд-1». Впрочем, и это не спасет, если снова сдохнут два из 4-х, но есть разница:
в десятом рэйде достаточно убить любые два винта, а в рэйд-1 только два определенные, например оба первые или оба вторые, т.е. вероятность меньше.
Может всё же raid-5? Для 4-х hdd самое оно.
Так оно же, вроде как, статистически очень опасно на больших дисках.
+ деградация производительности довольно сильная.
и в пятом можно терять только один диск, а в 10м - до двух.
а собирать 6й рейд на 4 дисках - во-первых, извращение, во-вторых, нечем, т.к. чипсет+драйвер умеют только 0/1/10/5.
«сэкономить емкость одного диска» - не критично. закупленных винтов мне хватит на ближайшие года 1.5-2. а там или шах или ишак. (гарантия на винты 2-3 года)
Всегда выбираю raid10 ибо кроме избыточности мне нужна еще и скорость.
Только если они в разных парах.
Я три раза перечитал твой пост, но не понимаю вывод.
Вроде как, математически, 10-й более правильное решение.
Но вы от него отказались в пользу 1+1.
в десятом рэйде достаточно убить любые два винта.
И давно такие изменения в рейд10 произошли?
Потому и пишу «до двух». Причем потеря «любых двух» - данные еще можно успеть спасти.
Софт в вайне не стартует. Да и стартовал бы - вопрос что там с потерями производительности.
Для скорости у меня уже есть 0-й на четырех дисках.
680мбайт\сек в начале линейное чтение.
Он под кэши. И может рассыпаться без потери важных данных в любой момент. Не жалко.
Это если повезет. Я бы делал 10ку, хотя бы производительность выше, теоретически конечно, ибо
Этому доверия мало.
2 это риск, гарантировано 1. всегда держу в массиве хотя бы один резервный spare, а zfs позволяет делать 10-ку из тройных зеркал, из 6 дисков можно терять половину.
Да нормально ему доверия.
Что бы этот фейк-рейд сдуру рандомные нули вместо данных писал - не встречал жалоб.
А достать данные с одного диска из пары - можно банальным r-studio. Уже репетировал.
Собственно (в том числе и поэтому) исключаю 5й - что бы с ксорами не морочиться в случае чего.
перворейд серьезно проигрывает в скорости при записи, 10-ка оптимальная скорость и надежность.
С записью да, жопа какая-то. Порой регресс до 60мбайт\сек. Бесит.
Причем системы не выявлено. Тестил на файлах в десятки гб. Какие пишет 60мбс, какие 120+.
отложенная запись, размер блоков
Твой чипсет не умеет никакой рейд. Это обманка софт рейд для глупых вендузятников. Но как эти интеловские драйверопейсатели умудрились так плохо сделать софт рейд - я не знаю. У них рейд0 медленнее одного диска получается. А что чудит их софт рейд5 - это ппц. 10 (десять) мегабайт в секунду. Как можно так учудить. Делай рейд6 на железном рейде. Нет денег на новый - смотри на б/у. Всё остальное - для ламеров.
Это обманка софт рейд для глупых вендузятников.
Я знаю, что с железным адаптеком оно рядом не лежало. Но ресинк умеет без загрузки ОС.
У них рейд0 медленнее одного диска получается.
Лютое бешеное вранье для моей матери на х99.
Его даже из любопытства пробовать не хочу. да.
Лютое бешеное вранье для моей матери на х99.
Причём тут x99, не x99. Это рейд чисто софтовый, чипсет не помогает тут ни разу. Я Х.З., может, в пузомерках он и показывает какие-то очки, но реальные замеры скорости меня только смешили.
Я не пузомерки делаю, а как раз реальные данные в реальных задачах. И с моим рейд-0 на 4 дисках все отлично.
Насколько рискованно искать такое б\у на ебее?
Это чудовище нах. У меня такой был, я его выбросил в помойку. Он чудовищно греется, и этот его понтовый радиатор его не спасает. Он греется, и теряет диски, это ужос нах.
С этим не сталкивался, но по-моему, это теже яйца.
Насколько рискованно искать такое б\у на ебее?
Не столько рискованно, сколько не особо и дешевле. Хотя, раза в 2 дешевле ты варианты найдёшь.
lenin386 ★★★ ( 25.01.15 18:38:11 )
Последнее исправление: lenin386 25.01.15 18:40:33 (всего исправлений: 2)
Ну ни SAS ни 12G у меня даже в теории не ожидаются.
Печально, что 6х05 у тебя такой попался. Звоночек.
Ну, SAS - это имеется ввиду экспандер. Сейчас ты чисто SATA RAID контроллер не купишь новый. Кроме китайсках подделок, разумеется. Просто это минимальный контроллер с RAID6.
Печально, что 6х05 у тебя такой попался
Может, он на какой-то мощный поток воздуха рассчитан, я Х.З. В любом случае, этот контроллер - г-но. Медленный. Это же Fusion MPT, очень старый.
lenin386 ★★★ ( 25.01.15 18:46:27 )
Последнее исправление: lenin386 25.01.15 18:50:44 (всего исправлений: 4)
Ну охлаждение можно и присобачить. Не проблема.
Что есть «медленный»? Интересует в разрезе 0 и 10. 5-6 - пофиг.
Ну охлаждение можно и присобачить
А нафига колхозить.
Два SSD в raid1 давали 133 mb/s скорости чтения. Каждый по отдельности - 400.
Интересует в разрезе 0 и 10. 5-6 - пофиг.
Зря ты это. 6-й рейд - это то, что доктор прописал и никакое это не извращение.
lenin386 ★★★ ( 25.01.15 18:55:20 )
Последнее исправление: lenin386 25.01.15 18:56:38 (всего исправлений: 1)
Два SSD в raid1 давали 133 mb/s скорости чтения. Каждый по отдельности - 400.
Фейк какой-то.
Да винда в софтом рейде и то лучше.
Да не, просто там старый чип разогнанный по самое небалуй. С SSD случается сильная потеря скорости, если без AHCI, сам наблюдал. А может, там и вообще мост на PCI, фиг его знает.
Для продакшна - raid 10. Для дома raid 5 или 6 (в завсимости от средств)
RAIDZ конечно. И не забывать про бекапы.
Слушай.
Вот ты, как тихий и адекватный, скажи мне без холивара, почему:
- софтовый рейд на винтеле - это капец
- а софтовый рейд на линуксе - Ъ
?
Сделай файлохранилище на ZOL (ZFS On Linux). А софт крути на чём хочешь, хоть на BeOS.
софтовый рейд на винтеле - это капец
Потому-что это (intel rst) действительно капец. Лучше уж storage spaces на виндах использовать (аналог софтового рейда на линуксе, который Ъ)
А есть что почитать аргументированного? Любопытно просто.
Как-то сложно поверить, что интел из года в год одно и то же говно клепает. Смысла в этом мало.
Как-то сложно поверить, что интел из года в год одно и то же говно клепает
В это ещё не так сложно поверить, как сложно поверить в софтовые рейды за 12 штук рублей по курсу 30. Я раньше выбирал контроллер тупо по цене, пока не обломился жоско.
С технической точки зрения, мало. А с точки зрения продаж, ты снала купишь к@л, а потом ещё раз к@л, а потом раскошельшься на норм. контроллер, М.Б. Итого, к@л продан 2 раза.
lenin386 ★★★ ( 25.01.15 22:28:59 )
Последнее исправление: lenin386 25.01.15 22:31:04 (всего исправлений: 2)
Обычно говорится, что софтовый рейд на интеле в случае отказа контроллера надо пересобирать на таком же контроллере, а тру софтовый рейд обходится вообще безо всяких контроллеров.
Но на самом деле с учетом распространенности интеловских чипсетов сомневаюсь в реальности этой проблемы. Реальных данных по отказам у меня нету.
В том то и дело. Этих чипсетов как грязи.
А еще - все метаданные лежат на самом диске же (впрочем, как иначе то). И он спокойно подцепляется всякими r-studio. И это тоже я отрепетировал. Я вообще 2 дня играл в игру «случился такой-то факап - мои действия такие-то». Оно, конечно, не гарантирует, что в случае реального факапа я точно все спасу, но хоть не буду в панике бегать.
Единственное, не стал заранее запасной диск покупать. ХЗ сколько ему придется лежать, и не сдохнет ли он от «не работы». А купить винт в случае чего можно за пару часов.
Обычно говорится, что софтовый рейд на интеле в случае отказа контроллера надо пересобирать на таком же контроллере
Нет. На любом интеловском соберётся. Скажу больше, его вообще можно просто к контроллеру без рейд моде подключить, и оно увидится под вендой. Не уверен, что со всеми версиями драйверов это проходит, правда.
Ведь по сути интел-софт-рейд - это тот же ваш зрейд. Все метаданные лежат открыто - только собери нужным модулем ядра (драйвером) и все.
Не могу спорить с осуждающими штеуд. Но на первый взгляд не так все страшно. Чем-то похоже на «ужасы виндавс» - времен 9х-ХР, когда уже сто лет как все (многое) из этого исправлено и с семеркой все ок.
А еще - все метаданные лежат на самом диске же
У аппаратных райдов метаданные хранятся как в nvram самого контроллера, так и на дисках.
RAID 0
RAID 0 — массив дисков с чередованием данных (страйп). При использовании RAID 0 блоки данных записываются по очереди на каждый диск, что существенно увеличивает производительность операций чтения и записи. Избыточность данных отсутствует, поэтому выход из строя любого диска ведет к потере данных всей RAID-группы.
Использование:
Рекомендуется использовать RAID 0 для быстрого доступа к неважным или временным данным, когда требуется высокая производительность и имеется возможность в случае сбоя восстановить информацию. Типичным сценарием использования можно назвать пост-обработку видео или кэширование данных.
Формула эффективности:
S * N, где N — количество дисков в массиве, S — объем наименьшего диска.
Виды и типы RAID-контроллеров
Существует три вида RAID-контроллеров, основанные на принципах реализации RAID-массивов:
1. Программные, в которых управление массивом ложится на CPU и DRAM (то есть исполнение программного кода происходит на процессоре).
2. Интегрированные, то бишь встроенные в материнские платы ПК или NAS-сервера.
3. Аппаратные (модульные), представляющие собой дискретные платы расширения для разъемов PCI/PCIe системных плат.
В чем их принципиальное отличие друг от друга? Программные RAID-контроллеры уступают интегрированным и аппаратным по производительности и отказоустойчивости, но при этом не требуют специального оборудования для работы. Однако важно убедиться, что процессор хост-системы является достаточно мощным для запуска программного обеспечения RAID, не оказывая негативного влияния на производительность приложений, которые также работают на хосте. Интегрированные контроллеры, как правило, оснащаются собственной кэш-памятью и задействуют некоторое кол-во ресурсов CPU.
А вот аппаратные обладают и собственной кэш-памятью, и встроенным процессором для выполнения программных алгоритмов. Обычно они позволяют реализовать все виды уровней RAID-массивов и поддерживают сразу несколько видов накопителей. Например, к современным аппаратным контроллерам компании Broadcom можно одновременно подключать SATA-, SAS- и NVMe-устройства, что позволяет не менять контроллер при апгрейде серверов: в частности, при переезде с SATA SSD на NVMe SSD контроллеры менять не придется.
Собственно, на этой ноте мы подошли к типологизации самих контроллеров. Если есть трехрежимные, должны быть и какие-то еще? В данном случае ответ на этот вопрос будет утвердительным. В зависимости от функций и возможностей RAID-контроллеры можно поделить на несколько типов:
1. Обыкновенные контроллеры с функцией RAID
Во всей иерархии это самый просто контроллер, который позволяет объединять HDD и SSD в RAID-массивы уровней “0”, “1” или “0+1”. Программно это реализовано на уровне прошивки. Однако, такие устройства вряд ли можно рекомендовать для использования в корпоративном сегменте, ведь у них отсутствует кэш и не поддерживаются массивы уровней “5”, “3” и т.п. А вот для домашнего сервера начального уровня они вполне подойдут.
2. Контроллеры, работающие в паре с другими RAID-контроллерами
Этот тип контроллеров может работать в паре с интегрированными контроллерами материнских плат. Реализовано это по следующему принципу: дискретный RAID-контроллер берет на себя решение “логических” задач, а встроенный — функции обмена данными между накопителями. Но есть нюанс: параллельная работа таких контроллеров возможна только на совместимых системных платах, а значит область их применения серьезно сужается.
3. Самостоятельные RAID-контроллеры
Эти дискретные решения содержат на борту все необходимые чипы для работы с серверами корпоративного класса, обладая собственным BIOS’ом, кэш-памятью и процессором для быстрой коррекции ошибок и вычисления контрольных сумм. К тому же они отвечают высоким стандартам надежности в плане изготовления и обладают высококачественными модулями памяти.
4. Внешние RAID-контроллеры
Нетрудно догадаться, что все перечисленные выше контроллеры являются внутренними и получают питание через разъем PCIe материнской платы. О чем это говорит? А о том, что выход из строя системной платы может привести к ошибкам в работе RAID-массива и потере данных. Внешние же контроллеры избавлены от этого недоразумения, так как размещаются в отдельном корпусе с независимым блоком питания. В плане надежности такие контроллеры обеспечивают самый высокий уровень хранения данных.
Broadcom, Microsemi Adaptec, Intel, IBM, Dell и Cisco — это лишь некоторые из компаний, которые предлагают аппаратные RAID-контроллеры в настоящее время.
RAID DP
RAID DP — массив дисков с двойной четностью в линейке продукции FAS компании NetApp. Под контрольные суммы выделяются два отдельных диска. Благодаря использованию файловой системы WAFL транзакционная производительность выше, чем в RAID 5 и RAID 6.
Использование:
Является основным типом RAID в оборудовании NetApp линейки FAS. Рекомендуется для SSD дисков, SATA/NL-SAS дисков объемом менее 6TB (для дисков большего объема рекомендуется RAID-TEC).
В соответствии с рекомендациями компании NetApp, оптимальный размер RAID группы — от 14 до 20 дисков.
Формула эффективности:
S * (N - 2), где N — количество дисков в массиве, S — объем наименьшего диска.
Домашний и корпоративный RAID: в чем разница?
Основа любого современного бизнеса — большие объемы данных, которые должны надежно храниться на серверах компаний. А еще, как мы уже отмечали выше, к ним должен обеспечиваться постоянный доступ 24/7. Понятное дело, что наравне с “железом” важна и софтверная часть, но в данном случае мы говорим все-таки об оборудовании, которое обеспечивает надежное хранение и обработку информации. Никакой софт не спасет компанию от разорения, если “железное” оснащение не соответствует возложенным на него задачам.
Для этих задач любой производитель “железа” предлагает так называемые корпоративные устройства. У Kingston — это мощные твердотельные решения в лице SATA-моделей Kingston 450R (DC450R) и серии DC500, а также NVMe-моделей DC1000M U.2 NVMe, DCU1000 U.2 NVMe и DCP-1000 PCI-e, предназначенных для использования в ЦОД (центрах обработки данных) и суперкомпьютерах. Массивы из таких накопителей, как правило, используются в связке с аппаратными контроллерами.
Для потребительского же рынка (то есть для домашних ПК и NAS-серверов) доступны такие накопители как Kingston KC2000 NVMe PCIe, но в этом случае необязательно покупать аппаратный контроллер. Можно ограничиться встроенным в материнскую плату ПК или NAS-сервера, если вы конечно не планируете самостоятельно собрать домашний сервер для нетипичных задач (завести маленький домашний хостинг для друзей, к примеру). К тому же, домашние RAID-массивы, как правило, не предполагают наличие сотен и тысяч накопителей, ограничиваясь двумя, четырьмя и восемью устройствами (чаще SATA).
Таблица сравнения коммерчески используемых типов RAID
Тип RAID | Производительность в IOPS при операциях записи | Производительность во время цикла восстановления (Rebuild) | Время восстановления RAID | Эффективность использования дискового пространства |
---|---|---|---|---|
RAID 5 | Хорошая | Плохая | Плохое | Очень хорошая |
RAID 6 | Плохая | Хорошая | Плохое | Хорошая |
RAID 10 | Лучшая | Лучшая | Лучшее | Плохая |
RAID DP | Очень хорошая | Очень хорошая | Хорошее | Хорошая |
RAID TEC | Хорошая | Хорошая | Хорошее | Очень хорошая |
RAID 1
RAID 1 — зеркалированный массив дисков (зеркало). Блоки данных записываются на все диски одновременно, поэтому допустим выход из строя всех дисков, кроме одного. Данная конфигурация обладает наименьшей эффективностью использования дискового пространства, и, как следствие, наибольшей стоимостью при использовании трех и более дисков.
Использование:
Рекомендуется использовать RAID 1 для максимального повышения надежности хранения и доступности данных. Наиболее частым сценарием является зеркалирование двух системных дисков серверов.
Формула эффективности:
S, где S — объем наименьшего диска.
Читайте также: