Как сделать гибридный диск hdd ssd
У меня есть твердотельный накопитель на 90 ГБ, но вскоре он заполняется на 90 ГБ. Моя папка пользователя только 26 ГБ. Чтобы обойти это, я использую Symlinks (подробнее читайте в статье How-To Geek ).
Есть ли способ заставить отдельный SSD и HDD работать как гибрид, чтобы часто используемые файлы перемещались на SSD автоматически? Это было бы хорошим дополнением к Windows 8, но я не теряю надежды.
Я думаю, что ReadyBoost немного похож на это, но я думаю, что он больше предназначен для флешек. Я попытался установить Windows 7 с твердотельным накопителем в качестве готового буста, но не заметил заметного улучшения по сравнению с использованием жесткого диска.
Учитывая, что гибридные жесткие диски, такие как Momentus® XT, никогда не снимались (был только один производитель, поэтому OEM-производители 1-го уровня не хотели их использовать, а диски в любом случае считывали только кэшированные данные), похоже, что у SSD ограниченные возможности кэширование жесткого диска, добавление карты SATA или программное решение.
Если вам нужна большая емкость, но вы не хотите использовать полный SSD, вам может подойти SSHD.
Более современные накопители, такие как твердотельный гибридный накопитель Seagate 3-го поколения (SSHD), выглядят более многообещающе, чем оригинальные предложения, но есть и компромиссы. Они могут якобы кэшировать некоторые записи, но на данный момент у них все еще очень мало флеш-памяти (8 ГБ MLC, с небольшой частью NAND, отведенной для использования в режиме SLC, аналогично nCache SanDisk ), и они имеют только 5400 об / мин.
В наши дни все больше производителей продают гибридные диски (после их ребрендинга как SSHD, что звучит обманчиво близко к SSD), но они по-прежнему всего лишь 5400 об / мин для SATA-накопителей для ноутбуков, не более 4 ТБ, и у них по-прежнему всего 8 ГБ флэш-памяти.
К сожалению, ни один из вариантов не имеет ничего общего с производительностью SSD. В лучшем случае вы получаете производительность ближе к HD, чем к SSD, а в худшем - производительность даже ниже, чем HD сама по себе!
С другой стороны, если вы обновляете старый SSD, то использование этого старого SSD для кэширования вашего большого накопителя может быть целесообразным вариантом. Кэширование SSD, по-видимому, выигрывает гораздо меньше от более новых и более быстрых SSD, поэтому вы получаете большую часть преимуществ кэширования от более старых, относительно медленных SSD.
Модификация скрипта
После произведенных тестов мне захотелось изменить несколько вещей. Первое - отдельно изменять процент неиспользуемого места на дисках, так как даже 1 процент от 2 Тб диска это 20 Гб. (объяснение почему нельзя использовать весь диск можно найти тут). По итогу экспериментальным путем при моих параметрах удалось добиться всего 0.13 процента неиспользуемого места на жестком диске.
Во-вторых, я пытался изменить размер параметра WriteCacheSize для увеличения скорости записи данных на tiered storage, но к сожалению даже установив размер в 20 Гб, скорость записи совершенно не отличалась от дефолтного параметра AutoWriteCacheSize (при котором размер WriteCacheSize равен 1 Гб).
Также я нашел информацию, что можно использовать параметр представленный ниже для увеличения скорости, но это может быть небезопасно с точки зрения хранения данных.
Все мои изменения для удобства я залил в свой репозиторий на github.
Мой опыт работы с дополнительной картой SATA .
Увидев опцию карты SATA надстройки в действии, я должен сказать, что я не впечатлен купленной картой на базе Marvell 88SE9130 . HyperDuo был невероятно ненадежным, программное обеспечение продолжало падать, а производительность редко была выше, чем базовый жесткий диск сам по себе, даже после нескольких часов «оптимизации».
Даже использование карты в качестве порта SATA III 6 Гбит / с привело к худшей производительности с твердотельным накопителем Adata S511, чем просто использование встроенных портов SATA II 3Gbps.
Дополнительные карты SATA
Одним из вариантов является дополнительная SATA-карта, которая может обеспечить эту функциональность. Я считаю, что для этого есть решения корпоративного уровня, но, поскольку они находятся за пределами моего ценового диапазона, я их не исследовал. HighPoint RocketHybrid 1220 намного более доступный, и есть хорошая статья об этом в Руководстве по аппаратному обеспечению Тома.
Осторожно, высокое напряжение
Для тех, кто мало знаком с SIEM-системами, немного расскажу про базовые принципы работы решений этого класса. С множества различных устройств журналы, содержащие события информационной безопасности, централизованно отправляются в SIEM-систему, где они обрабатываются в режиме реального времени. На основе правил детектирования угроз система выявляет инциденты безопасности, а также другие отклонения и аномалии. Обработанные события передаются в хранилище, в котором в соответствии с внутренним регламентом компании (или требованиями регулятора, например приказом ФСТЭК № 17, приказом ФСБ № 196, РС БР ИББС-2.5-2014) они находятся в оперативном доступе.
На современные системы обработки и хранения событий распространяются базовые требования к работе с большими потоками журналов, которые необходимо долго хранить длительные периоды времени, а также требования по предоставлению доступа к данным в оперативном режиме для многочисленных пользователей. При входящих потоках cвыше 10 000–15 000 событий в секунду система хранения событий создает интенсивную нагрузку на дисковую подсистему в момент индексации (т. е. записи данных на диск). Одновременно с записью могут возникать многочисленные обращения ко всему объему хранимых данных, что накладывает дополнительную нагрузку на дисковую подсистему и зачастую превышает заложенные характеристики по количеству поддерживаемых операций записи и чтения за определенный интервал времени.
Существуют различные типовые сценарии, которые могут привести к ситуации, когда системы начинают буквально «бороться» за возможность одновременно писать и читать данные. Обычно это приводит к буферизации данных на компонентах, которые находятся на этапах обработки, предшествующих записи в базу. В большинстве случаев буферизация позволяет нивелировать переход систем в постоянный аварийный режим. Помимо этого, проблемы могут носить системный характер: к примеру, нагрузка может превышать как заложенные в систему эксплуатационные характеристики конфигурации ПО, так и аппаратные требования, особенно в части дисковой системы.
Отдельно стоит отметить работу операторов SIEM-системы, находящейся под большими нагрузками. В этом случае прогнозировать и контролировать операции с поиском данных сложно, и иногда для этого приходится наложить на систему многочисленные ограничения. В этом процессе участвуют пользователи разного уровня квалификации.
Переходим к нашей главной задаче. Она состояла в том, чтобы обеспечить бесперебойную запись и параллельное чтение данных из единого хранилища. Есть несколько способов разрешить эту сложность: например, строить хранилища только с использованием дорогостоящих SSD, строить большие и распределенные кластерные системы либо разграничивать типы хранилищ по частоте обращений к ним. На практике у каждого вендора свой подход. Далее расскажем, что выбрали мы в Positive Technologies и почему.
А что там по скорости?
Автор репозитория указал следующие скорости при тестировании системы:
Также интересным мне показалось сравнение из этого видео на youtube.
Я сам не производил тестирования на чтение, но сравнивал скорость записи на чистый 2 Тб HDD Seagate BarraCuda 7200 rpm и 256 MB cache, и tier storage space из этого же HDD диска и SSD Crucial BX500 на 240 Гб.
При копировании больших файлов (установленный stalker anomaly, который почти полностью состоит из больших файлов .db размером примерно в 1 Гб) storage tier изначально копировал на скорости чуть более 400 Мб/сек, но затем, скорость копирования опускалась до 110 Мб/сек, что даже меньше чем скорость записи на HDD без storage tier (160 Мб/сек на тех же файлах).
К сожалению, в тот момент когда я производил тесты я не думал что буду писать статью и не догадался использовать snipping tool а просто делал фото на телефон.
слева storage tier справа просто HDD
Зато, при копировании порядка 10 Гб стандартных фоток (размер одной примерно 4-5 Мб) storage tier практически стабильно имел скорость порядка 260 Мб/сек против скачущих 180 Мб/сек у HDD.
Для того чтобы посмотреть какой процент данных на самом деле сейчас находится именно на SSD диске нужно в PowerShell с правами администратора запустить:
Наиболее интересными для нас тут являются параметры Percent of total I/Os serviced from the Performance tier - процент данных, которые при чтении были считаны именно с SSD. Также в таблице можно увидеть зависимость процента данных, которые будут взяты с высокопроизводительного накопителя от минимальной требуемой емкости SSD диска.
Для создания задачи автоматической оптимизации используется команда
Альтернативные варианты кеширования программного обеспечения
Последний вариант - это программное решение для кэширования сторонних производителей , такое как Dataplex , которое поставлялось в комплекте с SSD OCZ Synapse . К сожалению, это решение (как и Intel SRT) поддерживало кэширование только одного загрузочного диска, поэтому единственным преимуществом было то, что ему не требуется материнская плата Z68.
К сожалению, я еще не видел рецензию с сайта, методологии которого я доверяю, поэтому я не могу сказать, как этот вариант сравнивается с SRT или опцией карты расширения.
Огонь и забыть решения все хорошо и хорошо, но иногда просто управлять этими вещами самостоятельно. Используйте свой SSD и жесткий диск как отдельные диски, поместите на жесткий диск то, что вам не нужно, и все, что вам нужно на SSD. Перемещайте вещи между ними как и когда вам нужно.
Круто, спасибо, я проверю эти статьи. Мой SSD довольно новый. Intel X25-м, я думаю, что это. В любом случае я планирую обновить proc и материнскую плату в ближайшее время, так что этот Z68 мог бы хорошо работать для меня, если это хорошо.
Обратите внимание, что диски Momentus XT использовали только SSD для кэширования чтения, а не для ускорения записи.
Было бы здорово, если бы было программное обеспечение для использования «ручного» кэша. Выберите папку, и программа скопирует ее в ssd и вставит ссылку на эту папку в ssd. Было бы здорово, если бы кто-то сделал это очень удобным для пользователя способом .
На чем основано ваше утверждение о том, что гибридные диски (такие как Momentus XT) никогда не снимались? Диски первого поколения были, конечно, тест-крысами, но 750-гигабайтная пластина второго поколения с твердотельным накопителем на 8 ГБ в наши дни является гораздо лучшим вариантом. И, как я прочитал, будет обновление FW, чтобы также ускорить запись на диск, хотя я не уверен, что мне бы этого хотелось . Он значительно изнашивает SSD, уменьшает емкость кэш-памяти для чтения и, вероятно, будет более подвержен энергопотреблению. ошибки сбоя. В реальной жизни все, что мы хотим, - это быстрая система. Загрузка приложений / файлов .
@RobertKoritnik - В то время, когда я писал это, гибриды второго поколения не были выпущены. Даже сейчас есть только один поставщик гибридных накопителей (что заставляет нервничать сборщиков систем), и обзоры текущих XT показывают мне, что им нужно и обновление прошивки кэша записи, и большие твердотельные накопители, чтобы реально реализовать свой потенциал. Если бы на рынке сегодня был гибрид 2 ТБ + 60 ГБ с кэшированием для чтения и записи по цене 50 фунтов стерлингов плюс стоимость эквивалентного 2 ТБ HD и 60 ГБ SSD, то я бы купил его в одно мгновение.
Есть несколько вариантов:
- Новейшие чипы Intel, Z68, имеют технологию Smart Response Technology, которая делает именно это. Он использует SSD в качестве кеша для часто читаемых файлов и для небольших записей. Это работает только на Z68, хотя.
- DiskKeeper создает программное обеспечение под названием Express Cache, которое по сути делает то же самое, что и решение Intel. Тем не менее, он доступен только для OEM-производителей, поэтому вам придется получить его с машиной.
- Несколько производителей карт RAID выпустили или анонсировали продукты, которые позволяют использовать SSD в качестве кэша для RAID-массива.
Остерегайтесь карт RAID, обязательно прочитайте мелкий шрифт . Настройка Adaptec MaxCache использует только SSD для кэширования чтения и не ускоряет запись.
В нашей работе частенько приходится иметь дело с разнообразными накопителями информации, включая винчестеры и твердотельные накопители информации. При этом иногда попадаются и достаточно необычные устройства, которые не распространены повсеместно. К примеру, SSHD — гибридные винчестеры. Вероятно, на Хабре есть люди, которые хорошо знакомы с этим типом накопителей информации, но есть и те, кто даже не слышал о подобных «гибридах».
Поэтому мы решили опубликовать статью о подобных винчестерах, описав их устройство, а также преимущества, по сравнению с привычными жесткими дисками и SSD.
Так вот, гибридные винчестеры, в первую очередь — компромиссное решение, позволяющее как увеличить общую производительность системы, в которой они установлены, так и снизить цену такой системы.
Ведь, несмотря на широкую распространенность, твердотельные накопители еще довольно дороги, и вряд ли в скором времени наступит момент, когда цена таких накопителей значительно упадет.
Обычные жесткие диски — недороги, в большинстве своем, но их производительность ограничена, выше определенного предела «прыгнуть» нельзя. Поэтому и появились гибридные жесткие диски. SSHD появились еще несколько лет назад, и вначале были чистой воды экзотикой, которую мало кто воспринимал всерьез (и мало кто знал о них). Главным достоинством гибридного жесткого диска является увеличение общей производительности системы, в которой они установлены, с использованием всего одного дискового отсека (а не двух, если использовать и SSD, и обычного жесткого диска). Сейчас появились модели «гибридов» небольших размеров, например, с толщиной всего в 7 мм (именно такова модель ST500LM000 от Seagate), что позволяет устанавливать такие диски в нетбуки/ультрабуки.
Принцип работы SSHD основывается на кэшировании наиболее часто используемых данных с использованием флеш-памяти, то есть SSD-части «гибрида». Уже при первом запуске операционной системы на ноутбуке/ПК с «гибридом» в энергонезависимую часть памяти SSHD помещаются файлы, которые нужны операционной системе для загрузки. В результате скорость запуска ОС увеличивается, и весьма значительно.
Гибридный диск, кстати, показывает практически аналогичные результаты скорости передачи файлов по сравнению с обычными жесткими дисками. Но разница в работе разных типов устройств становится очень заметной, если сравнивать время доступа к файлам (Access Time). К примеру, если взять диск Seagate ST500LT032 емкостью 500 ГБ и сравнить с «гибридом» ST500LM000 аналогичной емкости, то скорость доступа к файлам будет 24,2 и 0,3 мс.
Что касается предельность скорости интерфейса, то разница уже не в разы, а в 15%. В первом случае 101 МБ/с, во втором — 115 МБ/с.
Недостатки тоже есть, и в первую очередь, это — невозможность уместить все критичные данные на SSD-части SSHD диска. Обычно SSD в «гибриде» устанавливается объемом в 8 ГБ, иногда — больше (например, нередки модели с 32 ГБ флеш-памяти), но тогда такой диск будет уже дороже.
По цене «гибриды» лишь немного превышают цену обычных жестких дисков. Если взять уже упоминавшиеся выше модели, то цена Seagate Laptop Thin SSHD ST500LM000 составляет 73-75 долларов, а Seagate ST500LT032 — около 50 долларов США.
Так что, если вы хотите увеличить скорость загрузки ОС, а также общую производительность своего ноутбука/десктопного ПК, рекомендуем использовать «гибриды». Ну, это в случае, если для вас важна экономия. Если нет — тогда стоит использовать SSD и обычные винчестеры по отдельности.
Привет, Хабр! Уже много лет я читаю замечательные посты, и, кажется, наконец нашел чем сам могу поделиться с сообществом.
Сегодня я хотел бы рассказать про технологию создания программного гибридного локального диска на основе SSD и HDD. Впервые я заинтересовался этой технологией когда купил себе новый процессор от Ryzen и прочитал статью про AMD StoreMI, но к сожалению поддержка данного продукта прекратилась, а покупать FuzeDrive или PrimoCache не хотелось.
upd. оказывается AMD выпустили вторую версию StoreMI, хотя еще недавно заявляли что прекращают поддержку. Напомню, что StoreMI работает только при наличии материнской платы с чипсетом AMD X570, B550, 400 серии, X399 или TRX40.
В серверных версиях windows существует весьма интересная технология Tiered Storage Spaces, которая позволяет легко объединять один или несколько SSD и HDD в общий пул - логический диск, на котором часто используемые “горячие” данные будут незаметно для пользователя переноситься на SSD, а “холодные” данные, к которым пользователь обращается не так часто, будут при этом храниться на HDD. Про настройку данной технологии на серверных продуктах можно почитать тут по ссылке, также уже существует несколько статей на Хабре. Но, как оказалось, данная технология присутствует также и на настольной версии windows, правда настраивается она только через командную строку так как нет GUI. Для упрощения этого процесса существует репозиторий со скриптами, которые позволяют автоматизировать процесс создания tier storage.
Для хранения важных данных не рекомендуется использовать конфигурации windows storage spaces с выключенным mirroring. Mirroring позволяет создать массив RAID c функцией коррекции ошибок, которая должна помочь сохранить данные в случае поломки одного из дисков, но для этого необходимы дополнительные диски, объем которых не получится использовать для хранения данных.
Проект-челлендж, который совпал со стратегией развития MaxPatrol SIEM
Нашей отправной точкой стал 2019 год. В тот момент MaxPatrol SIEM переживал стадию бурного взросления: мы активно развивали его функциональность, работали над повышением стабильности продукта и увеличением характеристик, в частности по нагрузке и обработке данных. Целевая конфигурация SIEM-системы тогда позволяла обрабатывать до 30 тыс. событий в секунду (без использования иерархической архитектуры).
Стратегия развития MaxPatrol SIEM включала в себя увеличение производительности решения, и реализовать это мы планировали уже в релизе 5.9. Что интересно, практически в это же время представился случай реализовать проект, для которого было необходимо построить систему обработки и корреляции событий, способную обрабатывать более 65 тыс. событий в секунду. Поскольку MaxPatrol SIEM уже имел архитектуру, позволяющую добиться требуемого показателя EPS (нам всего лишь было нужно построить иерархию), мы с энтузиазмом за него взялись. Кроме того, это была отличная возможность проверить работу обновленной системы в боевых условиях.
Этот проект заинтересовал нас еще и тем, что задача, для которой компания планировала использовать SIEM-систему, была нестандартной для этого класса решений. Все-таки SIEM-системы чаще всего используются для выявления инцидентов ИБ и защиты компании от киберугроз, а здесь был другой случай. И вот почему.
Пользователем выступила высокотехнологичная компания, разрабатывающая программное обеспечение, а также предоставляющая его как сервис (SaaS). Для работы со своими решениями она активно использует контейнерные технологии. В техническом задании требовалось, чтобы инсталлированная система мониторила параметры контейнеров. Однако все оказалось не настолько просто, как может показаться на первый взгляд. Параметров контейнеров оказалось так много, что, по сути, необходимо было параллельно мониторить выполнение множества задач. Так, необходимо было отслеживать:
параметры работы приложений — как они запускаются, отрабатывают статусы завершения, проходит ли это успешно или неуспешно;
параметры безопасности доступа к приложениям (например, какие пользователи заходили);
технологические параметры компонентов;
события безопасности, в частности события доступа к технологическим компонентам.
Все это создавало такой большой поток событий, с каким мы еще не сталкивались на предыдущих проектах. Можно сказать, что с технологической точки зрения для нас это был проект-челлендж.
Выводы
Как я уже отметил выше, не стоит хранить важные данные, если вы используете схожую с моей конфигурацию 1 SSD 1 HDD (без использования Mirroring). Но для хранения не особо нужных тестовых виртуальных машин, игр, фильмов, и другой локальной файловой помойки такое решение подходит отлично. Загрузка игр заметно ускоряется, и обычно со второго запуска скорость на глаз не отличима от запуска с SSD.
У каждого из этих дисков есть свои недостатки, основной недостаток SSD дисков — высокая стоимость и небольшая емкость по сравнению с обычным жестким диском. Гибридный жесткий диск объединяет достоиства обоих типов носетелей информации — скорость SSD HDD диска и большую емкость обычного жесткого диска. Что это означает в практическом плане? Вне зависимости от того, чем вы занимаетесь на компьютере, работаете в 1С или играете в игры, Ваш компьютер постоянно что то записывает и читает. Как правило все зависания компа как раз с этим связаны, жесткий диск самое медленное устройство и если комп тупит, значит он пытается что то прочесть или записать. Хранится на компьютере любая информация (фото, видео, документы) но обращается он постоянно к служебной. Как правило об этой информации мы знаем мало. В основном это файлы операционной системы, не важно какая у Вас стоит ОС — Windows, MAC OSx или Linux. В любой из этих операционных систем на данный момент реализована поддержка гибридных жестких дисков.
Если у Вас полноразмерный системный блок, в Вашем компьютере гибридный диск hdd+ssd будет как родной. Если же у Вас ноутбук, тут все сложнее… Дело в том что не во всех ноутбуках есть возможность установить еще один HDD диск. В таком случае, Вам придется искать готовый hdd ssd диск (есть уже диски в которых совмещены уже оба типа носителей на аппаратном уровне) и ставить его взамен штатного HDD диска.
- Для того чтобы ускорить Ваш компьютер Вам потребуется приобрести SSD диск диск в компьютер
- Установить программ (если потребуется, в некоторых операционных системах уже все готово для этого)
- Перераспределить жесткий диск
- Наслаждаться производительностью и скоростью работы компьютера
Если вы читаете эту статью, я рекомендую Вам обратиться за помощью к мастеру по ремонту компьютеров (например нашему), в процедуре установки и настройки гибридных дисков — очень много подводных камней и если не уверены в своих силах — НЕ РИСКУЙТЕ!
P.S. Приобретать гибридный ssd лучше всего побольше, как позволяют средства, минимальный необходимый размер на сегодня 60 гигабайт.
Всем привет! Я Максим Максимович, директор департамента инжиниринга Positive Technologies. В этой статье я затрону тему обработки и оптимизации хранения событий в высоконагруженных SIEM-инсталляциях, расскажу о сложностях, с которыми многие наверняка уже сталкивались при выполнении подобных задач, и на примере одного реального проекта покажу, как их можно преодолеть.
Метрики производительности, которых требовал проект, сыграли нам на руку, так как изначально были отмечены в дорожной карте MaxPatrol SIEM. Причем добавить мы их планировали уже в следующую версию продукта. В итоге по завершении проекта мы получили не только приятный профит в виде (почти!) готового раньше намеченного срока релиза MaxPatrol SIEM, но и возможность сразу же подтвердить новые характеристики решения в боевых условиях. Речь идет о версии 6.2, которая позволяет обрабатывать до 60 тыс. событий в секунду. Добиться такой скорости мы смогли за счет гибридной схемы хранения данных, которая помогла увеличить производительность хранилища событий и при этом сократить расходы на аппаратное обеспечение.
Надеюсь, описанный в посте опыт будет полезен специалистам и энтузиастам, внедряющим и эксплуатирующим решения классов Log Management и SIEM.
Убить двух зайцев один выстрелом, или Как мы создали гибридную схему хранения данных
С архитектурой разобрались, настал черед данных. Давайте посмотрим, с чем нам пришлось иметь дело. Представьте постоянный входящий поток логов объемом 65 тыс. событий в секунду. Размер событий разный — от 200 байт до нескольких килобайтов. Этот поток необходимо записывать в базу. При этом сразу после записи от операторов SIEM-системы при выполнении поисковых запросов к этим данным идут обращения на чтение.
Ежедневно записывается около 3–4 терабайт данных. По приблизительным подсчетам уже через месяц накопится 100 терабайт данных, по которым будут осуществляться поисковые запросы. Чтобы обеспечить одновременно и бесперебойную запись, и чтение данных, на дисковые системы накладываются высокие требования по IOPS . Их выполнение при таких характеристиках и объемах могут обеспечить только твердотельные диски SSD. Вследствие этого возникает новая сложность: реализовать систему хранения объемом в 100 терабайт на SSD становится дорогим удовольствием, а значит, далеко не каждая компания сможет себе позволить такой вариант исполнения хранилища.
Корреляция числа операций ввода-вывода с количеством событий в секунду на накопителях разного типа
Нам предстояло придумать, как понизить стоимость решения и при этом отвечать всем требованиям компании к работе с данными. От варианта построить хранилище полностью на HDD пришлось отказаться сразу, так как в этом случае невозможно было получить необходимые (комфортные) условия как для чтения, так и для записи данных при заявленной нагрузке.
В какой-то момент мы задались вопросом: а можно ли соединить преимущества накопителей обоих типов, чтобы реализовать требования нашего проекта? Погрузившись в тему и изучив все нюансы долгосрочного хранения данных, мы поняли, что убить двух зайцев одним выстрелом нам поможет разделение данных на условно «горячие» и «теплые». Эта функция в Elasticsearch на тот момент была реализована в рамках index lifecycle management (ILM). «Горячие» (hot) данные располагаются на высокоскоростных дисках — SSD. Их объем позволяет хранить файлы от нескольких дней до недели. Затем данные автоматически перезаписываются в раздел «теплые» (warm), который может располагаться на более приемлемых по стоимости жестких магнитных дисках — HDD. Это должно было позволить увеличить скорость обработки событий при одновременном выполнении поисковых запросов. Что касается доступа к результатам поисковых запросов, стоит отметить, что «горячие» и «теплые» индексы для оператора SIEM-системы представляют единое целое.
Процесс перезаписи данных с SSD на HDD в хранилище
Таким образом, чтобы увеличить производительность хранилища событий и сократить расходы на аппаратное обеспечение, мы решили использовать гибридную схему хранения данных. Нелишним будет упомянуть, что компания-заказчик сначала скептически отнеслась к данному подходу. У нее были опасения (которые нам еще только предстояло развеять), что таким способом построить SIEM-систему, которая будет обрабатывать 65 тыс. событий в секунду, просто невозможно.
Ближе к дате завершения проекта не обошлось без потери нервных клеток. Как известно, внерелизные доработки, помимо быстрого получения результата, всегда несут дополнительные прогнозируемые ошибки и риски, которые могут влиять на стабильность либо работоспособность продукта. Поэтому нам пришлось еще немного потрудиться: мажорные изменения в схеме хранения данных потребовали сделать немало доработок внутренних механизмов записи и чтения обрабатываемых событий. Однако марш-бросок стоил того: приемочные тесты проекта показали, что MaxPatrol SIEM справился абсолютно со всеми заявленными метриками производительности, все требования компании были успешно выполнены, а сомнения принимающей стороны по поводу того, что мы не сможем качественно реализовать этот подход, были разбиты. Этот проект на следующие полтора года послужил трамплином для использования подхода с применением ILM в других высоконагруженных проектах, где оптимизировались связанные параметры.
О сложностях, которые нас не испугали
Помимо того, что требуемая скорость обработки данных до 65 тыс. событий секунду была хоть и довольно высокой, но более чем оправданной, целевая архитектура SIEM-системы, к которой мы пришли вместе с клиентом, оказалась нестандартной в рамках существующих конфигураций MaxPatrol SIEM. До этого компания имела обширный опыт работы с другими SIEM-системами, поэтому она, с одной стороны, была очень требовательна к функциям и производительности, а с другой — понимала сложность поставленной задачи. В итоге договорились о том, что критерием успешной сдачи проекта станут тестовые испытания системы под требуемой нагрузкой длительностью более одной недели с объемом хранения данных, доступных при выполнении поисковых запросов, до одного месяца. И здесь, казалось, фортуна от нас отвернулась: активная стадия реализации этого проекта выпала на период между релизными циклами MaxPatrol SIEM.
Мы всегда стремимся обновлять до новых версий компоненты наших решений — это позволяет добавлять новые функции в продукты — однако в то время мы только делали первые подходы к планированию перехода на новую, седьмую версию компонента хранения событий Elasticsearch. Необходимость внести доработки в MaxPatrol SIEM при переходе на эту версию вне запланированного релизного цикла стала очевидна на этапе нагрузочного тестирования собранной конфигурации. От того, сможем ли мы обновить продукт вовремя, без преувеличения, зависел успех проекта. Нам повезло: согласитесь, все-таки здорово, когда группа внедрения имеет за спиной команду разработки, которая готова откликнуться на новые технические вызовы и умеет добиваться нужного результата. Объединившись, мы стали раньше, чем планировалось, экспериментировать с новой версией Elasticsearch и смогли использовать тестовые сборки при реализации нашего проекта.
Технология Intel Smart Response (требуется поддержка материнской платы)
Другой вариант - материнская плата с поддержкой технологии Intel Smart Response (которая началась с чипсета Intel Z68). И снова THG имеет хорошую статью, в которой представлен обзор того, что мы можем ожидать от возможностей SSD-кэширования этого и более новых чипсетов.
Через тернии к звездам
Летом 2021 года мы выпустили новый релиз системы выявления инцидентов MaxPatrol SIEM — 6.2. В обновленной системе поддерживается сверхнагруженная конфигурация, в основе которой лежат технологии ILM с «горячими» и «теплыми» данными. За счет этой архитектуры появляется возможность сбалансировать стоимость системы хранения и обеспечить комфортную работу при высоких нагрузках.
Эти нововведения стали фундаментом для увеличения производительности подсистемы хранения MaxPatrol SIEM почти в два раза, что позволяет компаниям максимально охватывать всю иерархическую инфраструктуру. Этот параметр особенно важен для организаций с крупной территориально распределенной инфраструктурой, которые являются одними из основных пользователей SIEM-систем. К моменту добавления функции в официальный релиз результаты были подтверждены успешными промышленными эксплуатациями — помимо кейса, которому была посвящена эта статья, в течение года мы реализовали еще три аналогичных проекта в компаниях, где специалисты по ИБ или центры обеспечения безопасности занимаются мониторингом инфраструктуры в режиме 24/7.
Перейдем к делу
Для начала советую запустить PowerShell от имени администратора и использовать команду
Параметр CanPool должен соответствовать True около всех ваших SSD и HDD, которые вы хотите добавить в пул. Если по запросу команды Get-PhysicalDisk у одного из ваших накопителей, которые вы хотите добавить в пул будет состояние False, то необходимо при помощи утилиты diskpart запущенной от имени администратора выполнить команды:
А затем в Powershell запущенной от имени администратора выполнить команду:
Затем просто клонируйте репозиторий, и запустите запустите скрипт new-storage-space.ps1 Во время выполнения закройте окна, которые будут предлагать вам отформатировать диск, и ждите завершения скрипта.
По поводу того, что будет, если один из дисков пула отвалится. Я пытался просто отключать SSD на выключенном компьютере и, к сожалению, до тех пор пока я его не присоединил SSD обратно и не перезагрузил компьютер, локальный диск не был виден в системе (думал может хотя бы данные, которые были на HDD отображаться будут, но нет).
Мой опыт работы с опцией Intel SRT .
После того, как у меня появилась возможность играть с материнской платой на базе Z68, технология Intel Smart Response поразила меня даже меньше, чем HyperDuo!
В то время технология Smart Response могла кэшировать только загрузочный диск Windows, поэтому у вас не могло быть загрузочного диска SSD, а затем использовать SRT для кэширования другого диска в вашей системе. Вы должны были установить Windows на жесткий диск, установить драйверы, затем программное обеспечение Intel® Rapid Storage Technology (RST) и затем добавить SSD. На этом этапе, если вам повезет, вы сможете увидеть новую вкладку «Ускорение» в приложении RST, а если нет, то вам, возможно, придется запустить весь процесс с нуля, чтобы попытаться заставить его работать.
По-видимому (спасибо Николас ) более поздние версии RST значительно лучше . Я еще не пробовал, но, видимо, теперь вы можете кэшировать не загрузочный жесткий диск, если вы начинаете с полностью чистого SSD (без разделов). Вы по-прежнему ограничены 60 ГБ кеша, но как только диск настроен как кеш, оставшаяся часть диска может быть настроена как обычный раздел. К сожалению, вы все еще ограничены кэшированием одного диска или рейд-массива.
Читайте также: