Хранение данных в компьютере что лучше
Постоянный запрос в поисковики «как именно нужно хранить информацию». На жестких дисках или твердотельных накопителях? Можно ли единожды произвести запись и оставить накопитель в покое на несколько лет, либо необходимо периодически (раз в полгода или год) перезаписывать его, чтобы данные не исчезли или не повредились?
Какого-то единственного правильного решения такой задачи нет, поскольку исходя из личного опыта многие пользователи предлагают разные достижения поставленной цели. После прочтения постов на разных форумах становится понятно одно — хранить важную информацию на неиспользуемых на постоянной основе накопителях нельзя. Дело не только в размагничивании самих дисков или деградации ячеек памяти, но и увеличении энтропии, ведущей к искажению данных, то есть появлению битых файлов.
Кстати, насчет энтропии: это одна из причин, почему космическое оборудование намного слабее того, которым мы пользуемся на Земле. Все дело в плотности микросхем, так как современное «железо» стремится к уменьшению техпроцесса, а чем плотнее компоненты, тем они более уязвимы к космическому излучению и солнечной радиации. Долгосрочное хранение информации на жестких дисках и SSD имеет аналогичные проблемы, поскольку электромагнитные излучения, перепады температур и влажности еще никто не отменял. Так как же правильно хранить важные файлы, как снизить риск их потери и как, собственно, умирают данные — с этим мы и намерены сегодня разобраться.
Удалить с «облака» не так уж просто
Когда пользователь что-то удаляет с облачного хранилища, это не значит, что стертые файлы исчезают бесследно. Наглядным примером служит история, случившаяся в 2017 году, когда облачный сервис Dropbox из-за бага восстановил для части пользователей удаленные несколько лет назад данные.
Как лучше хранить данные: локально или онлайн?
Какой вывод можно сделать насчет долгосрочного архивирования важной информации? Лучшим вариантом станет хранение файлов на жестких дисках, проверенных временем (3−5 лет без BAD-секторов) с периодической перезаписью данных раз в год на резервный HDD. При этом еще лучше иметь бэкап в «облаке», чтобы на 100% быть уверенным, что важные данные никогда и никуда не потеряются в течение как минимум нескольких десятков лет. Увы, но обойтись одним единственным решением сейчас невозможно, поскольку соответствующих технологий еще не разработано.
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Деградация ячеек и размагничивание данных на диске
Сначала разберемся с размагничиванием пластин в жестких дисках, ведь там считывание информации зависит от трех главных параметров: точности позиционирования механизма считывающей головки, чувствительности головок и мощности магнитного поля болванок. В нормальных условиях, когда соблюдаются рекомендуемые производителем показатели влажности, температуры в помещении, а также отсутствуют механические удары и вибрация, сильные электромагнитные поля, деградация магнитного поля пластин составляет около 1% в год.
При этом сказать, что через условные 50 лет половина диска станет нечитаемой, будет неправильно. Обычно в таких случаях наличие битых файлов или вовсе их исчезновение будет связано не столько с ухудшением магнитной записи, сколько с деградацией материалов, отвечающих за точность позиционирования и чувствительность считывающих головок. Поэтому переживать за сохранность информации не стоит, поскольку неработающий должным образом такой жесткий диск всегда можно отнести к специалистам, которые без проблем считают и восстановят 100% данных напрямую с пластин. Это касается и вышедших из строя жестких дисков, в которых сломалась электроника, но «блины» не были повреждены механически ни считывающей головкой, ни наличием трещин и сколов. Единственный минус: стоимость услуг по восстановлению файлов может обойтись в копеечку.
Стоит ли так рисковать и оставлять на полке жесткий диск на 5−10−20 лет? На самом деле, нет. Несмотря на то, что многие могут похвастаться, что их жесткие диски успешно были считаны спустя 10−15 лет простоя на пыльной полке, есть много и негативных отзывов, когда после длительного хранения «харды» попросту отказывались раскручивать пластины. Связано это с тем, что жесткие диски предназначены для постоянной работы, поскольку в процессе своей жизнедеятельности они постоянно обновляют магнитный слой пластин и тем самым могут работать без сбоев десятки лет. Поэтому лучшим решением является постоянная перезапись данных с одного носителя на другой раз в год, если это действительно очень важные файлы.
Если планируется перезапись информации с одного «харда» на другой, то для этих целей лучше использовать проверенные временем устройства 3−5 летней давности (можно и больше) без наличия битых секторов! Жесткие диски, особенно современные модели, подвержены «детской смертности» — они до 40 раз имеют больше шансов выйти из строя в первые год-два эксплуатации, чем старшие собратья, отработавшие минимум 3 года.
Как умирают файлы на дисках
Что на жестких дисках, что на SSD информация умирает плюс-минус одинаково: обычно видеоролики «рассыпаются» на крупные пиксели различных цветов, разъезжаются на полосы или картинка застывает/видеозапись обрывается. Что касается фотографий, то они начинают демонстрировать артефакты (снова пиксели, полосы, часть картинки может быть залита одним или несколькими цветами), а музыкальные файлы начинают «булькать», издавать резкие звуки, обрываться на воспроизведении в любой момент. Прочие документы могут и вовсе не открываться.
При этом стоит понимать, что файлы сами по себе не могут деградировать. Если они открываются, то с вероятностью 99,9% они содержат ровно тот же код, что и при записи. Почему тогда они становятся «битыми»? Здесь проблема кроется в основном в некорректности считывания и последующей записи. Для HDD, как мы уже говорили, это потеря чувствительности и сбой позиционирования считывающих головок при полной сохранности данных на самих болванках. Для SSD ситуация сложнее, ведь там могут «барахлить» и контроллер памяти, и сама NAND-память. К слову, именно поэтому с SSD восстановить информацию сложнее, а порой и невозможно, в отличие от жестких дисков.
Заключение
Одним словом, выхода нет только из гроба. А найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко, если воспользоваться рекомендациями выше. Главное – делать это в принципе. Ибо надежность превыше всего.
Подпишитесь на наш канал в Яндекс.Дзен или telegram-канал @overclockers_news - это удобные способы следить за новыми материалами на сайте. С картинками, расширенными описаниями и без рекламы.
Все мы храним информацию в электронном виде, но к сожалению не все делают это правильно. В этой статье мы разберём как сохранять Ваши данные, чтобы не жалеть потом об их пропаже.
Все мы храним информацию в электронном виде, но, к сожалению, не все делают это правильно. Её можно хранить на жёстком диске, внешних накопителях (смартфонах, переносных жёстких дисках, флешках, картах памяти, CD и DVD дисках), а также в облачных хранилищах.
реклама
Например, есть приложения для смартфонов вроде программы «Сейф+» и ей подобных, которые надёжно зашифруют ваши логины и пароли. Можно также воспользоваться более простым способом, создать архив с паролем и хранить его на флешке в укромном месте. Пароли нужно хранить как минимум в двух экземплярах!
Также нам регулярно требуются сканы документов, их лучше хранить также в двух экземплярах, первый на смартфоне, в формате PDF или Jpeg (на карте памяти, на случай поломки смартфона или сдачи его в ремонт). Второй экземпляр на флешке или в облачном хранилище.
реклама
Облачные хранилища это прежде всего Google Диск и Яндекс.Диск. В них можно хранить как текстовые файлы, так и фотографии, музыку, видео. Рассмотрим их подробнее.
Внимание! Если ваш ребёнок просит сделать ему канал на Ютубе, чтобы стать блогером, то обязательно создавайте для него новый аккаунт! Поскольку если его неожиданно забанят, то Ваши данные останутся в целости и сохранности. Аналогично если Вы сами пишите много комментариев «о накипевшем», пишите их с «чистого» аккаунта.
реклама
Яндекс.Диск может безлимитно загружать фотографии с телефона, и бесплатное место для остальных данных может варьироваться в зависимости от участия в акциях. Например, у меня бесплатный лимит равен 40 Гб, а для новых пользователей доступно только 10Гб.
Когда вы удаляете файлы в программе Яндекс.Диск, они попадают в «Корзину» и хранятся в ней 30 дней. После этого они автоматически удаляются с сервера. Восстановить удаленные с сервера файлы невозможно! Однако восстановить файлы из «Корзины» вполне возможно, но только в веб-интерфейсе Яндекс.Диска. Если вы хотите удалить файл с компьютера, но сохранить на сервере, настройте выборочную синхронизацию.
Переносные жёсткие диски, у меня их целых три, рационально использовать для хранения сеймейных фото- и видеоархивов, установочных файлов программ, которые могут пригодиться в любой момент, но занимают много места. Я, например, самый ёмкий жёсткий диск (объёмом на 1Тб) использую для хранения мультиков и детских фильмов.
реклама
Также есть сетевые хранилища, которые представляют из себя корпус из пластика или металла, в котором содержатся как минимум пара жёстких дисков и специальная плата с операционной системой. Фактически это автономный компьютер и его можно подключать в локальную или глобальную сеть для получения общего доступа нескольким пользователям. Эти хранилища стоят довольно дорого, но имеют свои преимущества. Например, не нужно бояться, что Вас могут забанить за резкий комментарий под роликом на Ютубе, или что Вы потеряете пароль от вашей учётной записи. Также сетевые диски позволяют создавать Рэйд (RAID) массивы, их существует несколько видов, но наиболее популярный так называемый «зеркальный», в котором вся информация, записываемая на один жесткий диск, автоматически дублируется и на второй.
В современных ПК зачастую отсутствует DVD привод, но зато обычно есть картридер для чтения карт памяти всевозможных форматов. Поэтому содержимое дисков плавно перекочевало на флешки. Так появились загрузочные USB, с которых можно устанавливать Windows и запускать тестовые утилиты для диагностики жёсткого диска и оперативной памяти, а также можно запустить антивирус для лечения ПК от вирусов. Кстати, среди утилит зачастую есть и программа для сброса забытого пароля у операционной системы, я сам ей пользовался ещё будучи студентом, когда младшая сестра установила пароль на компьютере и благополучно его забыла.
Для самых ленивых есть даже образы дисков с операционной системой и основными программами, включая полный комплект Майкрософт Офиса (Microsoft Office), но тут стоит учитывать, что это пиратские версии программ и они работают не всегда корректно.
Очень полезная вещь – портативные (portable) версии программ, которые можно запускать с флешки и при желании переносить на ПК обычным копированием. Так меня часто выручает portable версия браузера Мозилла Фаерфокс (Mozilla Firefox), которая позволяет мне пользоваться браузером со всеми вкладками и закладками на любом компьютере, с любой версией Виндовс.
Вторая по полезности portable программа – почтовое приложение Мозилла Тандебёрд (Mozilla Thunderbird), позволяющая работать с почтой сразу из нескольких почтовых ящиков. У меня она долгое время была на флешке и получала почту сразу с шести е-мейлов нажатием одной кнопки! Если Вы торговый представитель или юрист, то возможность носить на флешке всю вашу почту поможет сэкономить уйму времени.
Для любителей различных заметок и стикеров на рабочем столе компьютера есть бесплатная программа Google Keep. Она полностью бесплатна, и единственный минус - отсутствие версии для Windows, но у неё есть веб-версия (которую можно использовать в портативной версии Mozilla Firefox) и расширение для браузера Хром (Chrome). Для смартфонов и планшетов она доступна на Android, iOS.
И напоследок небольшой совет для меломанов, у которых есть редкие музыкальные CD диски. Если Вы хотите перенести свою музыку на ПК, то самый простой вариант – найти эту музыку в Интернете. Зачастую она будет доступна на различных сайтах (где за просмотр рекламы можно слушать музыку), в разном качестве звучания. Если её в глобальной сети нет, то отчаиваться не стоит, есть программы, называемые аудио-грабберы (Audiograbber), способные переносить музыкальные треки на жёсткий диск ПК. Кстати копировать музыку с аудио дисков умеет стандартный медиаплеер в Windows XP.
Подпишитесь на наш канал в Яндекс.Дзен или telegram-канал @overclockers_news - это удобные способы следить за новыми материалами на сайте. С картинками, расширенными описаниями и без рекламы.
Магнитные ленты
А ведь многие пользователи уже не знают, что это такое – стример (по-английски – «tape drive», а не «streamer», кстати). Опять-таки, в девяностых годах прошлого века такой способ хранения считался практически вечным – кассеты с магнитными лентами не подходили для ежедневного чтения информации, но для долговременного более чем.
Как и сегодня; лентам дают минимум двадцать пять лет жизни, а то и больше. И не теоретической: вспомните, сколько уже десятков лет исполнилось данному способу хранения информации.
реклама
Большой минус стримеров и расходников к ним – цена. И да, их все еще выпускают. Стоимость стримера на Амазоне составляет от 100 евро, еще пару десятков нужно выложить за многотерабайтные кассеты (объемом от 320 Гбайт до 50 Тбайт) – в общем, такой способ бэкапирования данных и создания файлопомоек подойдет лишь организациям или людям, которым не очень жалко денег.
Да и организациям-то не самым маленьким, потому что фирмы поменьше подумают и выложат деньги за что-нибудь подоступнее, поскольку в их случае объем информации уместится на одну кассету.
В принципе, стримеры являются практически идеальным долговременным хранилищем, если не брать в расчет стоимость мегабайта. Потому как она запредельная. И, кстати, желательно помнить о том, что кассеты можно размагнитить. Но лучше не нужно.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Жесткие диски (HDD)
Жесткие диски сегодня являются самым дешевым устройством для хранения данных при учете фактора «цена за мегабайт». Легко можно купить трехтерабайтный «винчестер» менее чем за 100 евро, и он будет служить верой и правдой, пока у него не «полетят головки» (худший вариант) или же он просто однажды не посыплется «бэдами». В таких случаях пользователи обычно нецензурно выражаются – да так, что грузчики в порту позавидуют. Потому что накопленные за долгие годы данные могут умереть в момент.
Технологии в производстве HDD кардинально не развиваются уже лет пятнадцать, за исключением повышения оборотов шпинделей; а различные многобуквенные сочетания надежности по большому счету не добавляют, разве что информированности. Кроме того, восстановление данных с жесткого диска в случае безвременной кончины последнего – весьма дорогостоящая процедура, а если модель еще и десятилетней давности или более, сумма возрастает совершенно непропорционально.
Да, трава раньше была зеленее, а «винчестеры» – надежнее. Потому что, к примеру, восстановление «голов» может вам обойтись далеко не в один десяток тысяч рублей, и критическая информация станет поистине золотой.
реклама
Выходом из этого может служить вышеупомянутый способ зеркалирования. Это значит, вы покупаете два HDD одинакового объема, но разных производителей, и проводите ежедневное автоматическое копирование данных с одного на другой. Такой способ можно назвать максимально бюджетным и при этом достаточно надежным (да и найти бесплатное приложение для зеркалирования не проблема). Можно, конечно, и в RAID их запихать – только вот развалится массив, и плакали ваши данные. Поэтому рекомендую проверенный годами способ.
Вечного архива не существует
Подводя итог о долгосрочном хранении данных на жестких дисках и SSD — ни первые, ни вторые не проектируются производителями для многолетнего архивирования информации. Для этих целей у компаний есть специальные оптические диски «архивного уровня», как например, DWD + RW или Blu-Ray диски, срок службы которых может достигать до 30 лет и даже больше. Что касается безмятежного и безопасного хранения данных на срок до 100 лет, то таких решений на сегодняшний день еще не найдено.
Стоит ли хранить данные в «облаке»?
Если отбросить устоявшиеся мифы о том, что данные пользователей, хранящиеся в «облаке» с легкостью могут украсть хакеры, или исчезнуть в результате стихийного бедствия, то облачные хранилища действительно надежны по состоянию на 2021 год. Крупные корпорации, которым принадлежат огромные сервера в разных странах, куда серьезнее относятся к безопасности и сохранности данных, нежели простые пользователи. Поэтому если и делать выбор между локальным хранением информации на HDD/SSD или предоставить эту услугу «облаку», то в плане надежности второй вариант предпочтительнее. К слову, он и удобнее, так как доступ к файлам будет всегда и везде — достаточно иметь под рукой смартфон и выход в Интернет. С другой стороны, такое удобство и безопасность в финансовом плане обойдется дороже.
Значит ли это, что данные в «облаке» никогда не исчезнут? Несмотря на то, что дата-центры имеют подстраховку в виде резервных копий, иногда и они безвозвратно теряют данные. Случается это крайне редко и теряется лишь малая часть информации, но факт остается фактом. Например, в 2015 году очень не повезло дата-центру компании Google, расположенному в Бельгии. В него 4 раза подряд ударил разряд молнии, и несмотря на все попытки восстановить все данные, безвозвратно было потеряно около 0,000001% информации. За последние 6 лет подобных происшествий больше не случалось несмотря на неоднократные неприятные инциденты, связанные с серверами (например, в марте 2021 года полностью сгорел страсбургский OVH SBG2, но ни один важный файл потерян не был).
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Оглавление
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Деградация ячеек на SSD
Большая часть современных SSD-накопителей используют метод ловушки заряда в ячейки памяти — CTF (Charge Trap Flash). Сами же ячейки на сегодняшний день в зависимости от стоимости твердотельного накопителя могут быть 4-х видов: SLC (хранение 1 бита информации), MLC (2 бита), TLC (3 бита) и QLC с хранением в ячейке 4 бит данных. В зависимости от количества хранимых бит в одной ячейке варьируется и емкость SSD — чем больше, тем лучше. Но у этого свойства есть и обратная сторона медали: чем выше количество бит в одной ячейке, тем больше уровней напряжения требуется для записи информации, а потому материал диэлектрика в ячейках памяти изнашивается быстрее. Важно уточнить, что деградация происходит только при записи данных, а при их считывании нагрузки на диэлектрик практически нет.
Значит ли это, что SSD можно единожды записать и хранить его долгие годы вне компьютера, а после удачно считать с него важную информацию? Можно, но ограниченное время. Например, компания DELL в документации к производимым твердотельным накопителям указывает, что ее SSD способны хранить информацию без подключения к питанию минимум 10 лет. При этом бренд отмечает, что если flash-память уже значительно изношена, то без питания данные могут храниться на накопителях до 3 месяцев для MLC и до 6 месяцев для SLC-ячеек.
Твердотельные накопители (SSD)
Твердотельные накопители – это новый и очень удобный способ хранения информации на рабочем компьютере, поскольку при большей раз в десять скорости (если говорить о нормальных SDD) относительно HDD они уже не стоят заоблачных многих сотен долларов. Но у них по-прежнему остается проблема ограниченного числа часов работы и циклов записи/чтения, и это всего лишь несколько лет.
Поэтому SSD можно рассматривать как прекрасное средство для работы, но в качестве средства для хранения данных о них нужно вспоминать в последнюю очередь. Как минимум потому, что цена за мегабайт у них значительно выше, чем в случае HDD.
С другой стороны, умирают такие накопители гораздо медленнее и с уведомлениями (в зависимости от модели) об этом. Можно успеть и купить новый, и переписать на него все данные, и даже устроить грандиозную вечеринку, и не раз – прежде чем твердотельный отдаст концы. Кроме того, восстановить информацию с SSD бывает проще, чем с HDD, из-за более простой структуры и отсутствия движущихся частей.
Наконец, никто не заставляет вас пользоваться таким способом хранения данных постоянно: то есть записали – отключили и забыли. По идее, если SSD не дергать, он проживет долгие декады. Хотя никто пока еще не знает, как и в случае с CD.
Резюмирую: хранить данные на них можно, если вас не смущает высокая цена за мегабайт, сильно превосходящая таковую для HDD. В крайнем случае, успеете спасти.
Кстати, в качестве экзотического варианта можно рассмотреть хранение данных на флэшках. У которых ровно те же проблемы, разве что скорость ниже, чем у SSD как таковых. Впрочем, возиться с такими крошечными объемами никто не захочет, так ведь?
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
- Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.
подключение дисков в сервере
- Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
- Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
- Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
- Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
- Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.
Если рассматривать форму хранения данных, то явно выделяются следующие:
- Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
- Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
- Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.
По реализации достаточно сложно провести четкие границы, однако можно отметить:
- аппаратные, например RAID и HBA контроллеры, специализированные СХД.
RAID контроллер от компании Fujitsu
- Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Муки выбора
Если у вас после прочтения так и не появилось ясности, попробую ее внести. В случае если необходим наиболее выгодный вариант цены за мегабайт – выбирайте жесткие диски и/или DVD. Последние выглядят предпочтительнее в плане надежности, поскольку HDD достаточно капризны и могут умереть, даже лежа на диване круглые сутки; в отличие от них, диски DVD обладают более устойчивой психикой.
реклама
К тому же, пишущий привод сегодня стоит менее тысячи рублей, а набор из десяти «болванок» 4.37 Гбайт так и вообще пару сотен. Ну а не самый дешевый жесткий диск объемом три терабайта будет стоить от шести тысяч, причем о надежности можно думать очень долго.
Если же финансовый вопрос не стоит остро – присмотритесь к SSD-драйвам. Да, они дороги, но, если не использовать SSD с сенситивными данными в постоянном режиме, то он может прожить долго и счастливо. Если же у вас денег куры не клюют – выбирайте стримеры. С другой стороны, можно купить какой-нибудь отремонтированный или бывший в употреблении экземпляр – например, один такой производства HP в комплекте с пятью трехтерабайтными кассетами формата LTO5 продается в момент написания этой статьи на eBay всего за 150 евро. Нетрудно подсчитать, что это будет даже выгоднее HDD.
В случае «а мне забить на все» можно воспользоваться облачным хранилищем. Но желательно каким-нибудь надежным – тем же Google или его вечным конкурентом Microsoft. А если хочется почувствовать себя совсем крутым – купить за неразумные деньги терабайта два на Dropbox. А еще лучше не ограничиться двумя, и сделать одну половинку зеркалом второй.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
Выбор устройства для хранения информации в 2017 году – это очень спорная тема. Прошли уж те времена, когда можно было выбирать только из HDD небольшого объема или компакт-дисков: сегодня спектр таких решений велик, как никогда. Мы определимся и с тем, зачем хранить, и с тем, на чем хранить. Ведь найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Вступление
реклама
Выбор устройства для хранения информации в 2017 году – это очень и очень спорная тема. Прошли уж те времена, когда можно было выбирать только из жестких дисков небольшого объема или компакт-дисков (для мажоров, ага): сегодня спектр решений для хранения данных велик, как никогда.
Для начала определимся с тем, а зачем нам, собственно, что-то хранить – в эпоху интернета? Когда все «в небесах» – в облаках?
В первую очередь сегодня мы погребены под обилием информации. Петабайты нужных и ненужных (чаще) данных обрушиваются на нас снежной лавиной, и здесь речь идет даже не о новостях, а о данных физических: фотографиях, гигантском количестве пиратской и не очень музыки и фильмов. Сюда же отнесем и приложения, «которые когда-нибудь пригодятся»; фильмы, которые посмотрели один раз, «может быть, посмотрю во второй»… Не все же все удаляют, верно? Встает вопрос о том, где все это хранить.
Потом – «бэкапы». Опять же, ни для кого не секрет, что современные и самые дешевые с точки зрения фактора «цена за мегабайт» жесткие диски (традиционные, «блинные») страдают от низкого качества. К примеру, у меня настроено почти полное ежедневное зеркалирование системного жесткого диска и диска с данными на идентичные по объему модели. Почему? Именно потому, что «полететь в голубые небеса» может любой «винчестер» в любое время и в любом месте.
Одним словом, хранение данных все равно актуально, и интернет этого не заменит.
Выбор устройства для хранения информации в 2017 году – это очень спорная тема. Прошли уж те времена, когда можно было выбирать только из HDD небольшого объема или компакт-дисков: сегодня спектр таких решений велик, как никогда. Мы определимся и с тем, зачем хранить, и с тем, на чем хранить. Ведь найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко.
Читайте также: