Что такое хранилище на компьютере
В это облако встроен Paper, который позволяет работать с документами прямо внутри Dropbox. Кроме того, к диску можно подключать Trello, Slack и множество других сторонних сервисов для управления проектами, а также для коллективной работы. Бесплатное пространство, которое предоставляет Dropbox, можно расширить: за каждого приглашённого вами друга, установившего приложение на своём компьютере, вы получите бонусные 500 МБ.
Устройство СХД
Основные компоненты типичной СХД — массив жёстких дисков (HDD или SSD), кэш-память, контроллер дискового массива, внешний корпус и несколько блоков питания.
Главная фишка СХД — это скорость работы дисковой системы. Например, если ваши диски стоят внутри сервера они не будут работать с такой же производительностью, как сервер подключённый к СХД.
Объектные
Расщепляют файлы на «объекты», которые находятся в одном, общем хранилище. Оно может быть поделено на тома, каждый из которых может иметь уникальный идентификатор и подробные метаданные, которые позволяют быстро находить объекты. Подобный подход — это распределённая система.
Dropbox
Бесплатный объем: 7 Гб
- хранение и синхронизация файлов;
- совместная работа над файлами;
- резервное копирование файлов.
Типы хранилищ и их различия
Хранение на уровне блоков лежит в основе работы традиционного жесткого диска или магнитной ленты. Файлы разбиваются на «кусочки» одинакового размера, каждый с собственным адресом, но без метаданных. Пример — ситуация, когда драйвер HDD пишет и считывает блоки по адресам на отформатированном диске. Такие СХД используются многими приложениями, например, большинством реляционных СУБД, в списке которых Oracle, DB2 и др. В сетях доступ к блочным хостам организуется за счет SAN с помощью протоколов Fibre Channel, iSCSI или AoE.
Файловая система — это промежуточное звено между блочной системой хранения и вводом-выводом приложений. Наиболее распространенным примером хранилища файлового типа является NAS. Здесь, данные хранятся как файлы и папки, собранные в иерархическую структуру, и доступны через клиентские интерфейсы по имени, названию каталога и др.
/ Wikimedia / Mennis / CC
При этом следует отметить, что разделение «SAN — это только сетевые диски, а NAS — сетевая файловая система» искусственно. Когда появился протокол iSCSI, граница между ними начала размываться. Например, в начале нулевых компания NetApp стала предоставлять iSCSI на своих NAS, а EMC — «ставить» NAS-шлюзы на SAN-массивы. Это делалось для повышения удобства использования систем.
Что касается объектных хранилищ, то они отличаются от файловых и блочных отсутствием файловой системы. Древовидную структуру файлового хранилища здесь заменяет плоское адресное пространство. Никакой иерархии — просто объекты с уникальными идентификаторами, позволяющими пользователю или клиенту извлекать данные.
Марк Горос (Mark Goros), генеральный директор и соучредитель Carnigo, сравнивает такой способ организации со службой парковки, предполагающей выдачу автомобиля. Вы просто оставляете свою машину парковщику, который увозит её на стояночное место. Когда вы приходите забирать транспорт, то просто показываете талон — вам возвращают автомобиль. Вы не знаете, на каком парковочном месте он стоял.
Большинство объектных хранилищ позволяют прикреплять метаданные к объектам и агрегировать их в контейнеры. Таким образом, каждый объект в системе состоит из трех элементов: данных, метаданных и уникального идентификатора — присвоенного адреса. При этом объектное хранилище, в отличие от блочного, не ограничивает метаданные атрибутами файлов — здесь их можно настраивать.
/ 1cloud
Минусы облачного хранилища
- Необходимость качественного интернета.
- Замедление работы в облаке, если файлы весят много.
- Могут быть проблемы с безопасностью сохранности данных (например, однажды хакеры взломали 68 млн учетных записей Dropbox).
Применимость систем хранения разных типов
Блочные хранилища
Блочные хранилища обладают набором инструментов, которые обеспечивают повышенную производительность: хост-адаптер шины разгружает процессор и освобождает его ресурсы для выполнения других задач. Поэтому блочные системы хранения часто используются для виртуализации. Также хорошо подходят для работы с базами данных.
Недостатками блочного хранилища являются высокая стоимость и сложность в управлении. Еще один минус блочных хранилищ (который относится и к файловым, о которых далее) — ограниченный объем метаданных. Любую дополнительную информацию приходится обрабатывать на уровне приложений и баз данных.
Файловые хранилища
Среди плюсов файловых хранилищ выделяют простоту. Файлу присваивается имя, он получает метаданные, а затем «находит» себе место в каталогах и подкаталогах. Файловые хранилища обычно дешевле по сравнению с блочными системами, а иерархическая топология удобна при обработке небольших объемов данных. Поэтому с их помощью организуются системы совместного использования файлов и системы локального архивирования.
Пожалуй, основной недостаток файлового хранилища — его «ограниченность». Трудности возникают по мере накопления большого количества данных — находить нужную информацию в куче папок и вложений становится трудно. По этой причине файловые системы не используются в дата-центрах, где важна скорость.
Объектные хранилища
Что касается объектных хранилищ, то они хорошо масштабируются, поэтому способны работать с петабайтами информации. По статистике, объем неструктурированных данных во всем мире достигнет 44 зеттабайт к 2020 году — это в 10 раз больше, чем было в 2013. Объектные хранилища, благодаря своей возможности работать с растущими объемами данных, стали стандартом для большинства из самых популярных сервисов в облаке: от Facebook до DropBox.
Такие хранилища, как Haystack Facebook, ежедневно пополняются 350 млн фотографий и хранят 240 млрд медиафайлов. Общий объем этих данных оценивается в 357 петабайт.
Хранение копий данных — это другая функция, с которой хорошо справляются объектные хранилища. По данным исследований, 70% информации лежит в архиве и редко изменяется. Например, такой информацией могут выступать резервные копии системы, необходимые для аварийного восстановления.
Но недостаточно просто хранить неструктурированные данные, иногда их нужно интерпретировать и организовывать. Файловые системы имеют ограничения в этом плане: управление метаданными, иерархией, резервным копированием — все это становится препятствием. Объектные хранилища оснащены внутренними механизмами для проверки корректности файлов и другими функциями, обеспечивающими доступность данных.
Плоское адресное пространство также выступает преимуществом объектных хранилищ — данные, расположенные на локальном или облачном сервере, извлекаются одинаково просто. Поэтому такие хранилища часто применяются для работы с Big Data и медиа. Например, их используют Netflix и Spotify. Кстати, возможности объектного хранилища сейчас доступны и в сервисе 1cloud.
После отправки к файлу добавляются необходимые метаданные. Для этого есть такой запрос:
Богатая метаинформация объектов позволит оптимизировать процесс хранения и минимизировать затраты на него. Эти достоинства — масштабируемость, расширяемость метаданных, высокая скорость доступа к информации — делают объектные системы хранения оптимальным выбором для облачных приложений.
Однако важно помнить, что для некоторых операций, например, работы с транзакционными рабочими нагрузками, эффективность решения уступает блочным хранилищам. А его интеграция может потребовать изменения логики приложения и рабочих процессов.
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
3. Mega
- Стоимость: 15 ГБ бесплатно, 400 ГБ — 446 рублей в месяц, 2 ТБ — 893 рубля в месяц, 8 ТБ — 1 785 рублей в месяц, 16 ТБ — 2 678 рублей в месяц.
- Приложения: Windows, macOS, Linux, iOS, Android, Windows Phone.
- Поддержка русского языка: есть.
Ещё один сервис с неплохим доступным объёмом в бесплатной версии. Как утверждает компания, все данные хранятся на серверах в зашифрованном виде, а потому сотрудники Mega не могут их прочитать. Исходный код клиентов сервиса доступен на GitHub, его может проверить любой эксперт. Поэтому утверждение внушает доверие.
Вендор
Иногда даже для ресурсоемкого сервиса подойдет бюджетное или среднеуровневое решение (StarWind, Huawei, Fujitsu). Однако у топовых производителей — NetApp, HPE, Dell EMC — линейка продуктов достаточно широкая, и сравнительно недорогие СХД здесь также можно найти. В любом случае, желательно сильно не расширять количество вендоров на одной инфраструктуре.
Если сейчас вы находитесь в поисках решения для работы с данными, арендовать выделенный web-сервер и СХД (системы хранения данных) можно в одном из наших ЦОД. Мы, со своей стороны, обеспечим сервер быстрым соединением с интернетом на скорости до 10 Гбит/сек, постоянным подключением к электричеству и поддержкой 27/7 ;).
Облачное хранилище — это структура распределенных в сети онлайн-серверов, как правило, в виде онлайн-сервиса, предоставляющая пользователям место для хранения их данных. Хранилище нужно синхронизировать со своим устройством. После этого туда можно загружать файлы любого типа. Они будут доступны со всех устройств онлайн.
Тип данных
Разные типы данных требуют разной скорости доступа, технологий обработки, компрессии и так далее. К примеру, виртуальный СХД для работы с большими медиа-файлами отличается от той системы, которая будет работать с неструктурированными данными для нейросети.
Что такое СХД и какие проблемы она решает
СХД (Система хранения данных или Сервер хранения данных) — это устройство для хранения и управления данными, их резервного копирования. Она призвана решить типичные проблемы, связанные с растущими объёмами информации в любой организации.
Если раньше все данные могли храниться буквально на одном жёстком диске, то сейчас любая функциональная система требует отдельного хранилища – к примеру, серверов электронной почты, СУБД, домена и так далее. Поэтому с помощью СХД можно организовать децентрализацию информации (рассредоточение её по разным хранилищам).
Лавинообразный рост размера информации, который вызван, с одной стороны, ужесточением регулирования и требованием сохранять всё больше информации, связанной с ведением бизнеса. С другой стороны, ужесточение конкуренции требует всё более глубокого анализа информации о рынке, клиентах, их предпочтениях, заказах и действиях конкурентов. Но количества жёстких дисков, которые вы можете установить в конкретный сервер, не может покрыть необходимую системе ёмкость. В этом тоже может помочь СХД.
Хранение данных — не единственная функция современных СХД. Они также предлагают экономить место в хранилище с помощью дедупликации и компрессии. Компрессия позволяет системе сжимать файлы, исключая избыточную информацию, а дедупликация помогает экономить место для хранения, исключая избыточные файлы и оставляя лишь ссылки на них.
Некоторым компаниям тяжело контролировать и ограничивать доступ из-за политики безопасности предприятия. Например, касается как доступа к данным по существующим для этого каналам (локальная сеть), так и физического доступа к носителям.
Также отметим высокие затраты используемых ресурсов для поддержания работоспособности всей информационной системы предприятия, начиная от необходимости содержать большой штат квалифицированного персонала и заканчивая многочисленными недешёвыми аппаратными решениями.
Как выбрать СХД?
В первую очередь нужно понимать, какие задачи она будет решать. Важно определиться с несколькими базовыми параметрами.
2. «Google Диск» (Google One)
- Стоимость: 15 ГБ бесплатно, 100 ГБ — 139 рублей в месяц, 200 ГБ — 219 рублей в месяц, 2 ТБ — 699 рублей в месяц.
- Приложения: Windows, macOS, iOS, Android.
- Поддержка русского языка: есть.
Один из самых очевидных вариантов для владельцев устройств под управлением Android, поскольку приложение «Google Диск» изначально установлено на смартфонах и планшетах на базе этой ОС. Впрочем, из‑за немалого объёма бесплатного хранилища сервис может быть привлекателен и для обладателей других устройств. Важный плюс — глубокая интеграция с множеством сервисов Google: от Gmail до «Google Фото».
8. Box
- Стоимость: 10 ГБ бесплатно, 100 ГБ — 9 евро в месяц.
- Приложения: Windows, macOS, iOS, Android.
- Поддержка русского языка: есть.
Хотя сервис не имеет своей развитой экосистемы, он подключается к сотням сторонних инструментов вроде программ из пакетов G Suite и Office 365. Настольные клиенты Box позволяют не только синхронизировать, но и редактировать файлы.
Mega
Бесплатный объем: 15 Гб (до 50 Гб в течение месяца после регистрации)
- шифрование контента в браузере при помощи алгоритма AES (ключ хранится только у владельца);
- передача зашифрованных файлов другим пользователям;
- обеспечение информационной неприкосновенности за счет хранения данных на серверах компании, расположенных в Новой Зеландии.
Бесплатный объем: 8 Гб
- работа с общими папками;
- редактирование документов, таблиц и презентаций;
- настройка автозагрузки фотографий со смартфона и выборочная синхронизация;
- распознавание документов на фотографиях.
5. OneDrive
- Стоимость: 5 ГБ бесплатно, 1 ТБ за 3 000 или 3 500 рублей в год при оформлении персональной или семейной подписки на Office 365, соответственно.
- Приложения: Windows, macOS, iOS, Android, Windows Phone, Xbox.
- Поддержка русского языка: есть.
Облачный диск, интегрированный в Windows 10 и множество сервисов Microsoft. Например, OneDrive автоматически синхронизирует все файлы между Word, PowerPoint и другими офисными программами на разных устройствах. Очень удобно для пользователей Microsoft Office.
- Стоимость: 8 ГБ бесплатно, 128 ГБ — 149 рублей в месяц, 256 ГБ — 229 рублей в месяц, 512 ГБ — 379 рублей в месяц, 1 ТБ — 699 рублей в месяц, 2 ТБ — 1 390 рублей в месяц, 4 ТБ — 2 690 рублей в месяц.
- Приложения: Windows, macOS, iOS, Android.
- Поддержка русского языка: есть.
Примеры употребления термина
Правильно: Используйте облачное хранилище для экономии места на компьютере или смартфоне.
Неправильно: Сделайте облачное хранилище для файлов с компьютера или смартфона.
Помогаем лучше разобраться с облачными хранилищами и учим строить пайплайны данных. Дополнительная скидка 5% по промокоду BLOG.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Производительность
Если СХД закупается под новый проект (нагрузку которого сложно предугадать), то лучше пообщаться с коллегами, которые уже решали эту задачу или протестировать СХД.
Плюсы облачного хранилища
- Доступ к данным с любого устройства, имеющего выход в интернет.
- Сохранение данных даже в случае сбоев.
- Организация совместной работы с информацией.
- Отсутствие необходимости покупать, поддерживать и обслуживать инфраструктуру по хранению данных (сервера).
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
- Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.
подключение дисков в сервере
- Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
- Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
- Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
- Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
- Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.
Если рассматривать форму хранения данных, то явно выделяются следующие:
- Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
- Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
- Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.
По реализации достаточно сложно провести четкие границы, однако можно отметить:
- аппаратные, например RAID и HBA контроллеры, специализированные СХД.
RAID контроллер от компании Fujitsu
- Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Файловые
Хранят информацию в виде файлов, собранных в каталоги (папки). Файлы организуются и извлекаются благодаря метаданным, которые сообщают, где находится тот или иной файл. Условно такую систему можно представить в виде каталога.
Яндекс.Диск
Бесплатный объем: 10 Гб
- настройка общего доступа к папкам;
- отправка ссылок на файлы;
- просмотр фото в галерее, создание альбомов, настройка автозагрузки видео и фото со смартфона;
- просмотр файлов/папок, перемещение их, редактирование документов.
Примеры популярных облачных хранилищ
Виды хранилищ
10. pCloud
- Стоимость: 10 ГБ бесплатно, 500 ГБ за 50 евро в год или за 175 евро навсегда, 2 ТБ за 99 евро в год или за 350 евро навсегда.
- Приложения: Windows, macOS, Linux, iOS, Android.
- Поддержка русского языка: есть.
Этот материал впервые был опубликован в августе 2017 года. В январе 2022-го мы обновили текст.
Международный рынок гипермасштабируемых дата-центров растет с ежегодными темпами в 11%. Основные «драйверы» — предприятия, подключенные устройства и пользователи — они обеспечивают постоянное появление новых данных. Вместе с объемом рынка растут и требования к надежности хранения и уровню доступности данных.
Ключевой фактор, влияющий на оба критерия — системы хранения. Их классификация не ограничивается типами оборудования или брендами. В этой статье мы рассмотрим разновидности хранилищ — блочное, файловое и объектное — и определим, для каких целей подходит каждое из них.
/ Flickr / Jason Baker / CC
Блочное
Весь объем информации делится на равные части — блоки с идентификаторами. Основное преимущество таких облачных хранилищ — разделение клиентских сред. Благодаря этому к каждой из них открывается быстрый отдельный доступ. Но платить нужно за весь выделенный объем памяти, даже если она ничем не занята.
Примеры хранилищ: Amazon Elastic Block Storage (EBS).
7. iCloud
- Стоимость: 5 ГБ бесплатно, 50 ГБ — 59 рублей в месяц, 200 ГБ — 149 рублей в месяц, 2 ТБ — 599 рублей в месяц.
- Приложения: Windows.
- Поддержка русского языка: есть.
5 ГБ бесплатного пространства может быть недостаточно, но iCloud — это самый удобный способ создавать бэкапы фотографий и других файлов с iPhone и iPad.
Сервис интегрирован в программу Finder на macOS — рабочий стол всех компьютеров Mac. Документы, созданные через офисный пакет iWork, тоже сохраняются в iCloud, благодаря чему могут синхронизироваться между устройствами. У платформы есть и официальный клиент для Windows, с помощью которого можно поддерживать файлы на ПК в актуальном состоянии.
Отказоустойчивость
Необходимо представлять, какова стоимость потери данных за определённое время. Это поможет рассчитать RPO (Recovery-Point Objective) и RTO (Recovery Time Objective), а также избежать лишних затрат на резервное копирование. Бэкапы, бэкапы и ещё раз бэкапы.
Блочные
Данные хранятся независимо друг от друга. Каждому такому блоку присваивается идентификатор, который позволяет системе размещать каждый блок, где ей удобно. Блочные хранилища не полагаются на единственный путь к данным (в отличии от файловых хранилищ).
4. «Яндекс.Диск»
- Стоимость: 10 ГБ бесплатно, 100 ГБ — 42 рубля в месяц, 1 ТБ — 117 рублей в месяц, 3 ТБ — 242 рубля в месяц.
- Приложения: Windows, macOS, Linux, iOS, Android.
- Поддержка русского языка: есть.
«Яндекс.Диск» — облако отечественной разработки. Разумеется, сервис хорошо интегрирован в экосистему «Яндекса». Более того, пользователи получают безлимитное хранилище для фотографий, снятых на смартфон с установленным приложением «Яндекс.Диск». Из минусов: бесплатная версия отображает рекламу.
Файловое
Данные хранятся в иерархической системе. Это значит, что информация представляет собой файлы, объединяющиеся в папки, подкаталоги и каталоги. Основное преимущество — интуитивный интерфейс и легкость использования. Главный недостаток — плохая масштабируемость: с увеличением объема данных иерархия очень сильно усложняется и замедляет работу системы.
Примеры хранилищ: Яндекс.Диск, Dropbox, OneDrive, Google Диск.
Какие бывают системы хранения данных
Существует классификация СХД: они делятся на файловые, блочные и объектные. Каждый вид СХД определяет в каком виде хранятся данные, способ доступа к ним, и, как результат, простоту управления и скорость доступа к данным.
Критерии выбора хранилища
Размер облачного хранилища. Если нужно хранить небольшое количество фотографий и легких файлов типа Word, Excel, то 10 ГБ может вполне хватить. Но если требуется копировать в облако большие файлы, например видео, то лучше сразу выбрать тариф, предлагающий большой/максимальный объем хранения.
Возможность увеличения объема хранилища. Особенно важный критерий для пользователей, которые планируют хранить большие массивы данных. Если это так, лучше выбирать сервис, в котором в любой момент можно изменить тариф.
Наличие ПО для компьютера и смартфона. У сервиса облачного хранения обязательно должно быть приложение и/или программа для установки и синхронизации.
Имеющиеся ограничения. Перед выбором важно узнать о всех имеющихся ограничениях. Например, о количестве объема памяти, размере одного загружаемого файла.
Принцип работы СХД — NAS, SAN и DAS
Существует несколько аппаратных компонентов, программного обеспечения и протоколов, которые в конечном итоге придают решениям для хранения данных их особые свойства.
На основе классификации выше выделяют два основных типа СХД: они различаются уровнем хранения, чтения и записи данных.
- Первый вариант работает с данными файлового уровня. Это означает, что такое хранилище, по сути, функционирует как сервер с собственной файловой системой. На практике клиентский сервер даёт такие команды, как «записать Х битов в этот файл» или «извлечь Х битов из этого файла» соответственно. Этот тип хранилища называется NAS.
- Второй вариант — это доступ к данным на уровне блоков. Это ускоряет обмен данными между сервером и хранилищем, поскольку он прямой, то есть «блок записи X» или «блок вызова X». Такие репозитории связаны друг с другом и с сервером либо как DAS, либо через SAN.
О каждом из них расскажем подробнее.
NAS расшифровывается как Network Attached Storage, что можно условно перевести как сетевое хранилище. Поскольку данные обрабатываются на уровне файлов, сервер представляется NAS как сетевой сервер со своей собственной файловой системой.
Если объяснить проще — представьте себе стационарный компьютер, который подключён к домашнему роутеру. На нём хранятся фото, видео, документы и другие данные. Сетевой доступ разрешен всем пользователям — приблизительно так выглядит NAS.
NAS-хранилище может принимать разные формы. Например, к производственному серверу могут быть подключены другие серверы, виртуальные машины или так называемые дисковые станции, на которых находится другое количество съёмных жестких дисков.
Преимущества NAS:
- Доступность и низкая стоимость.
- Простота подключения и управления.
- Гибкость, возможность быстро увеличить объём для хранения данных.
- Универсальность клиентов (компьютер под управлением любой операционной системы может получить доступ к файлам).
Недостатки NAS:
- Хранение данных только в виде файлов.
- Медленный доступ к информации по сетевым протоколам (по сравнению с локальной системой).
- Невозможность работы некоторых приложений с сетевыми дисками.
DAS расшифровывается как Direct Attach Storage — прямое подключение к рабочей станции, хранилищу). Например, подключение внешнего диска по USB условно можно назвать DAS.
Из принципиальной простоты архитектуры DAS следуют её основные преимущества: доступная цена и относительная простота внедрения. Кроме того, такой конфигурацией легче управлять ввиду хотя бы того, что число элементов системы мало.
Внутри системы находится блок питания, охлаждение и RAID-контроллер, который обеспечивает надёжность и отказоустойчивость хранилища. Управляется при помощи встроенной операционной системы.
Достоинства DAS:
- Легкость развёртывания и администрирования.
- Высокая скорость передачи данных.
- Низкая стоимость оборудования.
Недостатки DAS:
- Требует выделенного сервера).
- Ограничения в подключениях (не больше двух серверов).
В свою очередь SAN — это сети хранения данных. Как правило они представлены в виде внешних хранилищ на нескольких сетевых блочных устройствах и реализованы в виде протокола FC (Fiber Channel) или iSCSI (Internet Small Computer System Interface). Это блочный доступ непосредственно к устройству хранения — диску или наборов дисков в виде RAID-групп или логических устройств.
Кстати, вышеупомянутый DAS может быть очень мощным и часто более дешёвым, чем SAN. Однако в то же время недостаток DAS в том, что он не может быть легко расширен — количество подключённых компьютеров ограничено физическим количеством портов SAS на DAS (обычно их всего четыре). Поэтому многие компании и учреждения предпочитают выбирать блочные хранилища, подключенные через SAN.
Преимущества SAN:
- Высокая скорость работы, низкая задержка.
- Гибкость и масштабируемость.
- Хранение данных блоками.
- Высокая надёжность обмена и хранения данных.
- Разгрузка подсети от служебного трафика.
Недостатки SAN:
- Сложность проектирования
- Высокая стоимость.
- Невозможность некоторых приложений и систем работать с протоколом iSCSI.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Для чего нужны облачные хранилища?
Для экономии места на смартфонах и компьютерах. В облако можно выгрузить фотографии, музыку и любые другие данные, которые жалко удалить или которые занимают много места, например записи с камер видеонаблюдения.
Для резервного копирования и восстановления, если важно сохранить файлы.
Для миграции данных бизнеса. В облаке удобнее делиться файлами с коллегами и организовать совместную работу.
Объём данных
От этого зависит выбор дисковых накопителей. Иногда можно обойтись SSD потребительского класса — если известно, что ёмкость СХД даже в худшем случае не будет превышать 300 ГБ, а скорость доступа не критична.
Microsoft OneDrive
Бесплатный объем: 15 Гб
- совместный доступ к фотографиям, видео, папкам и различным документам;
- сканирование и сохранение документов, квитанций, визиток, заметок;
- работа в Word, Excel и других приложениях Office.
Важно! Принцип синхронизации зависит от ОС компьютера, поэтому перед работой с хранилищем следует скачать подходящую программу для его адаптации.
9. IDrive
- Стоимость: 5 ГБ бесплатно, 1 ТБ за 15 долларов в первый год и 30 долларов — со второго; 2 ТБ за 30 долларов в первый год и 60 долларов — со второго; 5 ТБ за 60 долларов в первый год и 120 долларов — со второго, 10 ТБ за 75 долларов в первый год и 150 долларов — со второго.
- Приложения: Windows, macOS, Linux, iOS, Android, Windows Phone.
- Поддержка русского языка: нет.
IDrive предоставляет инструмент для создания бэкапов всех подключённых устройств. Есть возможность открывать доступ к документам другим пользователям для совместной работы. Кроме того, во все планы входит сервис IDrive Express: если вы потеряете все свои данные, вам доставят жёсткий диск для их быстрого восстановления.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
Надёжное хранение данных — задача, которую приходится решать каждому бизнесу. Но когда повышаются объёмы информации, растут и требования к надёжности хранения данных. Чтобы организовать наилучшую работу с информацией, стоит обратиться к СХД — системе хранения данных.
В материале расскажем о том, что такое и как устроены СХД, какие проблемы они решают, как классифицируются и на какие характеристики следует смотреть в первую очередь, если вы не так давно в этой отрасли.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Google Диск
Бесплатный объем: 7 Гб
- общий доступ к данным и совместное редактирование;
- работа с Google Документами, Таблицами и Презентациями;
- индексация общедоступных документов поисковыми системами.
Объектное
Это универсальный и современный способ хранения в облаке больших информационных массивов. Объектное хранилище используется для данных любого вида: медиаконтента, программ, бухгалтерской/статистической отчетности и др. Главный недостаток — пользователь не может просто взять и переместить файл в нужную папку. Для загрузки информации нужно использовать специальный программный интерфейс — API (он позволяет двум независимым компонентам ПО обмениваться информацией).
Примеры хранилищ: Amazon Simple Storage Service (S3).
Помогаем лучше разобраться с облачными хранилищами и учим строить пайплайны данных. Дополнительная скидка 5% по промокоду BLOG.
Как работают облачные хранилища
Принцип работы облачного хранилища данных заключается в следующем: на ноутбук, ПК или любой другой гаджет устанавливается программа, в которую с устройства переносится информация. Потом облако будет самостоятельно отслеживать изменения в них и автоматически подгружать новые файлы. Связав хранилище со всеми устройствами, можно получить доступ ко всем данным с любого гаджета.
Читайте также: