Для хранения файлов не используется
Поможем успешно пройти тест. Знакомы с особенностями сдачи тестов онлайн в Системах дистанционного обучения (СДО) более 50 ВУЗов. При необходимости проходим систему идентификации, прокторинга, а также можем подключиться к вашему компьютеру удаленно, если ваш вуз требует видеофиксацию во время тестирования.
Закажите решение теста для вашего вуза за 470 рублей прямо сейчас. Решим в течение дня.
Что регламентируют стандарты международного уровня в информационных системах?
Количество персонала, обеспечивающего информационную поддержку системе управления
Взаимодействие информационных систем различного класса и уровня
Количество технических средств в информационной системе
Взаимодействие прикладных программ внутри информационной системы
С помощью 1 байта можно запомнить число различных состояний. Какое это число?
8
1
1024
256
Служебные программы, занимающиеся диагностикой работоспособности компьютера, обслуживанием сети, дисков и архивированием данных, относятся к _________ программному обеспечению
прикладному
системному базовому
системному сервисному
инструментальному
Транспортный протокол (TCP) обеспечивает …
разбиение Файлов на IP- пакеты в процессе передачи и сборку Файлов в процессе получения
предоставление в распоряжение пользователя уже переработанную информацию
разбиение файлов на IP- пакеты в процессе передачи и сборку Файлов в процессе получения
доставку информации от компьютера-отправителя к компьютеру-получателю
прием, передачу и выдачу одного сеанса связи
В Microsoft Access для связывания нескольких таблиц и автоматизации процесса поиска данных используются …
текстовые поля
гиперссылки
поля объектов OLE
поля первичного ключа
Для таблицы реляционной базы данных ложно утверждение, что …
все столбцы таблицы содержат однородные по типу данные
каждая запись в таблице содержит однородные по типу данные
каждый столбец таблицы имеет уникальное имя
в таблице нет двух одинаковых записей
При сохранении в файл папки документов в этот файл записывается следующее
специальная информация небольшого объема, позволяющая впоследствии создать соответствующую папку на другом компьютере, где установлена система Консультант Плюс, но только в том случае, когда на этом компьютере имеются все информационные банки, в которые входят документы из папки
тексты документов из папки в текстовом формате, что позволяет просмотреть документы через текстовый редактор
специальная информация небольшого объема, позволяющая впоследствии создать соответствующую папку на другом компьютере, где установлена система Консультант Плюс, после чего документы этой папки их тех информационных банков, которые остановлены на компьютере, можно просмотреть
тексты документов из папки в специальном формате, что позволяет впоследствии создать cоответствующую папку на другом компьютере, где установлена система Консультант Плюс, после чего документы можно просмотреть
Данные в таблицу можно вводить …
режиме конструктора таблиц
запросе
режиме Мастера таблиц
режиме таблицы
Для хранения Файлов, предназначенных для общего доступа пользователей сети, используется …
клиент-сервер
коммутатор
рабочая станция
хост-компьютер
файл-сервер
Статическая память служит базой для построения …
оперативной памяти
кэш- памяти
постоянной памяти
виртуальной памяти
Для перехода на новую строку внутри абзаца в Microsoft Word следует нажать …
Shift+Enter
Ctrl+Enter
Ctrl+End
Enter
Для создания базы данных может быть использована команда …
Browse
Create
Append
Use
Edit
Сигнатурный метод антивирусной проверки заключается в …
анализе поведения файла в разных условиях
сравнении файла с известными образцами вирусов
отправке файлов на экспертизу в компанию-производителя антивирусного средства
анализе кода на предмет наличия подозрительных команд
В науке …
существует единое и четкое понятие информации
приято определение информации, данное известным учёным-кибернетиком Н. Винером
существуют различные определения понятия информации в зависимости от области знания
отсутствует единообразное понятие информации
Обоснование целей проекта и обоснование экономической эффективности в целом проводится на этапе:
1) предынвестиционный анализ
2) планирование проекта
3) выполнения проекта
4) завершение проекта
6. Свойство адресуемости внутренней памяти заключается:
а) в хранении информации в ходе работы компьютера
б) в занесении информации в память, а также извлечение её из памяти, производится по адресам +
в) в хранении программ начальной загрузки компьютера
7. Основная память содержит:
а) КЭШ-память
б) порты ввода-вывода
в) постоянное запоминающее устройство +
8. Битовая структура определяет первое свойство внутренней памяти компьютера:
а) дискретность +
б) директива
в) фморфность
9. Оперативная память — это совокупность:
а) системных плат
б) специальных файлов
в) специальных электронных ячеек +
10. В состав внутренней памяти входит:
а) накопители на гибких магнитных дисках
б) оперативная память +
в) накопители на жестких магнитных дисках
11. Устройствами внешней памяти являются:
а) накопители на гибких магнитных дисках +
б) стриммеры
в) оперативные запоминающие устройства
12. В состав внутренней памяти входит:
а) накопители на гибких магнитных дисках
б) кэш-память +
в) накопители на жестких магнитных дисках
13. Устройствами внешней памяти являются:
а) накопители на жестких магнитных дисках +
б) стриммеры
в) плоттеры
14. В состав внутренней памяти входит:
а) накопители на жестких магнитных дисках
б) накопители на гибких магнитных дисках
в) специальная память +
15. Внешняя память используется для:
а) увеличения быстродействия микропроцессора +
б) последовательного доступа к информации
в) долговременного хранения информации
16. Кэш-памятью управляет специальное устройство:
а) контролер
б) контроллер +
в) трамблер
17. Дискеты предназначены для:
а) ввода информации с экрана
б) вывода информации на экран
в) хранения архивной информации +
18. Кэш-память реализуется на микросхемах статической памяти:
а) SCAM
б) SRAM +
в) SCRAM
19. Дискеты предназначены для:
а) вывода информации на экран
б) ввода информации с экрана
в) хранения запасных копий программ +
20. К устройствам специальной памяти относится:
а) перепрограммируемая переменная память
б) перепрограммируемая постоянная память +
в) неперепрограммируемая постоянная память
21. Винчестер предназначен для:
а) постоянного хранения информации, используемой при работе на компьютере +
б) управления работой компьютера по заданной программе
в) подключения периферийных устройств к магистрали
22. К устройствам специальной памяти относится:
а) память CMIS SRAM
б) память CMOS RAM +
в) память CMAS REM
23. Кэш-память:
а) память, в которой обрабатывается одна программа в данный момент времени
б) память, в которой хранятся системные файлы операционной системы
в) сверхоперативная память, используемая при обмене данными между процессором и ОЗУ +
24. К устройствам специальной памяти относится:
а) звуковая память
б) видеопамять +
в) нет верного ответа
25. Такая память нужна для работы системных процессов в режиме реального времени:
а) внешняя
б) оба варианта верны
в) оперативная +
26. Энергонезависимая память, используется для хранения данных, которые никогда не потребуют изменения:
а) кэш-память
б) постоянная память +
в) видеопамять
27. В целях сохранения информации CD и DVD-диски необходимо оберегать от:
а) солнечного света +
б) магнитных полей
в) ударов при установке
28. Совокупность программ, предназначенных для автоматического тестирования устройств после включения питания компьютера и загрузки операционной системы в оперативную память:
а) CMOS RAM
б) DRAM
в) BIOS +
29. В целях сохранения информации CD и DVD-диски необходимо оберегать от:
а) загрязнений +
б) магнитных полей
в) перепадов атмосферного давления
30. Память с невысоким быстродействием и минимальным энергопотреблением от батарейки:
а) SRAM
б) CMOS RAM +
в) DRAM
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
- Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.
подключение дисков в сервере
- Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
- Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
- Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
- Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
- Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.
Если рассматривать форму хранения данных, то явно выделяются следующие:
- Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
- Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
- Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.
По реализации достаточно сложно провести четкие границы, однако можно отметить:
- аппаратные, например RAID и HBA контроллеры, специализированные СХД.
RAID контроллер от компании Fujitsu
- Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Нативная S3-совместимость
Объектное хранилище — это способ хранения данных без иерархии, который обычно используется в облачной среде. В отличие от других способов хранения данных, объектное хранилище не использует иерархию каталогов. Отдельные единицы данных (объекты) сосуществуют в пуле данных на одном уровне. Каждый объект имеет уникальный идентификатор, используемый приложением для обращения к нему. Кроме того, каждый объект может содержать метаданные, получаемые вместе с ним.
Рассматривались как опенсорсные, так и коммерческие решения. Всего было опробовано (проведено стендирование и тестирование основных функций) шесть с половиной решений. В итоге выбрали Cloudian HyperStore. Вот почему.
- Гарантированная производителем 100%-я совместимость с протоколом Amazon S3 API. Cloudian гарантирует, что HyperStore имеет 100%-ю совместимость с API Amazon S3, и это позволяет нашим заказчикам, которые ранее использовали сервисы хранения Amazon или имеют решения, поддерживающие работу по S3, использовать наш сервис без каких-либо доработок или корректировок программного обеспечения.
- Масштабирование. HyperStore позволяет создать децентрализованную облачную платформу хранения данных с возможностью гранулярного управления различными политиками, например, отчётности и администрирования. Решение способно масштабироваться до тысяч узлов и миллиардов объектов в одной корзине и в кратчайшие сроки может быть гибко масштабировано до требуемого количества петабайтов.
- Безопасность и шифрование. HyperStore даёт шифровать данные при передаче и хранении. Предусмотрены функционал настройки прав доступа и логирование всех операций с файлами, а также возможность шифрования данных на стороне хранилища ключом клиента.
- Поддержка изолированных доменов (MULTI-TENANCY). Надо передавать управление ресурсами заказчику, потому что это повышает скорость исполнения базовых операций (например, завести нового пользователя, оценить объём потребляемых ресурсов и т. д.) и снижает нагрузку на службу эксплуатации, которой не надо отвлекаться на простые операции. Изначальная поддержка изолированных доменов в продукте позволяет обеспечить безопасное разделение ресурсов между клиентами и гарантировать, что пользователи не смогут своими действиями повлиять на работу других клиентов. В смысле нам не надо забивать костыли в код, и это прекрасно.
- Управление уровнем сервиса (QoS). Для каких-то клиентов требуется выделить гарантированную полосу или поток операций для соблюдения работы их сервисов, а у кого-то, наоборот, нет требований, да ещё и неоптимизированный сервис является очень «голодным» и будет «кушать» столько, сколько сможет получить.
- Динамическое резервирование с использованием Реплик и ERASURE CODING. HyperStore поддерживает несколько уровней резервирования с использованием Реплик и Erasure Coding (ЕС).
Количество реплик задаётся самостоятельно и может достигать трёх. ЕС позволяет задавать уровень резервирования в довольно широком диапазоне и дополнительно регулировать требуемый уровень надёжности.
Уровень защиты задаётся гранулярно, то есть на определённый сегмент данных, нет ограничения, что на всю систему требуется выбрать единую политику защиты. По умолчанию для нашей системы выбрана политика резервирования 5+3, что связано с текущей конфигурацией нашей платформы.
Для чего используется объектное облачное хранилище?
Возможны самые разнообразные сценарии применения данного облачного хранилища. Например, архивирование, хранение файлов и совместная работа с ними. Задачи могут быть самые разные: основное хранилище для облачных приложений, хранилище больших данных, репозиторий данных для аналитики и, конечно, их удобно применять для резервного копирования и аварийного восстановления.
Объектное хранилище можно использовать, например, в следующих сценариях: хранение резервных копий, размещение контента веб-сайтов и писем (фото, видео, файлы для скачивания), хранение записей видеонаблюдения, архивов, хранение и распространение медиа-контента (видео, музыка), а также как хранилище для систем документооборота, игрового контента, больших данных и данных IoT. Для доступа к хранилищу и загрузки данных поддерживается широкий спектр устройств.
Популярный сегодня сервис – резервное копирование в облако. Большинство систем резервного копирования можно подключать к нашему облачному хранилищу по S3 API. Поддерживается и работа со встроенными средствами резервного копирования приложений.
Еще одна типовая задача — хостинг статического контента веб-сайта. В принципе, подобное хранилище можно использовать для любых данных, которые обычно сохраняются один раз и, возможно, потребуются в будущем, будь то юридические документы, медицинские записи, цифровые активы и медиа файлы, различные документы. Например, вещательным и медиа-компаниям необходимы большие хранилища для медиа-материалов.
А что со стоимостью?
Ниже Amazon, начиная с определённого объёма потребления. То есть для среднего и крупного бизнеса — выгоднее западных решений.
Платформа стала базовой для части наших сервисов. Она существует как самостоятельная услуга для внешних заказчиков STaaS (Storage as a Service, к примеру, размещение архивов, копий или контента для интернет-сайтов), как базовое хранилище внутренних долгосрочных архивов и холодных данных, как хранилище резервных копий услуги BaaS (Backup as a Service). Конфигурация BaaS и форматы взаимодействия с объектным хранилищем достойны отдельного рассказа, если интересно — могу рассказать детали.
Текущая конфигурация платформы состоит из восьми серверов хранения Dell R730xd и двух серверов балансировки на базе HAproxy. Серверы имеют следующие характеристики:
- 2 процессора E5-2620 v4 (8 ядер, 2.1 ГГц);
- 128 ГБ ОЗУ;
- адаптер NIC (Ethernet) Intel X520 2 ports 10 Gbps;
- адаптер NIC (Ethernet) Broadcom 5720 4 ports 1 Gbps;
- 12 жёстких дисков SATA 8 Тб;
- 2 диска SSD 480 Гб.
Эта конфигурация позволяет обеспечить до 20 Gbps (на основании нагрузочного тестирования) потока данных и имеет возможность увеличения показателей за счёт масштабирования.
Сейчас есть два основных тарифа, соответствующих вариантам предоставляемого хранилища. Базовые варианты — «Горячий доступ» и «Холодный доступ». Тариф «Горячий доступ» для хранения файлов, к которым предполагается частое обращение, а также большого количества мелких файлов (
В отличие от предыдущего тарифа, «Холодный доступ», наоборот, предназначен для хранения файлов, к которым не требуется частое обращение. Как правило, это резервные копии. При выборе данных для хранения файлов используется политика хранения «Erasure Coding 5+3», то есть любой файл кодируется на восемь частей на разные серверы, причём для считывания файла достаточно любых пяти частей.
То есть один набор данных хранится в восьми разных местах и любые три из этих мест можно потерять.
При пользовании услугой «Облачное объектное хранилище» оплата может осуществляться по системе Pay as you go — в этом случае оплата осуществляется только за фактически потреблённые ресурсы согласно выбранному тарифу. Другой вариант предоставления услуги — по системе фиксированного объёма. При данной схеме использования пользователю предоставляется строго фиксированный объём дискового пространства, который он оплачивает согласно выбранному тарифу.
Немного о самих ценах:
Наименование | Цена за единицу, с НДС, руб./мес. |
---|---|
Тариф «Частый доступ» | |
Хранение информации, Гб | 1,65 |
Скачивание информации, за Гб | 2,36 |
Запросы PUT/POST, пакет по 10 000 шт. | 3,54 |
Запросы GET/HEAD, пакет по 10 000 шт. | 0,28 |
Тариф «Редкий доступ» | |
Хранение информации, Гб | 1,06 |
Скачивание информации, за Гб | 7,38 |
Запросы PUT/POST, пакет по 10 000 шт. | 7,08 |
Запросы GET/HEAD, пакет по 10 000 шт. | 0,71 |
Важно! В ближайшее время планируется пересмотр тарифной сетки в сторону снижения стоимости.
Наконец мы вплотную подошли к сравнению тарифов Amazon и Техносерв для случая, когда клиент планирует использовать Облачное Хранилище для хранения контента сайта. В данном случае целесообразнее использовать тарифы «Частый доступ» от Техносерв и Стандартное хранилище S3 от Amazon (Восток США, Северная Вирджиния).
Наименование | Техносерв | Amazon |
---|---|---|
Тариф «Частый доступ» | Amazon стандарт | |
Стоимость хранения 1 Гб информации | 1,65 | 1,45 |
Стоимость скачивания 1 Гб информации | 2,36 | 5,36 |
Стоимость пакета запросов put, 10 000 шт. | 3,54 | 3,15 |
Стоимость пакета запросов get, 10 000 шт. | 0,28 | 0,2 |
Наименование | Кол-во | Техносерв | Amazon |
Тариф «Частый доступ» | Amazon стандарт | ||
Объём хранимой в месяц информации, гб | 100 000 | 165 000 | 144 900 |
Объём скачиваемой в месяц информации, гб | 40 000 | 94 400 | 214 200 |
Количество запросов PUT в месяц, шт. | 50 000 000 | 17 700,00 | 15 750,00 |
Количество запросов GET в месяц, шт. | 40 000 000 | 1 120,00 | 1 008,00 |
Cтоимость в месяц | 278 220 | 375 858 |
Важно, что объектная хранилка презентуется не только на облако, но и для предоставления файлов наружу. В частности, это важно, когда нужна толстая труба через Интернет — сейчас через Интернет мы не можем ходить классическими корпоративными протоколами (CIFS или NFS), поскольку это превращается в цепочку гейтов-конвертеров и невероятно замедляется, особенно когда речь идёт про шифрованный VPN. Всё это почти идеально обходится объектными хранилищами. Собственно, в результате мы патчим Интернет — используем объектные протоколы для обмена. Когда нужен классический файловый доступ, можно поставить маленький клиент, который реализует протоколы CIFS или NFS и дальше презентует данные внутри компании.
Конечно, с развитием Интернета ситуация поменяется. Однажды мы поборем пережитки 80-х годов и стандарты, завязанные на ширину крупа лошади, и у нас будет быстрый обмен данными. Уже скоро. Но пока вот такой патч.
Из-за блокировок пострадал очень большой пул адресов Amazon Web Services. Кто-то испытывал только неудобства или нестабильность работы, а кто-то полностью лишался доступа к bussines-critical-системам и нёс финансовые потери. Следствием этой ситуации стали лавинообразный спрос на размещение в российских облаках и возможность использования нативных протоколов (в частности, S3), что позволило проводить миграцию без изменения систем новых заказчиков. Так что оказалось очень полезно иметь нативный S3.
Привет, Хабр! Сегодня речь пойдет о сервисах синхронизации и обмена файлами и объектные облачных хранилищах. Облачные хранилища, представленные такими сервисами как SkyDrive или Dropbox, хорошо знакомы пользователям мобильных устройств и компьютеров. В последние годы они появляются во все большем количестве. Эти сервисы пользователям позволяют легко, быстро и в любое время получить авторизованный доступ к файлам через интернет.
По данным отчета Statista, в 2017 году личное облачное хранилище в мире использовали более 1,8 миллиарда человек. Очевидное преимущество хранения данных в облаке — независимость от устройств, доступ из любого места и с любой системы. Облачное хранилище — отличный способ защитить себя от чрезвычайных ситуаций. Оно позволяет получать доступ к своим данным с другого устройства, если основное было потеряно или украдено.
AWS и совместимые с ним российские облачные хранилища для бизнеса
Хранилище данных — лишь часть Amazon Web Services (AWS), куда входят также средства управления, разработки, обеспечения безопасности и многое другое. AWS ориентирован на корпоративный сектор, но облачное хранилище файлов Amazon Glacier предоставляет пользователям бесплатно 10 Гб.
AWS характеризуют повышенная надежность, соответствие стандартам усиленной защиты данных,
неограниченная емкость (расширение за доплату), простота использования и гибкость настроек, интеграция с другими сервисами Amazon Web Services. Есть и отечественные аналоги.
«Российские» объектные хранилища, как правило, создаются на базе решений Ceph или Swift с коннекторами для S3 API. Не все они обеспечивают полную поддержку S3 API. Для пользователей это может означать проблему совместимости приложений, которые написаны с учетом полного набора команд S3, или ограниченную функциональность. S3 API поддерживается большим количеством приложений, в частности, практически всеми системами резервного копирования и системами управления контентом (CMS).
Есть и 100% совместимые с S3 сервисы. Например, объектное облачное хранилище Техносерв Cloud построено с использованием технологий S3 и поддерживает полный спектр команд S3 API, включая расширенные: управление правами доступа, аутентификацию, управление версиями, многопоточную загрузку и др. На серверах «Техносерва» развернуто программно-определяемое объектное хранилище на базе ПО Cloudian. В SDS нет единой точки отказа, резервируются все компоненты. Заявленный уровень надежности физической платформы — 99,999999%. Для доступа к облачному хранилищу используется интернет или защищенный VPN-канал, соединяющий облако провайдера с офисом или дата-центром клиента.
Преимущества облачного хранения для бизнеса
Экономия затрат на ИТ | Собственные СХД требуют постоянного обслуживания, а это означает, что компания должна иметь ИТ-персонал. Благодаря облачному хранилищу компании могут сэкономить много денег на обслуживании, так как их серверы и СХД находятся под контролем сторонних поставщиков. Благодаря аутсорсингу хранилищ данных компании экономят на капитальных и эксплуатационных расходах. Эти деньги можно использовать для развития и расширения бизнеса. |
Гибкость бизнес-процессов | Согласно недавним опросам опросу, 79% респондентов уже частично работают вне своего офиса, а еще 60% перейдут на удаленную работу, если получат такую возможность. Облачные сервисы хранения обеспечивают такую гибкость для сотрудников. |
Расширенные возможности коллективной работы | Сотрудникам часто приходится совместно работать над проектами и общаться с коллегами по всему миру. Облачные инструменты облегчают сотрудничество и управление документами. Они позволяют пользователям получать доступ к последним версиям любого документа. |
Защита данных | Данные хранятся в нескольких местах и остаются доступными в случае аварий и сбоев. |
Все ли так «безоблачно»?
Аналитики предсказывают, что к 2020 году рынок облачного хранения вырастет до 3,5 млрд. долл. при ежегодном росте в 31%. Пользователи и компании выбирают онлайн-хранилища, потому что это удобно, удобно, безопасно и экономично. Они хранят свои файлы в таких облаках как Amazon S3, Google Cloud Storage и Dropbox — зависимости от их потребностей. Хотя Amazon лидирует по популярности, Azure и Dropbox опережают его по темпам роста.
Облачные хранилища становится все дешевле по мере снижения цен на оборудование хранения данных в сочетании с экономией на масштабе платформы. Более 75% коммерческих компаний используют публичные облачные сервисы для передачи и хранения важной коммерческой информации (по данным исследования Symantec). При этом 40% из них столкнулись с раскрытием данных компании, содержащих конфиденциальную информацию. Еще 40% сообщили о потере данных, хранимых в облаке, и вынуждены были восстанавливать их из резервных копий.
Между тем, согласно отчету DN Capital, лишь за последние два года было создано 90% мировых данных. С ростом мобильного и пользовательского контента, развитием широкополосного доступа (включая 4G/5G) нет причин ожидать, что эти темпы будут замедляться. А значит – у облачных хранилищ большое будущее.
Сервисы синхронизации и обмена файлами
Большая часть таких облачных сервисов имеет дополнительные функции — средства просмотра файлов, встроенные редакторы документов, инструменты создания скриншотов и т. п. Наряду с предоставляемой бесплатно или платно емкостью хранения они и составляют их главные отличия. Объединяет эти сервисы то, что многие из них хранят файлы в известных мощных и масштабируемых объектных хранилищах.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
У нас есть набор систем хранения как традиционных, так и программно определяемых. Они используются в формате блочных хранилищ для хранения виртуальных машин, баз данных и других ресурсов.
На втором этапе мы стали использовать объектное хранение, то есть хранение без иерархии каталогов. Все данные лежат на одном уровне, и каждый файл может быть доступен по своему ключу. Метаданные хранятся рядом с файлом. Для доступа используются простые команды уровня PUT — GET — MODIFY, есть возможность обратиться к каждому файлу по собственному URI, обеспечены лёгкость управления правами и лёгкость размещения самых разных данных и доступа к ним.
Минус данных решений — невозможность обращения к части (сегменту) файла, поэтому для приложений вроде баз данных такие хранилища не используются. Оптимальное применение — сложить туда картинки веб-сайта, файловую помойку, архивы или бэкап данных. На базе объектного хранилища мы построили свой S3 — систему хранения не очень часто изменяемых данных. С прямой совместимостью с Amazon S3.
А ещё классические протоколы доступа, использующиеся внутри компаний для файлового доступа (CIFS или NFS), не предназначены для обмена большими данными через сеть Интернет. Это ещё одна из причин, почему и зачем мы создали своё объектное хранилище.
Стояла задача сделать его не просто работающим отовсюду, но и дешёвым.
Облачные хранилища для бизнеса
Публичные облачные сервисы хранения привлекают сегодня внимание не только малого и среднего бизнеса, но и крупных компаний. Конечно, к таким хранилищам предъявляются особые требования. Ключевые факторы облачного хранения корпоративного класса — не только стоимость сервиса, но и его надежность, безопасность, управляемость и удобство администрирования, скорость доступа к данным в облаке.
Такое хранилище предполагает размещение данных на распределенных серверах. Данные резервируются, хранятся на нескольких серверах в защищенных ЦОД с высоким уровнем надежности и на нескольких площадках. Высокая надежность достигается, например, за счет автоматического создания нескольких реплик данных на отдельных независимых серверах. Надежность на уровне Tier III означает, что SLA гарантирует доступность 99,98% времени.
Таким образом, облачные хранилища для бизнеса позволяют достаточно надежно и недорого хранить данные, обеспечивать доступ к ним вне зависимости от местонахождения, легко масштабировать ресурсы. Сокращаются затраты на создание и техническое обслуживание ИТ-инфраструктуры, сервис помогает повысить гибкость бизнес-процессов.
Нет необходимости приобретать собственные СХД и прочее инфраструктурное оборудование, нести расходы по его администрированию, обновлению, обеспечению безопасности. Постоянный доступ к облачному хранилищу означает, что с данными и файлами можно работать в любое время и из любого места. Сотрудники могут быстрее и проще получать необходимую информацию, обмениваться данными при совместной деятельности, работать с общими документами. Предусматривается шифрование при передаче и хранении данных, настройка прав доступа, регистрация операций с файлами, мониторинг, защита от угроз.
В настоящее время сервисы облачного хранилища предлагают крупнейшие российские хостинг-провайдеры, системные интеграторы и операторы связи. Внешне они мало отличается друг от друга: настраиваемая пользователем структура папок и файлов, возможность настройки доступа, схожий интерфейс. Однако их внутренняя архитектура и предлагаемые возможности различаются.
Тарифицируются подобные сервисы по принципу фактического использования или по доступной емкости хранения. Как правило, скачивание данных у российских сервисов обходится в разы выгоднее предложений зарубежных поставщиков. Кроме того, у них более низкая задержка при доступе к данным, которые находятся ближе к клиенту. Еще одно преимущество отечественных сервисов облачного хранения — соблюдение требований хранения данных на территории России. В соответствии с 152-ФЗ «О персональных данных» некоторые данные должны храниться на территории РФ.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
С чего началось
Когда заказчики начали массово мигрировать с западных облачных провайдеров в Россию, была очень востребована совместимость с Amazon API. В частности, для хранения данных. У очень многих прикладное ПО было написано для работы с объектными хранилищами и пользовалось их универсальностью, то есть работало с файлами как файлами и не особо заморачивалось, откуда они приходят и где лежат. Естественно, переписывать свой софт из-за нового облачного провайдера никто не торопился. Поэтому была нужна объектная система хранения данных.
Процесс развития портфеля услуг можно сравнить со строительством дома. Сначала закладывается фундамент, необходимый для твёрдой основы и последующего строительства комнат, этажей, балкона, гаража и т. д. Так же и портфель услуг формируется постепенно. С появлением новых услуг всё чаще появлялись вопросы по организации хранения. Заказчики спрашивали:
— У нас отчётность хранится годами. Можно что-то придумать, чтобы хранить её дешевле?
— Мы используем write-only-бэкап. В смысле за пять лет его ни разу не использовали. Можно его хранить дешевле?
— А можно бэкап пойдёт автоматически, но храниться будет не в общей хранилке?
— А у вас можно просто хранить данные? А то у нас есть фотобанк для маркетинга, который…
И внутренний вопрос был в том, можно ли сделать горизонтально масштабируемую платформу. Для решения мы сделали отдельное хранилище, которое ориентировано на низкую стоимость хранения, доступ к данным как изнутри облака Техносерв, так и через Интернет. Ещё решение имеет интерфейс предоставления доступа, уже принятый рынком, имеющий поддержку в продуктах, используемых нашими заказчиками. Читай — S3. Потому что были реальные запросы.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Объектные облачные хранилища
Другую категорию сервисов представляют объектные хранилища, например, Amazon S3, Google Cloud Storage, Microsoft Blobs Storage. Эти высоконадежные хранилища предназначены для хранения большого количества файлов и сотен петабайт данных. Именно их используют многие сервисы синхронизации и обмена файлами. Оба вида сервисов пользуются растущим спросом.
Файлы в объектном хранилище сопровождаются мета-данными, которые позволяют обрабатывать эти файлы как объекты: документы, видеозаписи, проекты, фотографии и т. п. Это востребованная услуга, применяемая в самых разных приложениях. Для взаимодействия с облачным объектным хранилищем используется программный интерфейс (API).
Согласно оценкам, в мире в объектных хранилищах сейчас содержится до половины контента интернета. И до 50% сервисов синхронизации и обмена файлами хранят данные в Amazon S3 — объектном хранилище неограниченной емкости с простым Web-интерфейсом. Основной протокол доступа к нему — S3 API, созданный Amazon Web Services для сервиса AWS S3 (Simple Storage Service).
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Читайте также: