Что служит для хранения данных в компьютере
Компью́терная па́мять (устройство хранения информации, запоминающее устройство) — часть вычислительной машины, физическое устройство или среда для хранения данных, используемых в вычислениях, в течение определённого времени. Память, как и центральный процессор, является неизменной частью компьютера с 1940-х. Память в вычислительных устройствах имеет иерархическую структуру и обычно предполагает использование нескольких запоминающих устройств, имеющих различные характеристики.
В персональных компьютерах «памятью» часто называют один из её видов — динамическая память с произвольным доступом (DRAM), — которая в настоящее время используется в качестве ОЗУ персонального компьютера.
Задачей компьютерной памяти является хранение в своих ячейках состояния внешнего воздействия, запись информации. Эти ячейки могут фиксировать самые разнообразные физические воздействия (см. ниже). Они функционально аналогичны обычному электромеханическому переключателю и информация в них записывается в виде двух чётко различимых состояний — 0 и 1 («выключено»/«включено»). Специальные механизмы обеспечивают доступ (считывание, произвольное или последовательное) к состоянию этих ячеек.
Процесс доступа к памяти разбит на разделённые во времени процессы — операцию записи (сленг. прошивка, в случае записи ПЗУ) и операцию чтения, во многих случаях эти операции происходят под управлением отдельного специализированного устройства — контроллера памяти.
Также различают операцию стирания памяти — занесение (запись) в ячейки памяти одинаковых значений, обычно 0016 или FF16.
Наиболее известные запоминающие устройства, используемые в персональных компьютерах: модули оперативной памяти (ОЗУ), жёсткие диски (винчестеры), дискеты (гибкие магнитные диски), CD- или DVD-диски, а также устройства флеш-памяти.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Звуковые устройства
Динамики воспроизводят звуки. Они могут быть встроены в системный блок или подключены с помощью кабелей. Динамики позволяют слушать музыку и слышать звуковые эффекты.
Назначение
- Буферная память (англ.buffer storage ) — память, предназначенная для временного хранения данных при обмене ими между различными устройствами или программами.
- Временная (промежуточная) память (англ.temporary (intermediate) storage ) — память для хранения промежуточных результатов обработки.
- Кеш-память (англ.cache memory ) — часть архитектуры устройства или программного обеспечения, осуществляющая хранение часто используемых данных для предоставления их в более быстрый доступ, нежели кешируемая память.
- Корректирующая память (англ.patch memory ) — часть памяти ЭВМ, предназначенная для хранения адресов неисправных ячеек основной памяти. Также используются термины relocation table и remap table.
- Управляющая память (англ.control storage ) — память, содержащая управляющие программы или микропрограммы. Обычно реализуется в виде ПЗУ.
- Разделяемая память или память коллективного доступа (англ.shared memory, shared access memory ) — память, доступная одновременно нескольким пользователям, процессам или процессорам.
До изобретения письменности
До того, как появилось то, что можно без сомнения назвать письменностью, основным способом сохранить важные факты была устная традиция. В такой форме передавались социальные обычаи, важные исторические события, личный опыт или творчество рассказчика. Эту форму сложно переоценить, она продолжала процветать вплоть до средних веков, далеко после появления письменности. Несмотря на неоспоримую культурную ценность, устная форма — эталон неточности и искажений. Представьте себе игру в «испорченный телефон», в которую люди играют на протяжении нескольких столетий. Ящерицы превращаются в драконов, люди обретают песьи головы, а достоверную информацию о быте и нравах целых народностей невозможно отличить от мифов и легенд.
Боян
Компьютерная клавиатура
Клавиатура используется в основном для ввода в компьютер. Как и на клавиатуре пишущей машинки, на ней есть клавиши с буквами и цифрами, но также и специальные клавиши:
- Функциональные клавиши, расположенные в верхнем ряду, выполняющих различные функции в зависимости от того, где они используются.
- Цифровая клавиатура расположена с правой стороны большинства клавиатур, позволяет быстро вводить цифры.
- Навигационные клавиши, например клавиши со стрелками, позволяют перемещаться по документу или веб-странице.
Также с помощью клавиатуры можно выполнить множество действий, выполняемых мышью. Дополнительные сведения см. Использование клавиатуры.
Организация адресного пространства
- Реальная или физическая память (англ.real (physical) memory ) — память, способ адресации которой соответствует физическому расположению её данных;
- Виртуальная память (англ.virtual memory ) — память, способ адресации которой не отражает физического расположения её данных;
- Оверлейная память (англ.overlayable storage ) — память, в которой присутствует несколько областей с одинаковыми адресами, из которых в каждый момент доступна только одна.
От Гутенберга до лампы
Попытки упростить и ускорить набор текста с помощью комплектов заранее отлитых словоформ или букв и ручного пресса предпринимали еще в Китае в 11 веке. Почему же мы мало знаем об этом и привыкли считать родиной печати Европу? Распространению наборной печати в Китае помешала их собственная сложная письменность. Производство литер для полноценной печати на китайском было слишком трудоемким.
Благодаря Гутенбергу же, у книг появилось понятие экземпляра. Библия Гутенберга была отпечатана 180 раз. 180 копий текста, и каждая копия повышает вероятность, что пожары, наводнения, ленивые переписчики, голодные грызуны не будут помехой для будущих поколений читателей.
Печатный станок Гутенберга
Ручной пресс и ручной подбор литер, однако, не являются, конечно, оптимальным по скорости и трудозатратам процессом. С каждым столетием человеческое общество стремилось не только найти способ сохранить информацию, но и распространить ее как можно более широкому кругу лиц. С развитием технологий, эволюционировала как печать, так и производство копий.
Ротационная печатная машина была изобретена в конце девятнадцатого века, и ее вариации используются вплоть до сегодняшнего дня. Эти махины, с непрерывно вращающимися валами, на которых закреплены печатные формы, были квинтэссенцией индустриального подхода и символизировали очень важный этап в информационном развитии человечества: информация стала массовой, благодаря газетам, листовкам и подешевевшим книгам.
Массовость, однако, не всегда идет на пользу конкретному кусочку информации. Основной носитель, бумага и чернила, все так же подвержены износу, ветхости, утере. Библиотеки, полные книг по всем возможным областям человеческих знаний, становились все более объемны, занимая огромные пространства и требуя все больше ресурсов для своего обслуживания, каталогизации и поиска.
Очередной сдвиг парадигмы в сфере хранения информации произошел после изобретения фотопроцесса. Нескольким инженерам пришла в голову светлая мысль, что миниатюрные фотокопии технических документов, статей и даже книг могут продлить исходникам жизнь и сократить необходимое для их хранения место. Получившиеся в результате подобного мыслительного процесса микрофильмы (миниатюрные фотографии и оборудование для их просмотра) вошли в обиход в финансовых, технических и научных кругах в 20-х годах двадцатого века. У микрофильма много плюсов — этот процесс сочетает в себе легкость копирования и долговечность. Казалось, что развитие способов хранения информации достигло своего апогея.
Микроплёнка, используется до сих пор
Метод доступа
-
(англ.sequential access memory, SAM ) — ячейки памяти выбираются (считываются) последовательно, одна за другой, в очерёдности их расположения. Вариант такой памяти — стековая память. (англ.random access memory, RAM ) — вычислительное устройство может обратиться к произвольной ячейке памяти по любому адресу.
Доступные операции с данными
- Память только для чтения (read-only memory, ROM)
- Память для чтения/записи
Память на программируемых и перепрограммируемых ПЗУ (ППЗУ и ПППЗУ) не имеет общепринятого места в этой классификации. Её относят либо к подвиду памяти «только для чтения» [1] , либо выделяют в отдельный вид.
Также предлагается относить память к тому или иному виду по характерной частоте её перезаписи на практике: к RAM относить виды, в которых информация часто меняется в процессе работы, а к ROM — предназначенные для хранения относительно неизменных данных. [1]
От перфокарт и магнитных лент к современным ЦОДам
Инженерные умы пытались придумать универсальный метод обработки и хранения информации еще с 17-го века. Блез Паскаль, в частности, заметил, что если вести вычисления в двоичной системе счисления, то математические закономерности позволяют привести решения задач в такой вид, который делает возможным создание универсальной вычислительной машины. Его мечта о такой машине осталась лишь красивой теорией, однако, спустя века, в середине 20-го века, идеи Паскаля воплотились в железе и породили новую информационную революцию. Некоторые считают, что она все еще продолжается.
То, что сейчас принято называть «аналоговыми» методами хранения информации, подразумевает, что для звука, текста, изображений и видео использовались свои технологии фиксации и воспроизведения. Компьютерная память же универсальна — все, что может быть записано, выражается с помощью нулей и единиц и воспроизводится с помощью специализированных алгоритмов. Самый первый способ хранения цифровой информации не отличался ни удобством, ни компактностью, ни надежностью. Это были перфокарты, простые картонки с дырками в специально отведенных местах. Гигабайт такой «памяти» мог весить до 20 тонн. В такой ситуации сложно было говорить о грамотной систематизации или резервном копировании.
Перфокарта
Компьютерная индустрия развивалась стремительно и быстро проникала во все возможные области человеческой деятельности. В 50-х годах инженеры «позаимствовали» запись данных на магнитную ленту у аналоговой аудио и видеозаписи. Стримеры с кассетами объемом до 80 Мб использовались для хранения и резервного копирования данных вплоть до 90-х годов. Это был неплохой способ с относительно продолжительным сроком хранения (до 50 лет) и небольшим размером носителя? Кроме того, удобство их использования и стандартизация форматов хранения данных ввела понятие резервного копирования в бытовой обиход.
Один из первых жёстких дисков IBM, 5 МБ
У магнитных лент и систем, связанных с ними, есть один серьезный недостаток — это последовательный доступ к данным. То есть, чем дальше запись находится от начала ленты, тем больше времени потребуется для того, чтобы ее прочитать.
В 70-х годах 20-го века был произведен первый «жесткий диск» (HDD) в том формате, в котором он знаком нам сегодня — комплект из нескольких дисков с намагничивающимся материалом и головками для чтения/записи. Вариации этой технологии используются и сегодня, постепенно уступая в популярности твердотельным накопителям (SSD). Начиная с этого момента, в течении всего компьютерного бума 80-х формируются основные парадигмы хранения, защиты и резервного копирования информации. Благодаря массовому распространению бытовых и офисных компьютеров, не обладающих большим объемом памяти и вычислительной мощности, укрепилась модель «клиент-сервер». По началу «сервера» были по большей части локальными, своими для каждой организации, института или фирмы. Не было какой-то системы, правил, информация дублировалась в основном на дискеты или магнитные ленты.
Появление интернета, однако, подстегнуло развитие систем хранения и обработки данных. В 90-х годах, на заре «пузыря доткомов» начали появляться первые дата-центры, или ЦОД-ы (центры обработки данных). Требования к надежности и доступности цифровых ресурсов росли, вместе с ними росла сложность их обеспечения. Из специальных комнат в глубине предприятия или института дата-центры превратились в отдельные здания со своей хитрой инфраструктурой. В то же время, у ЦОД-ов кристаллизовалась своего рода анатомия: сами компьютеры (серверы), системы связи с интернет-провайдерами и все, что касается инженерных коммуникаций (охлаждение, системы пожаротушения и физического доступа в помещения).
Чем ближе к сегодняшнему дню, тем больше мы зависим от данных, хранящихся где-то в «облаках» ЦОД-ов. Банковские системы, электронная почта, онлайн-энциклопедии и поисковые движки — все это стало новым стандартом жизни, можно сказать, физическим продолжением нашей собственной памяти. То, как мы работаем, отдыхаем и даже лечимся, всему этому можно навредить простой утерей или даже временным отключением от сети. В двухтысячных годах были разработаны стандарты надежности дата центров, от 1-го до 4-го уровня.
Тогда же из космической и медицинской отраслей начали активно проникать технологии резервирования. Конечно, копировать и размножать информацию с тем, чтобы защитить ее в случае уничтожения оригинала люди умели давно, но именно дублирование не только носителей данных, но и различных инженерных систем, а также необходимость предусматривать точки отказала и возможных человеческих ошибок отличает серьезные ЦОДы. Например, ЦОД, принадлежащий к Tier I будет лишь ограниченную избыточность хранения данных. В требования к Tier II уже прописано резервирование источников питания и наличие защиты от элементарных человеческих ошибок, а Tier III предусматривает резервирование всех инженерных систем и защиту от несанкционированного проникновения. Наконец, высший уровень надежности ЦОДа, четвертый, требует дополнительное дублирование всех резервных систем и полное отсутствие точек отказа. Кратность резервирования (сколько именно резервных элементов приходится на каждый основной) обычно обозначается буквой M. Со временем требования к кратности резервирования только росли.
Построить ЦОД уровня надежности TIER-III, — это проект, с которым справится только исключительно квалифицированная компания. Такой уровень надежности и доступности означает, что, как инженерные коммуникации, так и системы связи дублированы, и дата-центр имеет право на простой только в количестве около 90 минут в год.
У нас в Safedata такой опыт есть: в январе 2014 года в рамках сотрудничества с Российским Научным Центром «Курчатовский Институт» нами был введен в эксплуатацию второй дата-центр SAFEDATA — Москва-II, который также отвечает требованиям уровня TIER 3 стандарта TIA-942, ранее же (2007-2010) мы построили дата-центр Москва-I, который отвечает требованиям уровня TIER 3 стандарта TIA-942 и относится к категории центров хранения и обработки данных с защищенной сетевой инфраструктурой.
Мы видим, что в IT происходит еще одна смена парадигмы, и связана она с data science. Обработка и хранение больших объемов данных становятся актуальны как никогда. В каком-то смысле, любой бизнес должен быть готов стать немного учеными: вы собираете огромное количество данных о ваших клиентах, обрабатываете их и получаете для себя новую перспективу. Для реализации таких проектов потребуется аренда большого количества мощных серверных машин и эксплуатация будет не самой дешевой. Либо, возможно, ваша внутренняя ИТ-система настолько сложна, что на поддержание ее уходит слишком много ресурсов компании.
В любом случае, для каких бы целей вам не понадобились значительные вычислительные мощности, у нас есть услуга «Виртуального ЦОДа». Инфраструктура как сервис — не новое направление, однако мы выгодно отличаемся целостным подходом, начиная от специфически ИТ-шных проблем, вроде переноса корпоративных ресурсов в «Виртуальный ЦОД», до юридических, таких как консультация по актуальному законодательству РФ в сфере защиты данных.
Развитие информационных технологий похоже на беспощадно несущийся вперед поезд, не все успевают запрыгнуть в вагон когда им предоставляется возможность. Где-то до сих пор используют бумажные документы, в старых архивах хранятся сотни не оцифрованных микрофильмов, государственные органы могут до сих пор использовать дискеты. Прогресс никогда не бывает линейно-равномерным. Никто не знает, сколько важных вещей мы в результате навсегда потеряли и какое количество часов было потрачено из-за до сих пор не вполне оптимальных процессов. Зато мы в Safedata знаем, как не допустить пустых трат и невосполнимых потерь конкретно в вашем случае.
Если вы используете ноутбук, то, наверное, уже знаете, что не существует отдельной составляющей, которая называется «компьютер».
Компьютер – это действительно система из многих составляющих, которые работают вместе. Материальные части, к которым можно прикоснуться и которые можно увидеть, называют оборудованием. Программным обеспечением называют инструкции или программы, которые предписывают оборудованию, что следует делать.
На иллюстрациях ниже показано самое распространенное оборудование настольного компьютера. Ваша система может выглядеть немного иначе, но, наверное, имеет большинство из этих составляющих. Ноутбук имеет подобные составляющие, но они содержатся в одном корпусе размером с тетрадь.
Посмотрим на каждую составляющую.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Энергозависимость
- Энергонезависимая память (англ.nonvolatile storage ) — память, реализованная ЗУ, записи в которых не стираются при снятии электропитания. К этому типу памяти относятся все виды памяти на ПЗУ и ППЗУ;
- Энергозависимая память (англ.volatile storage ) — память, реализованная ЗУ, записи в которых стираются при снятии электропитания. К этому типу памяти относятся память, реализованная на ОЗУ, кэш-память.
- Статическая память (англ.static storage ) — энергозависимая память, которой для хранения информации достаточно сохранения питающего напряжения;
- Динамическая память (англ.dynamic storage ) — энергозависимая память, в которой информация со временем разрушается (деградирует), и, кроме подачи электропитания, необходимо производить её периодическое восстановление (регенерацию).
Содержание
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Принтер для компьютера
Есть два основных типа принтеров – струйные и лазерные. Струйные принтеры популярные для домашнего использования.
Они могут печатать черно-белые или полноцветные изображения, а в случае использования специальной бумаги – даже фотографии высокого качества. Лазерные принтеры быстрее и рассчитаны на интенсивное использование.
От клинописи до печатного станка
Для большинства историков рождении цивилизации с большой буквы неотрывно связано с появлением письменности. Согласно распространенным теориям, цивилизация в современном ее понимании появляется в результате создания излишков пищи, разделения труда и появления торговли. В долине Тигра и Евфрата произошло именно это: плодородные поля дали почву торговле, а коммерция, в отличии от эпоса, требует точности. Было это примерно в 2700 г. до нашей эры, то есть 4700 лет назад. Львиная доля шумерских табличек с клинописью заполнены бесконечным рядом торговых транзакций. Не все, конечно, так банально, например, расшифровка шумерской клинописи сохранила для нас старейшую на данный момент литературную работу — «Эпос о Гильгамеше».
Глиняная табличка с клинописьюКлинопись, определенно, была отличным изобретением. Глиняные таблички неплохо сохранились, что уж говорить о клинописи, выбитой на камне. Но у клинописи есть однозначный минус — скорость, и физический (не в мегабайтах) вес итоговых «документов». Представьте, что вам нужно срочно написать и доставить несколько счетов в соседний город. С глиняными табличками такая работа может стать в буквальном смысле неподъемной.
Во многих странах, от Египта до Греции, человечество искало способы быстро, удобно и надежно фиксировать информацию. Все больше люди приходили к той или иной вариации тонких листов органического происхождения и контрастных «чернил». Это решало проблему с со скоростью и, так сказать, «емкостью» на килограмм веса. Благодаря пергаменту, папирусу и, в конечном счете, бумаге человечество получило свою первую информационную сеть: почту.
Однако, с новыми преимуществами пришли новые проблемы: все, что написано на материалах органического происхождения имеет свойство разлагаться, выцветать, да и просто гореть. В эпоху от темных веков вплоть до изобретения печатного пресса большим и важным делом было копирование книг: буквальное переписывание набело, буква за буквой. Если представить сложность и трудоемкость этого процесса, легко понять, почему чтение и письмо оставались привилегией очень узкой прослойки монашества и знатных людей. Однако в середине пятнадцатого века произошло то, что можно назвать Первой Информационной Революцией.
Функции памяти
Компьютерная память обеспечивает поддержку одной из функций современного компьютера, — способность длительного хранения информации. Вместе с центральным процессором запоминающее устройство являются ключевыми звеньями так называемой архитектуры фон Неймана, — принципа, заложенного в основу большинства современных компьютеров общего назначения.
Первые компьютеры использовали запоминающие устройства исключительно для хранения обрабатываемых данных. Их программы реализовывались на аппаратном уровне в виде жёстко заданных выполняемых последовательностей. Любое перепрограммирование требовало огромного объёма ручной работы по подготовке новой документации, перекоммутации, перестройки блоков и устройств и т. д. Использование архитектуры фон Неймана, предусматривающей хранение компьютерных программ и данных в общей памяти, коренным образом переменило ситуацию.
Любая информация может быть измерена в битах и потому, независимо от того, на каких физических принципах и в какой системе счисления функционирует цифровой компьютер (двоичной, троичной, десятичной и т. п.), числа, текстовая информация, изображения, звук, видео и другие виды данных можно представить последовательностями битовых строк или двоичными числами. Это позволяет компьютеру манипулировать данными при условии достаточной ёмкости системы хранения (например, для хранения текста романа среднего размера необходимо около одного мегабайта).
К настоящему времени создано множество устройств, предназначенных для хранения данных, основанных на использовании самых разных физических эффектов. Универсального решения не существует, у каждого имеются свои достоинства и свои недостатки, поэтому компьютерные системы обычно оснащаются несколькими видами систем хранения, основные свойства которых обуславливают их использование и назначение.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
Наше время часто называют информационным веком. Однако информация была критически важна для рода человеческого на протяжении всего его существования. Человек никогда не был самым быстрым, самым сильным и выносливым животным. Своим положением в пищевой цепи мы обязаны двум вещам: социальности и способности передавать информацию более чем через одно поколение.
То, как информация хранилась и распространялась сквозь века, продолжает оставаться буквально вопросом жизни и смерти: от выживания племени и сохранения рецептов традиционной медицины до выживания вида и обработки сложных климатических моделей.
Посмотрите на инфографику (кликабельна для просмотра в полной версии). Она отображает эволюцию устройств хранения данных, и масштабы действительно впечатляют. Однако эта картинка далека от совершенства — она охватывает каких-то несколько десятилетий истории человечества, уже живущего в информационном обществе. А между тем данные накапливались, транслировались и хранились с того момента, откуда нам известна история человечества. Сперва это была обычная человеческая память, а в недалёком будущем мы уже ждём хранения данных в голографических слоях и квантовых системах. На Хабре уже неоднократно писали про историю магнитных накопителей, перфокарты и диски размером с дом. Но ещё ни разу не было проделано путешествие в самое начало, когда не было железных технологий и понятия данных, но были биологические и социальные системы, которые научились накапливать, сохранять, транслировать информацию. Попробуем сегодня прокрутить всю историю в рамках одного поста.
Источник изображения: FlickrУдалённость и доступность для процессора
-
Первичная память (сверхоперативная, СОЗУ) — доступна процессору без какого-либо обращения к внешним устройствам. Данная память отличается крайне малым временем доступа и тем, что неадресуема для программиста.
- Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.
- Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.
- Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
- Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
- Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
- Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.
- Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
- Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
- Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.
- аппаратные, например RAID и HBA контроллеры, специализированные СХД.
- Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS
-
(процессорная или регистровая память) — регистры, расположенные непосредственно в АЛУ; — кэш, используемый процессором для уменьшения среднего времени доступа к компьютерной памяти. Разделяется на несколько уровней, различающихся скоростью и объёмом (например, L1, L2, L3).
Положение структур данных, расположенных в основной памяти, в этой классификации неоднозначно. Как правило, их вообще в неё не включают, выполняя классификацию с привязкой к традиционно используемым видам ЗУ. [2]
Международный рынок гипермасштабируемых дата-центров растет с ежегодными темпами в 11%. Основные «драйверы» — предприятия, подключенные устройства и пользователи — они обеспечивают постоянное появление новых данных. Вместе с объемом рынка растут и требования к надежности хранения и уровню доступности данных.
Ключевой фактор, влияющий на оба критерия — системы хранения. Их классификация не ограничивается типами оборудования или брендами. В этой статье мы рассмотрим разновидности хранилищ — блочное, файловое и объектное — и определим, для каких целей подходит каждое из них.
/ Flickr / Jason Baker / CCМонитор для компьютера
Монитор представляет информацию визуально с помощью текста и графики (Графический интерфейс). Часть монитора, на котором отображается информация, называется экран. Как и телевизионный экран, компьютерный экран может отображать статичные изображения или видео.
На данный момент используются два основных типа мониторов: ЭЛТ (электронно-лучевая трубка) и ЖК-монитор (ЖК). Оба типа предоставляют четкое изображение, но преимущество ЖК-мониторов в том, что они тоньше и легче.
Устройства чтения компакт- и DVD-дисков
Почти все компьютеры сегодня оборудованы устройствами чтения компакт- и DVD-дисков, которые обычно расположены на передней панели системного блока. С помощью лазеров устройства чтения компакт-дисков считывают (получают) данные с компакт-диска, много таких устройств могут еще и записывать на компакт-диски данных.
Если у вас есть устройство записи дисков, можно хранить копии файлов на чистых компакт-дисках. Также можно использовать устройство чтения компакт-дисков, воспроизведение на компьютере музыкальные компакт-диски.
Устройства чтения DVD выполняют все функции устройств чтения компакт-дисков и, кроме того, читают DVD-диски. Если в компьютере есть устройство чтения DVD-дисков, то можно просматривать фильмы. Многие устройства чтения DVD-дисков могут записывать данные на пустые DVD-диски.
Если у вас есть устройство записи компакт- или DVD-дисков, периодически делайте резервные копии важных файлов на компакт-или DVD-дисках. Если жесткий диск выйдет из строя, вы сохраните важные данные.
Накопитель на гибких дисках
Накопители на гибких дисках хранят информацию на гибких дисках, которые также называют дискетами. По сравнению с компакт- и DVD-дисками, дискеты могут хранить небольшое количество данных.
Также они медленнее записываются и более устойчивы к повреждениям. Именно поэтому накопители на гибких дисках менее популярны, чем прежде, хотя в некоторых компьютерах они все еще используются.
Почему эти диски называют гибкими? Внешнюю ее часть сделана из твердого пластика, и это только обложка. Сам диск сделан из тонкого и гибкого винила.
Физические основы функционирования
В основе работы запоминающего устройства может лежать любой физический эффект, обеспечивающий приведение системы к двум или более устойчивым состояниям. В современной компьютерной технике часто используются физические свойства полупроводников, когда прохождение тока через полупроводник или его отсутствие трактуются как наличие логических сигналов 0 или 1. Устойчивые состояния, определяемые направлением намагниченности, позволяют использовать для хранения данных разнообразные магнитные материалы. Наличие или отсутствие заряда в конденсаторе также может быть положено в основу системы хранения. Отражение или рассеяние света от поверхности CD, DVD или Blu-ray-диска также позволяет хранить информацию.
Системный блок компьютера
Системный блок – это ядро компьютерной системы. Обычно это прямоугольная коробка, расположенная на столе или под ним. В ней много электроники, которая обрабатывает информацию. Важнейший из этих компонентов – центральный процессор (ЦП), или микропроцессор, является «мозгом» компьютера.
Еще один компонент – оперативная память (ОЗУ), временно хранит информацию, которую использует центральный процессор, когда компьютер включен. После выключения компьютера все данные из оперативной памяти стираются.
Почти каждая другая составляющая компьютера соединяется с системным блоком с помощью кабелей. Кабели подключаются в специальные порты (гнезда), обычно на задней панели системного блока. Оборудование, которое не входит в состав системного блока, иногда называют периферийными устройствами или просто устройствами.
Системы хранения данных на компьютере
В компьютере имеется один или несколько накопителей – устройств, которые хранят информацию на металлическом или пластиковом диске. Информация на диске сохраняется, даже когда компьютер выключен.
Компьютерная мышь или манипулятор
Компьютерная мышь – это небольшое устройство, которое используется, чтобы выбирать или указывать на объекты на экране компьютера. Хотя мыши бывают разных форм, типичная мышь действительно напоминает живую мышку. Она маленькая, продолговатая и соединена с системным блоком при помощи длинного провода, который напоминает хвост. Некоторые новые модели мышей беспроводные.
Обычно мышь имеет две кнопки: основную (обычно расположена слева) и вспомогательную. Многие мыши также имеют колесико между двумя кнопками, которое позволяет плавно прокручивать страницы.
При перемещении мыши рукой, на экране в том же направлении движется указатель. (Вид указателя может изменяться в зависимости от его расположения на экране.)
Чтобы выбрать объект, следует навести на него указатель и щелкнуть (нажать и отпустить) основную кнопку. Основной способ взаимодействия с компьютером – это наведение указателя мыши на соответствующий элемент и нажатия основной кнопки. Дополнительные сведения см. Использование мыши.
Применимость систем хранения разных типов
Блочные хранилища
Блочные хранилища обладают набором инструментов, которые обеспечивают повышенную производительность: хост-адаптер шины разгружает процессор и освобождает его ресурсы для выполнения других задач. Поэтому блочные системы хранения часто используются для виртуализации. Также хорошо подходят для работы с базами данных.
Недостатками блочного хранилища являются высокая стоимость и сложность в управлении. Еще один минус блочных хранилищ (который относится и к файловым, о которых далее) — ограниченный объем метаданных. Любую дополнительную информацию приходится обрабатывать на уровне приложений и баз данных.
Файловые хранилища
Среди плюсов файловых хранилищ выделяют простоту. Файлу присваивается имя, он получает метаданные, а затем «находит» себе место в каталогах и подкаталогах. Файловые хранилища обычно дешевле по сравнению с блочными системами, а иерархическая топология удобна при обработке небольших объемов данных. Поэтому с их помощью организуются системы совместного использования файлов и системы локального архивирования.
Пожалуй, основной недостаток файлового хранилища — его «ограниченность». Трудности возникают по мере накопления большого количества данных — находить нужную информацию в куче папок и вложений становится трудно. По этой причине файловые системы не используются в дата-центрах, где важна скорость.
Объектные хранилища
Что касается объектных хранилищ, то они хорошо масштабируются, поэтому способны работать с петабайтами информации. По статистике, объем неструктурированных данных во всем мире достигнет 44 зеттабайт к 2020 году — это в 10 раз больше, чем было в 2013. Объектные хранилища, благодаря своей возможности работать с растущими объемами данных, стали стандартом для большинства из самых популярных сервисов в облаке: от Facebook до DropBox.
Такие хранилища, как Haystack Facebook, ежедневно пополняются 350 млн фотографий и хранят 240 млрд медиафайлов. Общий объем этих данных оценивается в 357 петабайт.
Хранение копий данных — это другая функция, с которой хорошо справляются объектные хранилища. По данным исследований, 70% информации лежит в архиве и редко изменяется. Например, такой информацией могут выступать резервные копии системы, необходимые для аварийного восстановления.
Но недостаточно просто хранить неструктурированные данные, иногда их нужно интерпретировать и организовывать. Файловые системы имеют ограничения в этом плане: управление метаданными, иерархией, резервным копированием — все это становится препятствием. Объектные хранилища оснащены внутренними механизмами для проверки корректности файлов и другими функциями, обеспечивающими доступность данных.
Плоское адресное пространство также выступает преимуществом объектных хранилищ — данные, расположенные на локальном или облачном сервере, извлекаются одинаково просто. Поэтому такие хранилища часто применяются для работы с Big Data и медиа. Например, их используют Netflix и Spotify. Кстати, возможности объектного хранилища сейчас доступны и в сервисе 1cloud.
После отправки к файлу добавляются необходимые метаданные. Для этого есть такой запрос:
Богатая метаинформация объектов позволит оптимизировать процесс хранения и минимизировать затраты на него. Эти достоинства — масштабируемость, расширяемость метаданных, высокая скорость доступа к информации — делают объектные системы хранения оптимальным выбором для облачных приложений.Однако важно помнить, что для некоторых операций, например, работы с транзакционными рабочими нагрузками, эффективность решения уступает блочным хранилищам. А его интеграция может потребовать изменения логики приложения и рабочих процессов.
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Накопитель жесткого диска
Накопитель жесткого диска на компьютере сохраняет информацию на жестком диске – негибкой круглой пластине или стопке пластин с магнитным покрытием.
Поскольку жесткие диски могут содержать большие объемы информации, они обычно являются основным средством хранения данных на компьютере и содержат почти все ваши программы и файлы. Накопитель на жестких дисках обычно находится в системном блоке.
Типы хранилищ и их различия
Хранение на уровне блоков лежит в основе работы традиционного жесткого диска или магнитной ленты. Файлы разбиваются на «кусочки» одинакового размера, каждый с собственным адресом, но без метаданных. Пример — ситуация, когда драйвер HDD пишет и считывает блоки по адресам на отформатированном диске. Такие СХД используются многими приложениями, например, большинством реляционных СУБД, в списке которых Oracle, DB2 и др. В сетях доступ к блочным хостам организуется за счет SAN с помощью протоколов Fibre Channel, iSCSI или AoE.
Файловая система — это промежуточное звено между блочной системой хранения и вводом-выводом приложений. Наиболее распространенным примером хранилища файлового типа является NAS. Здесь, данные хранятся как файлы и папки, собранные в иерархическую структуру, и доступны через клиентские интерфейсы по имени, названию каталога и др.
/ Wikimedia / Mennis / CC
При этом следует отметить, что разделение «SAN — это только сетевые диски, а NAS — сетевая файловая система» искусственно. Когда появился протокол iSCSI, граница между ними начала размываться. Например, в начале нулевых компания NetApp стала предоставлять iSCSI на своих NAS, а EMC — «ставить» NAS-шлюзы на SAN-массивы. Это делалось для повышения удобства использования систем.
Что касается объектных хранилищ, то они отличаются от файловых и блочных отсутствием файловой системы. Древовидную структуру файлового хранилища здесь заменяет плоское адресное пространство. Никакой иерархии — просто объекты с уникальными идентификаторами, позволяющими пользователю или клиенту извлекать данные.
Марк Горос (Mark Goros), генеральный директор и соучредитель Carnigo, сравнивает такой способ организации со службой парковки, предполагающей выдачу автомобиля. Вы просто оставляете свою машину парковщику, который увозит её на стояночное место. Когда вы приходите забирать транспорт, то просто показываете талон — вам возвращают автомобиль. Вы не знаете, на каком парковочном месте он стоял.
Большинство объектных хранилищ позволяют прикреплять метаданные к объектам и агрегировать их в контейнеры. Таким образом, каждый объект в системе состоит из трех элементов: данных, метаданных и уникального идентификатора — присвоенного адреса. При этом объектное хранилище, в отличие от блочного, не ограничивает метаданные атрибутами файлов — здесь их можно настраивать.
/ 1cloudКлассификация типов памяти
Следует различать классификацию памяти и классификацию запоминающих устройств (ЗУ). Первая классифицирует память по функциональности, вторая же — по технической реализации. Здесь рассматривается первая — таким образом, в неё попадают как аппаратные виды памяти (реализуемые на ЗУ), так и структуры данных, реализуемые в большинстве случаев программно.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FCПо типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке AzureДавайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Модем для подключения к интернету
Чтобы подключить компьютер к интернету, нужен модем. Модем – это устройство, посылает и получает компьютерную информацию по телефонной линии или скоростном кабеля.
Модемы иногда встроены в системный блок, но скоростные модемы обычно являются отдельными компонентами.
Читайте также: