Способы эффективной организации длительного хранения рабочих файлов
Когда количество проектов не превышает десятка, ориентироваться среди всех рабочих файлов не составляет особого труда. Но если количество проектов переваливает за сотни, то чтобы быстро найти что-то или не потерять, необходимо иметь систему хранения файлов. После того, как я таким обидным образом потерял пару десятков своих работ, забыв переписать их с компьютера бывшего работодателя, когда только начал заниматься архитектурным проектированием, то разработал для себя свою систему, которой пользуюсь до сих пор в течении последних шести лет, постепенно внося в неё улучшения.
Самое главное в системе храниения файлов — это простота. Иначе, будет лень всё время её придерживаться. Вот основные принципы, которыми я пользуюсь, создавая каждый новый файл:
- Каждый файл относится к определённому проекту, поэтому он должен храниться в одном каталоге с другими файлами, относящиеся к этому же проекту.
- Каждому новому проекту присваивается свой порядковый номер.
- Имя каждого файла должно содержать короткий комментарий, чтобы его легко можно было распознать. Никаких 1111, sdfsdf или hernya1, hernya2 и т.п.
- Файлы и каталоги называть только латиницей.
- Не хранить важные файлы на рабочем столе. Сохранение файла на рабочем столе равносильно отправки его в корзину.
- Никогда не удалять файлы. Все исходники должны оставаться.
- Один и тот же файл должен единовременно находиться минимум на двух носителях — делайте бекапы.
- Каталоги текущих проектов, находящихся в работе, должны содержаться в облачном хранилище для быстрого доступа со всех девайсов и из любого места через интернет.
Шифр проектов
Хозяйке на заметку. Наблюдательный читатель должен был заметить, что, по сравнению с моей предыдущей версией этой статьи, здесь отсутствует буква перед номером проекта, обозначающая его тип (архитектурный проект, интерьер, дизайн и т.п.). Практика показала, что её применение удобств не добавляет, так как, во первых, я не вижу смысла чётко разграничивать проекты по видом деятельности (а иногда один проект может состоять из нескольких видов проектов) и, во вторых, буква перед порядковым номером нарушает порядок файлов в каталоге. Чтобы не нарушать существующий порядок, к новому шифру я перейду с начала следующего года.
Организация текущих проектов
Мой рабочий архив разделён на два каталога: в одном находятся текущие проекты, а в другом хранится архив. Содержание в одном месте всех текущих проектов упрощает доступ к ним. Все новые и находящиеся в работе проекты я храню в корне каталога in-work, находящемся в облачном хранилище. Для этого, я использую Дропбокс.
Использование облачного хранилища данных позволяет иметь доступ к моим рабочим файлам с любого устройства и места через интернет, а также делиться ими с коллегами и заказчиками. Для этого достаточно дать ссылку на файл, размер которого не имеет ограничения, в отличае от почты. Файлы единовременно хранятся не только на моем рабочем и домашнем компьютере, но и на сервере, что практически исключает вероятность их утери, в случае поломки или кражи. Одним из преимуществ Дропбокса является то, что он хранит историю изменения файлов, благодаря чему я могу «откатиться» к предыдущим версиям. Например, если по ошибке перезаписать его поверх файлом из другого проекта (что бывает), удалить или если он был поврежден. Естественно, компьютер всегда должен иметь скоростной доступ к интернету.
Когда заказчик сделал оплату проект завершён, каталог его можно переместить из папки in-work Дропбокса в архив.
Организация архива проектов
Все завершённые проекты хранятся в едином каталоге work, находящимся в папке документов жёсткого диска (в будущем планирую перенести с ноута в отдельное RAID-хранилище). В нём архив разбит по годам: 2007, 2008, 2009. и т.д.. Из каталога in-work проекты переносятся в папку с текущим годом на момент завершения проекта. Не помешает, если перед переносом почистить их содержимое, удалив файлы автосохранений программ и каталог temp (о нём в следующем разделе), но остальные «исходники» остаются нетронутыми, помня принцип № 6 — никогда их не удалять.
Организация файлов внутри проекта
- skp — файлы Скетчапа.
- layout — файлы Лэйаута для Скетчапа.
- dwg — Автокад. Внитри каталога, в папке img, хранятся все картинки, на каторые ссылается Автокад, чтобы их не потерять при переносе или передаче файлов.
- pln — здесь хранятся файлы Архикада.
- gsm — библиотечные элементы Архикада, созданные мной для конкретного проекта.
- mod — файлы модулей Архикада.
- pdf — этот каталог можно считать главным, так как в нём я собираю из разных программ альбомы проекта в формате ПДФ, которые являются результатом моей работы.
- docs — текстовые документы и таблицы.
- scan — отсканированный материал. Обычно это топографические съёмки, планы БТИ, мои эскизы и вообще всё, что сканировалось для конкретного объекта.
- from — здесь хранятся все файлы, которые мне кто-то передаёт, т.е. созданные не мной. Это может быть мой коллега, подрядчик или сам заказчик. При большом колличестве файлов, внутри каталог может быть разбит по именам, в зависимости от того, от кого они были получены. Сюда же, в папку web, я сохраняю материал из интернета.
- to — если в предыдущем каталоге я сохраняю все, что получаю откуда-то, то здесь наоборот: все, что я кому-то из коллег или подрядчиков передаю.
- psd — здесь содержатся файлы программы Pixelmator (аналог Фотошопа).
- renders — отрендеренные картинки в Максе или где-то ещё. Почти всегда отсюда файлы сразу попадают в каталог psd, а здесь остаются как исходники.
- maps — текстуры, используемые в проекте.
- screenshots — скриншоты, которые я делаю в процессе работы над объектом. Некоторые из них публикую в своём блоге. А иногда просто бывает очень полезным самому в одном месте пересмотреть все прошлые варианты проекта.
- temp — страшное место. В этом каталоге по завершению проекта умирают все временные файлы. Например, файлы *.3ds, которые необходимы только для экспорта в Макс из других программ и прочие файлы экспорта и временные файлы.
Имена файлов и их версии
Принцип, по которому я даю имена схож с наименованием каталога объекта, только в конце добавляется его версия, например: 129_frunze_01-02.pln, где 01 — это вариант, а 02 — подвариант.
Процесс проектирования всегда состоит из множества вариантов и подвариантов, к которым нередко приходится возвращаться. Поэтому я никогда не удаляю старые файлы. Как правило, вариант — это версия после встречи с заказчиком, а подвариант — версия между встречами. Например, я начал новый проект и дал ему версию В процессе проектирования у меня было несколько вариантов и в итоге я пришёл к версии После встречи с заказчиком, если в проект нужно ввести какие-то изменения, следующая версия файла будет уже Т.е. какой номер варианта — столько было встреч с заказчиком.
Если проект состоит из нескольких разделов или есть необходимость для одной программы использовать несколько файлов, то к комментарию имени файла через дефис добавляется нужное слово. Например: 153_lesnoe-plan.dwg, 153_lesnoe-details_01-02.dwg.
Если старые версии проектов хранить в отдельной папке archive, то добавлять номер к концу текущей версии файла смысла нет — он применяется только к старым версиям.
И на закуску скриншот фрагмента моего рабочего архива:
Расскажите, а как вы организовываете хранение своих рабочих и нерабочих файлов? Поделитесь своим опытом.
Организация файловой системы
Файл, имеющий образ цельного, непрерывающегося набора байт, на самом деле разбросан «кусочками» по всему диску, причем это разбиение никак не связано с логической структурой файла: логически объединенные файлы из одного каталога совсем не обязательно должны соседствовать на диске.
Принципы размещения файлов, каталогов и системной информации на реальном устройстве (диске) называются физической организацией файловой системы.
Замечание. Различные файловые системы имеют разную физическую организацию (например, размер кластера). Основным типом устройства, которое используется для хранения файлов, являются дисковые накопители. Эти устройства предназначены для считывания и записи данных на жесткие и гибкие магнитные диски, оптические диски, flash-носители и др.
Рост объемов данных
Тем временем в мире продолжается экспоненциальный рост объема создаваемых данных, и в ближайшие годы эта тенденция сохранится. По прогнозу IDC, объем создаваемых за год данных вырастет с 2018 до 2025 годы с 33 до 175 ЗБ. Среднегодовые темпы роста превысят 27%. На этот рост влияет и увеличение числа пользователей интернета. В прошлом году интернетом пользовались 53% населения Земли. Число пользователей интернета ежегодно увеличивается на 15-20%. Новые и развивающиеся технологии, такие как 5G, видео UHD, аналитика, IoT, искусственный интеллект, AR/VR, влекут за собой генерацию все больших объемов данных. Источниками роста объема данных также являются также развлекательный контент и видео с камер систем видеонаблюдения. Например, рынок хранения видео с камер наблюдения, по прогнозам MarketsandMarkets, будет расти на 22,4% в год и достигнет в этом году 18,28 млрд долларов.
Экспоненциальный рост объемов создаваемых данных.
За последние два-три года объемы корпоративных данных выросли примерно на порядок. Соответственно, усложнилась задача резервного копирования. Емкости хранилищ данных достигают сотен терабайт и продолжают увеличиваться по мере накопления данных. Потеря даже части этих данных может сказаться не только на бизнес-процессах, но и повлиять на репутацию бренда или на лояльность клиентов. Поэтому создание и хранение бэкапов в значительной мере влияет на весь бизнес.
Сориентироваться в предложениях вендоров, предлагающих свои варианты резервного копирования, бывает нелегко. Существуют разные варианты создания и хранения резервных копий, но наиболее популярными являются локальные системы резервного копирования и использования облачных сервисов. Резервное копирование в облако или в ЦОД провайдера обеспечивает надежную защиту данных и минимизирует риски, связанные с программными сбоями, техническими неисправностями оборудования и ошибками сотрудников.
Способы эффективной организации длительного хранения рабочих файлов схема
Тема 15. Способы доступа и организации файлов. Распределение файлов на диске
С точки зрения внутренней структуры (логической организации) файл — это совокупность однотипных записей, каждая из которых информирует о свойствах одного объекта. Записи могут быть фиксированной длины, переменной длины или неопределенной длины. Записи переменной длины в своем составе содержат длину записи, а неопределенной длины – специальный символ конца записи.
При этом каждая запись может иметь идентификатор, представляющий собой ключ, который может быть сложным и состоять из нескольких полей.
Существует три способа доступа к данным, расположенным во внешней памяти:
- Физически последовательный по порядку размещения записи в файле.
- Логическипоследовательный в соответствии с упорядочением по значению ключей. Для выполнения упорядочения создается специальный индексный файл, в соответствии с которым записи представляются для обработки.
- Прямой — непосредственно по ключу или физическому адресу записи.
Для организации доступа записи должны быть определенным образом расположены и взаимосвязаны во внешней памяти. Есть несколько способов логической организации памяти.
Записи располагаются в физическом порядке и обеспечивают доступ в физической последовательности. Таким образом, для обработки записи с номером N+1 необходимо последовательно обратиться к записям с номером 1, 2,….,N. Это универсальный способ организации файла периферийного устройства. Используется так же для организации входного/выходного потока.
Записи располагаются в логической последовательности в соответствии со значением ключей записи. Физически записи располагаются в различных местах файла. Логическая последовательность файла фиксируется в специальной таблице индексов, в которой значение ключей связывается с физическим адресом записи. При такой организации доступ к записям осуществляется логически последовательно в порядке возрастания или убывания значения ключа или по значению ключа.
Место записи в файле, ее физический адрес, определяется алгоритмом преобразования для ключа. Доступ к записям возможен только прямой. Алгоритм преобразования ключа называется хешированием. Ключ, использующий алгоритм хеширования, преобразуется в номер записи.
Это организация, при которой осуществляется прямой доступ по порядковому номеру записи или по физическому адресу.
Организация, в которой файл состоит из последовательных подфайлов (разделов), первый из которых является оглавлением и содержит имена и адреса остальных подфайлов. При такой организации осуществляется комбинированныйдоступ: индексный прямой к разделу и последовательный в разделах.
Определить права доступа к файлу — значит определить для каждого пользователя набор операций, которые он может применить к данному файлу. В разных файловых системах может быть определен свой список дифференцируемых операций доступа. Этот список может включать следующие операции:
- создание файла;
- уничтожение файла;
- открытие файла;
- закрытие файла;
- чтение файла;
- запись в файл;
- дополнение файла;
- поиск в файле;
- получение атрибутов файла;
- установление новых значений атрибутов;
- переименование;
- выполнение файла;
- чтение каталога;
- и другие операции с файлами и каталогами.
В самом общем случае права доступа могут быть описаны матрицей прав доступа, в которой столбцы соответствуют всем файлам системы, строки — всем пользователям, а на пересечении строк и столбцов указываются разрешенные операции. В некоторых системах пользователи могут быть разделены на отдельные категории. Для всех пользователей одной категории определяются единые права доступа. Например, в системе UNIX все пользователи подразделяются на три категории: владельца файла, членов его группы и всех остальных. Различают два основных подхода к определению прав доступа:
- избирательный доступ, когда для каждого файла и каждого пользователя сам владелец может определить допустимые операции;
- мандатный подход, когда система наделяет пользователя определенными правами по отношению к каждому разделяемому ресурсу (в данном случае файлу) в зависимости от того, к какой группе пользователь отнесен.
Физически том дисковой памяти — это отдельный носитель внешней памяти, представляющий собой совокупность блоков данных. Блок — это единица физической передачи данных (единица обмена данных с устройством). Запись — это единица ввода/вывода программы. Блок может содержать несколько логических записей, что минимизирует число операций ввода/вывода (рис.1).
Рисунок 1. Коэффициент блокирования 7
Физически файл — это совокупность выделенных блоков памяти (область внешней памяти). Существует два вида организации накопителей на магнитном диске:
1.Трековый, в котором весь диск подразделяется на треки (дорожки) фиксированной длины, на которых размещаются блоки переменного размера. Адресом блока является тройка:
Единицей выделения памяти является трек или цилиндр. Цилиндр представляет собой область памяти, образованную всеми дорожками, доступными на магнитных поверхностях без перемещения магнитных головок.
2.Секторный, в котором диск разбивается на блоки фиксированного размера, обычно кратного 256 байтам. Адресом блока является его порядковый номер на носителе.
Работа с дисковой памятью включает в себя 4 основные процедуры:
- Инициализация тома (форматирование).
- Выделение и освобождение памяти файлу.
- Уплотнение внешней памяти (дефрагментация).
- Копирование, восстановление томов для обеспечения целостности.
- форматирования диска на дорожки (сектора);
- определения сбойных участков диска;
- присвоения метки тому;
- создания оглавления тома;
- записи ОС, если это необходимо.
Выделение и освобождение места для файлов на томе аналогично стратегии размещения ОП.
- Непрерывное распределение памяти, когда файлу выделяется непрерывный участок памяти. Для задания адреса файла в этом случае достаточно указать только номер начального блока. Достоинство этого метода — простота. Очевидный недостаток — проблема расширения файла и фрагментация. Уплотнение или дефрагментация используется для восстановления памяти.
- Секторное или блочное распределение, когда файлу выделяется логически связанные блоки, физически размещенные в любом месте. При таком способе в начале каждого блока содержится указатель на следующий блок. В этом случае адрес файла также может быть задан одним числом — номером первого блока. В отличие от предыдущего способа, каждый блок может быть присоединен в цепочку какого-либо файла и, следовательно, фрагментация отсутствует. Файл может изменяться во время своего существования, наращивая число блоков. Недостатком является сложность реализации доступа к произвольно заданному месту файла: для того чтобы прочитать пятый по порядку блок файла, необходимо последовательно прочитать четыре первых блока, прослеживая цепочку номеров блоков.
Популярным способом, используемым, например, в файловой системе FAT операционной системы MS-DOS, является использование связанного списка индексов. С каждым блоком (кластером) связывается некоторый элемент — индекс. Индексы располагаются в отдельной области диска (в MS-DOS это таблица FAT). Если некоторый блок распределен файлу, то индекс этого блока содержит номер следующего блока данного файла. При этом для каждого файла в каталоге имеется поле, в котором отмечается номер начального индекса для кластера, входящего в файл. Последний индекс содержит специальный маркер конца файла. Такая физическая организация сохраняет все достоинства предыдущего способа и снимает отмеченный недостаток: для доступа к произвольному месту файла достаточно прочитать только блок индексов, отсчитать нужное количество блоков файла по цепочке и определить номер нужного блока.
В некоторых файловых системах запросы к внешним устройствам, в которых адресация осуществляется блоками (диски, ленты), перехватываются промежуточным программным слоем-подсистемой буферизации. Подсистема буферизации представляет собой буферный пул, располагающийся в оперативной памяти, и комплекс программ, управляющих этим пулом и позволяющий выполнять опережающее считывание блоков файла при последовательном доступе. Каждый буфер пула имеет размер, равный одному блоку. При поступлении запроса на чтение некоторого блока подсистема буферизации просматривает свой буферный пул и, если находит требуемый блок, то копирует его в буфер запрашивающего процесса. Операция ввода-вывода считается выполненной, хотя физического обмена с устройством не происходило. Очевиден выигрыш во времени доступа к файлу. Если же нужный блок в буферном пуле отсутствует, то он считывается с устройства и одновременно с передачей запрашивающему процессу копируется в один из буферов подсистемы буферизации. При отсутствии свободного буфера на диск вытесняется наименее используемая информация. Таким образом, подсистема буферизации работает по принципу кэш-памяти. Кроме того, буферизация позволяет одновременно обрабатывать программой текущий блок и читать/писать в другие буфера следующий блок.
Данные за границей
Некоторые компании предпочитают хранить данные за рубежом, считая такой вариант надежной защитой данных от несанкционированного доступа и важным фактором снижения риска. Данные за границей – это гарантия защиты ценной информации. Размещенное за рубежом оборудование не находится под российской юрисдикцией. А благодаря шифрованию сотрудники ЦОД могут вообще не иметь доступа к вашим данным. В современных зарубежных дата-центрах используется высоконадежное оборудование, обеспечиваются высокие показатели надежности на уровне ЦОД в целом.
Использование иностранных ЦОД может иметь и ряд других преимуществ. Клиент застрахован от рисков, связанных с форс-мажорами или недобросовестной конкуренцией. Использование таких площадок для хранения и обработки данных позволит минимизировать подобные риски. Например, в случае изъятия серверов в России компания сможет сохранить копию своих систем и данных в зарубежных ЦОД.
Как правило, ИТ-инфраструктура зарубежных ЦОД – это стандарты качества, высокий уровень безопасности и контроля хранения данных. В них используются новейшие ИТ-решения, межсетевые экраны, технологии шифрования каналов связи, средства защиты от DDoS-атак. Энергообеспечение ЦОД также реализовано с высоким уровнем надежности (до TIER III и IV).
Резервное копирование в зарубежных ЦОД актуально для любого бизнеса в РФ, не работающего с персональными данными пользователей, хранение и обработка которых, согласно закону № 152-ФЗ «О персональных данных», должна осуществляться на территории России. Эти требования можно выполнить путем развертывания двух площадок: основной в России, где происходит первичная обработка данных, и зарубежной, где размещаются резервные копии.
Зарубежные площадки нередко используют и в качестве резервного ЦОД. Тем самым достигается максимальная безопасность и надежность, минимизируются риски. В ряде случаев они удобны для размещения данных и подключения к ним европейских клиентов. При этом достигается лучшее время отклика для европейских пользователей. Такие дата-центры имеют прямой доступ к европейским точкам обмена трафиком. Мы например предлагаем своим клиентам сразу 4 точки размещения данных в Европе — это Цюрих (Швейцария), Франкфурт (Германия), Лондон (Великобритания) и Амстердам (Нидерланды).
Этапы подготовки диска к записи
Процесс подготовки диска к записи данных разбивается на следующие этапы:
- Форматирование низкого уровня (физическое форматирование).
- Логическое разбиение (только для HDD).
- Логическое форматирование (высокоуровневое).
В результате выполнения процедуры физического форматирования в секторах создаются адресные метки, использующиеся для их идентификации в процессе использования диска (создаются дорожки и секторы).
Низкоуровневый формат диска не зависит от типа ОС, которая этот диск будет использовать.
В результате выполнения процедуры логического разбиения HDD делится на логические разделы (тома) перед форматированием диска под определенную файловую систему.
Раздел – это непрерывная часть физического диска, которую ОС представляет пользователю как логическое устройство (логический диск). Необходимость в разбиении на разделы возникает в следующих случаях:
- если существует ограничение на размер диска со стороны операционной системы.
- если необходимо разграничить дисковое пространство между пользователями.
- для удобства работы с разными видами информации: системный диск, архивный диск, документы и т.д.
- если есть необходимость в нескольких операционных системах или/и файловых системах.
ОС может поддерживать разные статусы разделов, особым образом отмечая разделы, которые могут быть использованы для загрузки модулей ОС, и разделы, в которых можно устанавливать только приложения и хранить файлы данных. Один из разделов диска помечается как загружаемый (основной, первичный, Primary). Именно из этого раздела считывается загрузчик ОС. А другой – как дополнительный (расширенный, Extenshion).
Разметку диска под конкретный тип файловой системы выполняют процедуры высокоуровневого, или логического, форматирования. При высокоуровневом форматировании определяется размер кластера и на диск записывается информация, необходимая для работы файловой системы, в том числе информация о доступном и неиспользуемом пространстве, о границах областей, отведенных под файлы и каталоги, информация о поврежденных областях. Кроме того, на диск записывается загрузчик ОС.
Логическое форматирование – процесс преобразования уже размеченного дискового пространства в соответствии со стандартами конкретной ОС. Единый стандарт разметки границ дискового раздела и разграничения разделов содержится в таблице разделов диска, которая находится в 1-ом секторе диска (цилиндр 0, дорожка 0, сектор 1). Таблица разделов содержит параметры диска, число разделов, размер и расположение каждого раздела и др.
Все в одном
Аналитики полагают, что в результате такого перехода компании получают более гибкие, масштабируемые, простые и производительные системы, нередко представляющие собой унифицированное программное обеспечения для управления данными и их хранения. Усовершенствованные продукты резервного копирования и восстановления включают в себя инструменты эффективного управления данными, дают возможность перемещать данные туда, где их хранение наиболее эффективно (в том числе автоматически), управлять ими, защищать и восстанавливать.
С ростом разнообразия и объемов данных важным требованием становится комплексная защита и управление данными: файлами, базами данных, данными виртуальных и облачных сред, приложений, а также доступ к различным типам данных в первичных, вторичных и облачных хранилищах.
Комплексные решения управления данными обеспечивают единое управление ими в масштабе всей ИТ-инфраструктуры: их резервное копирование, восстановление, архивирование и управления моментальными снимками. Однако администраторы должны четко понимать, где, как долго и какие данные хранятся, какие к ним применяются политики. Быстрое восстановление приложений, виртуальных машин и рабочих нагрузок из локального или облачного хранилища данных минимизирует простои, а автоматизация позволяет свести к минимуму ошибки из-за человеческого фактора.
Крупные организации с комбинацией унаследованных, традиционных и современных приложений нередко выбирают системы резервного копирования, поддерживающие широкий спектр операционных систем, приложений, гипервизоров и реляционных баз данных, обладающие высокой масштабируемостью (до нескольких петабайт и тысяч клиентов), а также предусматривающих интеграцию с широким спектром систем хранения данных, публичных, частных и гибридных облаков и ленточных накопителей.
Как правило, это платформы с традиционной трехуровневой архитектурой из агентов, медиа-серверов и сервера управления. Они могут объединять функции резервного копирования и восстановления, архивирования, аварийного восстановления (DR) и облачного резервного копирования, оптимизировать производительность, используя алгоритмы искусственного интеллекта и машинного обучения.
Как считают в компании Forrester, централизованное управление источниками данных, политиками, способность к надежному восстановлению данных и безопасность являются наиболее важными характеристиками решений резервного копирования.
Современные решения могут с любой периодичностью выполнять резервное копирование виртуальных машин на основе моментальных снимков практически без снижения производительности рабочих сред. Они ликвидируют разрыв между целевой точкой восстановления (Recovery Point Objective, RPO) и целевым временем восстановления (Recovery Time Objective, RTO), гарантируют доступность данных в любое время и обеспечивают непрерывность бизнеса.
Что нужно учитывать при выборе дата-центра?
Используя услуги коммерческих ЦОД, помимо удобной структуры расходов, бизнес получает более гибкий сервис, который можно масштабировать в режиме реального времени, а оплачиваются только потребляемые ресурсы (pay-per-use). Услуги внешнего ЦОД также позволяют снизить риски, связанные с неопределенностью будущего, легко адаптировать ИТ к новым технологическим трендам, сосредоточиться на своих ключевых бизнес-процессах, а не на обслуживании ИТ-инфраструктуры.
Провайдеры учитывают при строительстве и эксплуатации своих площадок лучшие практики и международные стандарты, предъявляющие высокие требования к инженерным и ИТ-системам ЦОД, такие как ISO 27001:2013 Information Security Management (управление информационной безопасностью), ISO 50001:2011 Energy Management System (эффективное планирование систем энергоснабжения дата-центра), ISO 22301:2012 Business Continuity Management System (обеспечение непрерывности бизнес-процессов ЦОД), а также европейские стандарты EN 50600-x, стандарт PCI DSS, касающийся безопасности обработки и хранения данных пластиковых карт международных платежных систем.
В результате заказчик получает отказоустойчивый сервис, обеспечивающий надежный надежное хранение данных и непрерывность бизнес-процессов.
В этой статье, мы поговорим на такие темы, как организация файлов, затронем тему организации файловой структуры, а также изучим логическую структуру дисков.
Физическая и логическая структура диска
Жесткий диск состоит из одной или нескольких стеклянных или металлических пластин, каждая из которых покрыта с одной или двух сторон магнитным материалом. Для записи информации на магнитную поверхность дисков применяется следующий способ: поверхность рассматривается как последовательность точечных позиций, каждая из которых считается битом и может быть установлена в 0 или 1. Так как расположения точечных позиций определяется неточно, то для записи требуются заранее нанесенные метки, которые помогают записывающему устройству находить позиции записи. Процесс нанесения таких меток называется физическим форматированием и является обязательным перед первым использованием накопителя.
Физическое форматирование – это процесс записи на поверхность диска служебной информации, обозначающей сектора на диске (пометка начала и конца дорожки и сектора).
На каждой стороне каждой пластины размечены тонкие концентрические окружности (по ним располагаются синхронизирующиеся метки). Каждая концентрическая окружность называется дорожкой.
Количество дорожек зависит от типа диска. Нумерация дорожек начинается с 0 от внешнего края к центру диска. Когда диск вращается, головка чтения/записи считывает двоичные данные с магнитной дорожки или записывает их на нее. Нумерация сторон начинается с 0.
Группы дорожек (треков) одного радиуса, расположенных на поверхностях магнитных дисков, называются цилиндрами. Номер цилиндра совпадает с номером образующей дорожки. Жесткие диски могут иметь по несколько десятков тысяч цилиндров, на поверхности дискеты, как правило, их восемьдесят. Зная количество рабочих поверхностей, дорожек на одной стороне, размер сектора, можно определить емкость диска.
Для дискет 3.5”: 2 рабочие поверхности, 80 дорожек на каждой стороне, 18 секторов на каждой дорожке, 512 байт – каждый сектор. Тогда, емкость дискеты=21801181512=1 474 560 байтов = 1.44 Мбайт.
Каждая дорожка разбивается на секторы. Сектор – наименьшая адресуемая единица обмена данными дискового устройства с оперативной памятью. Нумерация секторов начинается с 1. Каждый сектор состоит из поля данных и поля служебной информации, ограничивающей и идентифицирующей его.
Для того чтобы контроллер диска мог найти на диске нужный сектор, необходимо задать ему все составляющие адреса сектора: номер цилиндра, номер поверхности, номер сектора ([c-h-s]).
ОС при работе с диском использует, как правило, собственную единицу дискового пространства, называемую кластером.
Кластер (ячейка размещения данных) – объем дискового пространства, участвующий в единичной операции чтения/записи, осуществляемой ОС.
Кластер – это минимальный размер места на диске, которое может быть выделено файловой системой для хранения одного файла.
Пример. Если файл имеет размер 2560 байт, а размер кластера в файловой системе определен в 1024 байта, то файлу будет выделено на диске 3 кластера.
Размер кластера зависит от формата диска и может соответствовать одному сектору или нескольким смежным секторам дорожки.
Размер кластера определяется, как правило, автоматически при логическом форматировании.
Узнать размер кластера можно следующими способами:
- В ОС Windows: Панель управления → Администрирование → Управление компьютером → Дефрагментация диска → Выделить логический диск → Анализ.
- Выбор размера кластера: Format c:/a:size.
- Создать файл небольшого размера, например документ блокнота и вывести свойства файла. Размер фала на диске будет соответствовать размеру кластера.
Требования к системам резервного копирования
Тем временем требования к программному обеспечению резервного копирования и восстановления данных меняются. Чтобы успешнее решать задачи защиты данных и оптимизировать расходы, компании готовы приобретать более простые, гибкие и недорогие решения, считают аналитики Gartner. Привычные методы защиты данных не всегда соответствуют новым требованиям.
Системы резервного копирования и восстановления данных должны предусматривать простое развертывание и администрирование, удобное управление процессом резервирования и восстановления, оперативное восстановление данных. Современные решения нередко реализуют функции репликации данных, позволяют автоматизировать операции, предусматривают интеграцию с облаками, встроенные функции архивирования, поддерживают аппаратные снимки данных.
По прогнозу Gartner, в ближайшие два года до 40% компаний перейдут на новые решения резервного копирования, заменив имеющееся ПО, а многие будут использовать одновременно несколько продуктов или сервисов, оптимально защищающих те или иные системы. Чем же их не устраивают прежние решения резервного копирования и восстановления данных?
Мультиоблачные среды
Поставщики систем хранения данных делают все возможное, чтобы их продукты эффективно работали в мультиоблачной среде. Задача — упростить использование данных и перемещать их туда, где они необходимы, а их хранение — наиболее эффективно. Например, они применяют распределенные файловые системы следующего поколения, которые поддерживают единое пространство имен, обеспечивая доступ к данным в разных облачных средах, предлагают общие стратегии и политики управления в разных облаках и на локальном уровне. Конечная цель состоит в управлении, защите и эффективном использовании данных, где бы они ни находились.
Мониторинг — еще одна из проблем мультиоблачного хранения. Нужны инструменты мониторинга для отслеживания результатов в мультиоблачной среде. Независимый инструмент мониторинга, разработанный для нескольких облаков, позволит получить общую картину.
Прогноз роста мирового рынка систем управления мультиоблачными средами.
Совмещение периферийного и мультиоблачного хранения – также непростая задача. Чтобы эти системы эффективно работали вместе, нужно знать объемы и типы данных, где и как эти данные будут собираться, передаваться и сохраняться. Для планирования процесса потребуется также знать, как долго должны храниться данные каждого типа, где, когда и сколько данных нужно будет передавать между различными системами и облачными платформами, как осуществляется их резервное копирование и защита.
Все это поможет администраторам свести к минимуму сложности, связанные с объединением периферийного и мультиоблачного хранения.
Миграция в облака
Данные можно накапливать и хранить в собственных центрах обработки данных, но при этом придется обеспечить отказоустойчивость, кластеризацию и масштабирование емкости, иметь в штате квалифицированных специалистов по администрированию систем хранения. В этих условиях передача всех подобных вопросов на аутсорсинг провайдеру очень актуальна. Например, при размещении баз данных в ЦОД провайдера или в облаке можно возложить ответственность за хранение, резервирование данных, функционирование баз данных на профессионалов. Провайдер будет нести финансовую ответственность по соглашению об уровне обслуживания. Помимо прочего это позволяет быстро развернуть типовую конфигурацию для решения конкретной задачи, а также обеспечить высокую степень доступности за счёт резервирования вычислительных ресурсов и резервного копирования.
В 2019 году объем мирового рынка облачного резервного копирования составил 1834,3 млн. долл., и ожидается, что к концу 2026 года он достигнет 4229,3 млн. долл. при среднегодовом росте 12,5%.
При этом все больше данных будет храниться не в корпоративных сетях и не на конечных устройствах, а в облаке, причем, согласно IDC, доля данных в публичных облаках вырастет к 2025 году до 42%. Более того, организации переходят к использованию мультиоблачных инфраструктур и гибридных облаков. Такого подхода придерживаются уже 90% европейских компаний.
Облачное резервное копирование представляет собой стратегию резервного копирования данных, которая включает отправку копии данных по сети на сервер за пределами собственной площадки. Обычно это сервер сервис-провайдера, который взимает с клиента плату на основе выделенной емкости, пропускной способности или количестве пользователей.
Широкое внедрение облачных технологий и необходимость управления большими объемами данных способствуют росту популярности облачных решений для резервного копирования. Кроме того, с внедрением облачных решений резервного копирования связывают такие преимущества как простое управление и мониторинг, резервное копирование и восстановление в режиме реального времени, простая интеграция облачного резервного копирования с другими корпоративными приложениями, дедупликация данных и поддержка различных клиентов.
Ключевыми игроками данного рынка аналитики считают компании Acronis, Asigra, Barracuda Networks, Carbonite, Code42 Software, Datto, Druva Software, Efolder, IBM, Iron Mountain и Microsoft.
Данные на периферии
Еще один тренд – периферийные вычисления. Как считают аналитики Gartner, в ближайшие годы около половины всех корпоративных данных будут обрабатываться за пределами традиционных ЦОД или облачной среды: все более значительная их доля размещается на периферии — для хранения и локальной аналитики. По прогнозу IDC, в регионе EMEA доля «периферийных» данных вырастет почти вдвое — с 11% до 21% от общего объема. Причины — распространение интернета вещей, перенос аналитики и обработки данных ближе к их источнику.
Периферийная инфраструктура – дата-центры разного масштаба и форм-фактора -предлагают достаточно возможностей для обработки и хранения данных и обеспечивают низкую задержку. В связи с этим намечаются изменения в пропорции объемов данных, размещаемых в ядре сети/ЦОД, на ее периферии и на конечных устройствах.
Переход от облачных и централизованных вычислений к периферийным вычислениям уже начался. Такие системы становятся все более востребованными. Затраты и сложность создания централизованной архитектуры для обработки большого объема данных чрезмерно велики, такая система может стать плохо управляемой по сравнению с распределением обработки данных по периферии или на соответствующем уровне сети. Кроме того, на периферии можно объединять или деперсонализировать данные перед отправкой в облако.
Организация файлов
В общем случае, данные, содержащиеся в файле, имеют некоторую логическую структуру. Эта структура является базой при разработке программы, предназначенной для обработки этих данных.
Например, чтобы текст мог быть правильно выведен на экран, программа должна иметь возможность выделить отдельные слова, строки, абзацы и т.д. Признаками, отделяющими один структурный элемент от другого, могут служить определенные кодовые последовательности или просто известные программе значения смещений этих структурных элементов, относительно начала файла. Поддержание структуры данных может быть либо целиком возложено на приложения либо в той или иной степени может взять на себя ФС (файловую систему).
В первом случае, когда все действия, связанные со структуризацией и интерпретацией содержимого файла целиком относятся к ведению приложения. Файл представляется ФС неструктурированной последовательностью данных. Приложение формулирует запросы к ФС на ввод/вывод, используя общие для всех приложений системные средства. Например, указывая смещение от начала файла и количество байт, которые необходимо считать или записать.
Модель файла, в соответствии с которой содержимое файла представляется неструктурированной последовательностью (потоком) байт, стала популярной вместе с ОС UNIX, а теперь она широко используется в большинстве современных ОС (MS-DOS, Windows2000/NT, NetWare).
Неструктурированная модель файла позволяет легко организовать разделение файла между несколькими приложениями: разные приложения могут по-своему структурировать и интерпретировать данные, содержащиеся в файле.
Другая модель файлов, которая применялась в ОС OS/360, DEC RSX, VMS, а в настоящее время используется достаточно редко – это структурированный файл. В этом случае поддержание структуры файла поручается ОС. ФС видит файл как упорядоченную последовательность логических записей. Приложение может обращаться к ФС с запросами на ввод-вывод на уровне записей, например, «считать запись 25 из файла FILE.DOC». ФС должна обладать информацией о структуре файла, достаточной для того, чтобы выделить любую запись. ФС предоставляет приложению доступ к записи, а вся дальнейшая обработка данных, содержащаяся в этой записи, выполняется приложением. Замечание. Развитием этого подхода стали СУБД.
Способы физической организации файла
Физическая организация файла (ФОФ) – это способ размещения файла на диске. Основные критерии эффективности физической организации файлов:
- Скорость доступа к данным.
- Объем адресной информации файла.
- Степень фрагментированнности дискового пространства.
- Максимально возможно размер файла.
Фрагментация – это наличие большого числа несмежных участков свободной памяти очень маленького размера (фрагментов). Настолько маленького, что ни одна из вновь поступающих программ не может поместиться ни в одном из участков, хотя суммарный объем фрагментов может составить значительную величину, намного превышающую требуемый объем памяти.
Существует несколько способов физической организации файла. Непрерывное размещение – это простейший вариант ФОФ, при котором файлу предоставляется последовательность кластеров диска, образующих непрерывный участок дисковой памяти:
Достоинства способа: высокая скорость доступа, так как затраты на поиск и считывание кластеров файла минимальны, отсутствие фрагментации на уровне файла, минимален объем адресной информации – достаточно хранить только номер первого кластера и объем файла. Недостатки невозможно сказать, какого размера должна быть непрерывная область, выделяемая файлу, так как файл при каждой модификации может увеличить свой размер, фрагментация на уровне кластеров, из-за которой нельзя выбрать место для размещения файла целиком. Из-за этих недостатков на практике используются другие методы, при которых файл размещается в нескольких, в общем случае несмежных областях диска.
Размещение файла в виде связанного списка кластеров дисковой памяти.
При таком способе в начале каждого кластера содержится указатель на следующий кластер:
Достоинства: Адресная информация минимальна расположение файла может быть задано одним числом – номером первого кластера, фрагментация на уровне кластеров отсутствует, так как каждый кластер может быть присоединен к цепочке кластеров какого-либо файла, файл может изменять свой размер, наращивая число кластеров.
Недостатки: Сложность организации доступа к произвольно заданному месту файла – чтобы прочитать пятый по порядку кластер файла, необходимо последовательно прочитать четыре первых кластера, прослеживая цепочку номеров кластеров, количество данных файла в одном кластере не равно степени двойки (одно слово израсходовано на номер следующего кластера), а многие программы читают данные кластерами, размер которых равен степени двойки, Фрагментация на уровне файлов (файл может разбиваться на несмежные фрагменты).
При отсутствии фрагментации на уровне кластеров на диске все равно имеется определенное количество областей памяти небольшого размера, которые невозможно использовать, то есть фрагментация все же существует. Эти фрагменты представляют собой неиспользуемые части последних кластеров, назначенных файлам, так как объем файла в общем случае не кратен размеру кластера. На каждом файле в среднем теряется половина кластера. Эти потери особенно велики, когда на диске имеется большое количество маленьких файлов, а кластер имеет большой размер.
Использование связанного списка индексов (например, в FAT)
Данный способ является модификацией предыдущего метода. Файлу также выделяется память в виде связанного списка кластеров. Номер первого кластера запоминается в записи каталога, где хранятся характеристики этого файла. Остальная адресная информация отделена от кластеров файла. С каждым кластером диска связан индекс. Индексы располагаются в отдельной области диска – в файловых системах FAT это таблица (File Allocation Table):
Когда память свободна, все индексы имеют нулевое значение. Если некоторый кластер N назначен некоторому файлу, то индекс этого кластера становится равным либо номеру M следующего кластера данного файла, либо принимает специальное значение – признак того, что этот кластер является для файла последним. Индекс же предыдущего кластера файла принимает значение N, указывая на вновь назначенный кластер.
Достоинства: минимальность адресной информации, отсутствие фрагментации на уровне кластеров, отсутствие проблем при изменении размера файла, для доступа к произвольному кластеру файла не требуется последовательно считывать его кластеры, достаточно прочитать только секторы диска, содержащие таблицу индексов, отсчитать нужное количество кластеров файла по цепочке и определить номер нужного кластера, данные файла заполняют кластер целиком, следовательно имеют объем, равный степени двойки. Недостатки: Фрагментация на уровне файлов (файл может разбиваться на несмежные фрагменты).
Перечисление номеров кластеров, занимаемых этим файлом.
Достоинства: высокая скорость доступа к произвольному кластеру файла, так как здесь применяется прямая адресация, которая исключает просмотр цепочки указателей при поиске адреса произвольного кластера файла, отсутствие фрагментации на уровне кластеров. Недостатки: длина адреса зависит от размера файла и для большого файла может составить значительную величину. Данный подход с некоторыми модификациями используется в ОС UNIX.
Организация хранения личных файлов локально и в облаках
Статья написана для тех, кто ищет наилучший способ организации хранения и управления своими файлами и хочет при этом пользоваться всеми преимуществами наиболее распространенных на сегодняшний день облачных хранилищ.
Найти
Вариант решения
Файловая структура
Мне кажется, для организации хранения файлов уместна следующая классификация данных (файлов).
- Хранить вечно, доступ в будущем не предполагается. Эта категория данных, которую я называю “архивом”. Туда попадают документы “для истории”, которые в обозримом будущем нужны не будут, но когда-нибудь будут представлять “историческую ценность”.
- Хранить вечно, доступ в будущем очень вероятен. Это данные, относящиеся к категории постоянного (перманентного) хранения, доступ к таким данным периодически необходим. Это могут быть книги, музыка, дистрибутивы, сканы личных документов (паспорт, ИНН, прочее) и что угодно еще.
- Срок хранения не определен, доступ в будущем необходим. Это категория файлов проектов и “входящих” (в терминах GTD). Файлы разделены по папкам, каждая из которых соответствует одному проекту (в терминах GTD), и конечно отдельная папка для “входящих”.
Такое разделение данных позволяет четко понимать, что необходимо “старательно” бэкапить и что, в случае отсутствия потерь данных, будет доступно мне в любой момент в будущем.
Также важно, чтобы данное разделение данных было реализовано на одном уровне папок (без вложений), зачем это нужно — будет понятно из следующего раздела.
Структура каталогов, к которой я пришел, выглядит так (назовем ее базовой структурой каталогов):
Использование облачных хранилищ
Для унификации структуры хранения данных в каждом из облаков следует создать базовую структуру каталогов (если на данном облаке, например, файлы по проекту Х не хранятся, папку проекта можно не создавать, то же относится к архивам и данным постоянного хранения). После этого становится легко понятным — где именно в том или ином облаке сохранять данные, например, по тому или иному проекту.
Удобны два представления библиотеки:
- “Общие элементы”. Все содержимое папок библиотеки выводится в единой таблице, без группировки по папке библиотеки (в нашем случае по облачному хранилищу).
- “Видео”. Содержимое библиотеки разбито по папкам библиотеки (облачным хранилищам), и представлено в виде крупных значков.
Теперь, работая с проектом, файлы по которому находятся в нескольких облачных хранилищах, достаточно войти в библиотеку проекта, и все файлы будут доступны для работы. Например, это может выглядеть так:
Библиотеки как инструмент крайне просты и удобны для централизованного управления облачными хранилищами и переброски файлов из одного облака в другое буквально в один клик.
Кстати, не все файлы нужно хранить на диске (объем доступного пространства в облачных хранилищах как правило больше объема физического диска). Например, папки “permanent_video” и “permanent_music” я вообще не синхронизирую с компьютером, а обмен с этими папками осуществляю через папку “temp” соответствующего облачного хранилища. Посмотрев какое-то видео, если я хочу сохранить его в облаке, я перемещаю его в папку “temp”, а затем через веб-интерфейс облака перемещаю файл в папку “permanent_video” — файл удаляется с диска компьютера, но сохраняется в облаке.
И еще одна небольшая “фишка”. Расположение папки “Рабочий стол” я перенастроил на папку “temp” в моем основном облаке (Google Drive), в эту же папку по умолчанию сохраняются все файлы, скачиваемые через браузер и торрент-клиент. Таким образом все новые файлы автоматически оказываются в одном единственном месте и сразу же попадают в облако.
Изложенное в статье, конечно же, не претендует ни на полноту, ни на абсолютную истинность, но, смею надеяться, может быть полезно читателям для организации собственной системы хранения файлов.
Статья написана для тех, кто ищет наилучший способ организации хранения и управления своими файлами и хочет при этом пользоваться всеми преимуществами наиболее распространенных на сегодняшний день облачных хранилищ.
Найти
- Единую структуру папок для хранения и «обозрения» всех файлов.
- Способ реализации такой единой структуры с использованием преимуществ всех облачных хранилищ.
Вариант решения
Файловая структура
Мне кажется, для организации хранения файлов уместна следующая классификация данных (файлов).
- Хранить вечно, доступ в будущем не предполагается. Эта категория данных, которую я называю “архивом”. Туда попадают документы “для истории”, которые в обозримом будущем нужны не будут, но когда-нибудь будут представлять “историческую ценность”.
- Хранить вечно, доступ в будущем очень вероятен. Это данные, относящиеся к категории постоянного (перманентного) хранения, доступ к таким данным периодически необходим. Это могут быть книги, музыка, дистрибутивы, сканы личных документов (паспорт, ИНН, прочее) и что угодно еще.
- Срок хранения не определен, доступ в будущем необходим. Это категория файлов проектов и “входящих” (в терминах GTD). Файлы разделены по папкам, каждая из которых соответствует одному проекту (в терминах GTD), и конечно отдельная папка для “входящих”.
Такое разделение данных позволяет четко понимать, что необходимо “старательно” бэкапить и что, в случае отсутствия потерь данных, будет доступно мне в любой момент в будущем.
Также важно, чтобы данное разделение данных было реализовано на одном уровне папок (без вложений), зачем это нужно — будет понятно из следующего раздела.
Структура каталогов, к которой я пришел, выглядит так (назовем ее базовой структурой каталогов):
Использование облачных хранилищ
Для унификации структуры хранения данных в каждом из облаков следует создать базовую структуру каталогов (если на данном облаке, например, файлы по проекту Х не хранятся, папку проекта можно не создавать, то же относится к архивам и данным постоянного хранения). После этого становится легко понятным — где именно в том или ином облаке сохранять данные, например, по тому или иному проекту.
- “Общие элементы”. Все содержимое папок библиотеки выводится в единой таблице, без группировки по папке библиотеки (в нашем случае по облачному хранилищу).
- “Видео”. Содержимое библиотеки разбито по папкам библиотеки (облачным хранилищам), и представлено в виде крупных значков.
Теперь, работая с проектом, файлы по которому находятся в нескольких облачных хранилищах, достаточно войти в библиотеку проекта, и все файлы будут доступны для работы. Например, это может выглядеть так:
Библиотеки как инструмент крайне просты и удобны для централизованного управления облачными хранилищами и переброски файлов из одного облака в другое буквально в один клик.
Кстати, не все файлы нужно хранить на диске (объем доступного пространства в облачных хранилищах как правило больше объема физического диска). Например, папки “permanent_video” и “permanent_music” я вообще не синхронизирую с компьютером, а обмен с этими папками осуществляю через папку “temp” соответствующего облачного хранилища. Посмотрев какое-то видео, если я хочу сохранить его в облаке, я перемещаю его в папку “temp”, а затем через веб-интерфейс облака перемещаю файл в папку “permanent_video” — файл удаляется с диска компьютера, но сохраняется в облаке.
И еще одна небольшая “фишка”. Расположение папки “Рабочий стол” я перенастроил на папку “temp” в моем основном облаке (Google Drive), в эту же папку по умолчанию сохраняются все файлы, скачиваемые через браузер и торрент-клиент. Таким образом все новые файлы автоматически оказываются в одном единственном месте и сразу же попадают в облако.
Изложенное в статье, конечно же, не претендует ни на полноту, ни на абсолютную истинность, но, смею надеяться, может быть полезно читателям для организации собственной системы хранения файлов.
Защита данных предполагает наличие бэкапа — резервных копий, из которых можно выполнить их восстановление. Для большинства компаний и организаций резервное копирование данных относится к числу наиболее важных приоритетов. Около половины компаний работают со своими данными как со стратегическим активом. И ценность хранимых данных постоянно растет. Их используют для повышения качества обслуживания клиентов, поддержки текущей деятельности, исследований и разработок, учета, они задействованы в системах автоматизации, интернета вещей, искусственного интеллекта и др. Поэтому задача защиты данных от аппаратных сбоев, человеческих ошибок, вирусов и кибератак становится крайне актуальной.
В мире наблюдается рост киберпреступности. В прошлом году более 70% компаний подверглись кибератакам. Компрометация персональных данных клиентов и конфиденциальных файлов может иметь серьёзные последствия и приводить к огромным убыткам.
Вместе с тем появляется культура работы с данными, понимание того, что данные – это ценный ресурс, с помощью которого компания может получать дополнительную прибыль или сокращать издержки, а вместе с этим — и желание обеспечить надежную защиту своих данных.
Вариантов резервирования несколько: локальное или удаленное хранение резервных копий на собственной площадке, облачное хранение или бэкапы у хостинг-провайдеров.
Хранить и защищать
Как показывают результаты опросов, примерно четверть респондентов выполняет резервирование данных ежемесячно, столько же – еженедельно, и более четверти – ежедневно. И это вполне оправдано: в результате такой предусмотрительности почти 70% организаций избежали в минувшем году простоев из-за потери данных. В этом им помогают совершенствующиеся программные инструменты и сервисы.
В октябре 2019 года Gartner представила «магический квадрант» по программному обеспечению резервного копирования и восстановления ИТ-систем дата-центров. Ведущими вендорами этого ПО стали Commvault, Veeam, Veritas, Dell EMC и IBM.
При этом растет популярность облачного резервного копирования: продажи таких продуктов и сервисов, по прогнозам, будут расти более чем вдвое быстрее рынка программного обеспечения защиты данных в целом. По прогнозу Gartner, уже в этом году до 20% предприятий будут использовать резервное копирование в облако.
По прогнозам Marketintellica, мировой рынок ПО для создания и хранения резервных копий на своей (on premises) и на сторонней площадке (off-site) в ближайшей перспективе будет стабильно расти.
По информации IKS Consulting, в России сегмент «облачное резервное копирование как сервис» (BaaS) увеличивается в среднем на 20% в год. По данным опроса Acronis 2019 года, компании все чаще полагаются именно на облачное резервное копирование: его используют более 48% респондентов, а около 27% предпочитают комбинировать облачное и локальное резервное копирование.
Структура логического диска
Для организации логического диска каждая ОС разделяет его на две части:
- системная область.
- область данных (Data).
Системная область предназначена для хранения служебной информации и управляет использованием области данных: применяется для регистрации состояния каждого участка диска. Эта область создается при форматировании и обновляется при операциях с файлами.
В системной области находятся:
- Загрузочная запись – начальная область логического диска, содержащая небольшую программу, инициализирующую процесс загрузки ОС. Содержит блок параметров диска (DPB – Disk Parameter Block) и системный загрузчик (SB – System Bootstrap). Загрузочная запись системного диска называется главной загрузочной записью – Master Boot Record.
- Таблица размещения файлов («таблица» — условное обозначение).
- Корневой каталог – встроенное оглавление информации, содержащейся в области данных. Корневой каталог на диске единственный, совпадает с именем соответствующего диска и не может быть удален программными средствами.
Область данных предназначена для регистрации данных, хранящейся на диске. Содержит файлы и каталоги, подчиненные корневому каталогу. С учетом общей структуры логического диска структуру всего дискового пространства, разбитого на несколько разделов, можно представить следующим образом:
Вся информация, необходимая для начальной загрузки компьютера, находится в самом первом секторе жёсткого диска. Эта информация называется главной записью загрузки — MBR (Master Boot Record).
Расширенная таблица разделов состоит из двух элементов: первый элемент расширенной таблицы разделов для первого логического устройства указывает на его загрузочный сектор, второй элемент — на EBR следующего логического устройства (Extended Boot Record, EBR — Расширенная загрузочная запись).
Читайте также: