Резервное копирование большого количества файлов
Genie Backup Manager Pro - очень мощный, многофункциональный программный продукт для осуществления многих видов резервного копирования. Вы можете создавать копии важных данных на жестких дисках, сменных носителях, в локальной сети, на оптических дисках CD и DVD, используя ленточные носители, FTP-сервера, а также специальный онлайн-сервис разработчика.
Последний вариант хранения архивов не бесплатный. Однако сама возможность резервного копирования информации на носитель, находящийся на другом конце света, где клятвенно гарантируется сохранность данных, весьма любопытна. Ведь жизнь может преподносить самые неожиданные сюрпризы. Представьте себе – вас выгнала жена из дома, а все носители информации остались в квартире, куда вас не пустят, пока вы не помиритесь. А работать-то надо. Катастрофа? Нет, если вы храните резервную копию на удаленном сервере.
Genie Backup Manager Pro содержит инструменты повышения безопасности копируемых данных. Самый простой способ заключается в закрытии доступа с помощью пароля. Также вы можете использовать несколько мощных алгоритмов шифрования данных.
В состав Genie Backup Manager Pro включен менеджер доступа к файлам, позволяющий включать в резервные копии даже занятые в момент архивирования файлы. Вся история выполнения задач резервного копирования накапливается внутри отдельной библиотеки. Подобная возможность помогает в отслеживании версий сохраненных файлов, а также позволяет осуществлять их поиск, запуск, просмотр и распаковку, не обращаясь к специальному мастеру восстановления данных.
Программа позволяет создавать самораспаковывающиеся архивы, данные из которых можно извлечь на любой рабочей станции, независимо от наличия в системе установленного Genie Backup Manager. Впрочем, даже фирменный формат GBP на самом деле является ZIP-архивом с небольшим дополнением в виде служебных файлов. Еще один способ упрощения восстановления данных заключается в добавлении к резервной копии исполняемого файла, позволяющего открывать архивы, выбирать конкретные файлы для восстановления.
В архив могут помещаться лишь новые и измененные файлы с момента последнего копирования. Кроме того, вы можете архивировать лишь файлы, изменившиеся с момента создания последней полной копии.
Во время восстановления данных сверяется контрольная сумма архивного файла, что сразу проявляет какие-либо изменения резервных копий.
Вы можете применять фильтры, отвечающие как за включение, так и за исключение определенных файлов из состава резервных копий. Впрочем, зачастую пользователи даже не подозревают, где у них хранятся те или иные файлы, документы. В этом нет ничего страшного. Genie Backup Manager содержит большое количество предварительных установок, позволяющих выбирать файлы конкретных типов, например, Избранное Internet Explorer, Мои Документы, почтовые базы Outlook и Outlook Express, а также многое другое.
Если вы используете оптические накопители для хранения резервных копий, то запись на них не всегда может быть стопроцентно безопасной. Поцарапанный диск, завышенная скорость записи – все это зачастую приводит к потере данных, если вы решите провести их восстановление с подобного носителя. Genie Backup Manager позволяет осуществлять запись сначала в тестовом режиме, и в случае успешного завершения операции только переходить к физическому переносу данных на CD/DVD.
Genie Backup Manager содержит инструменты планирования задач, позволяющие полностью автоматизировать все процедуры резервного копирования. Запланированные задачи не пропадут после закрытия приложения. Вы можете даже без риска потери расписания закрыть текущую сессию и зайти под другим пользователем. На начало и завершение резервного копирования может быть назначен запуск внешнего приложения.
В состав дистрибутива продукта включено несколько дополнительных утилит. Genie-Wipe позволяет удалять файлы без возможности последующего восстановления. Genie Eyes-Only является независимым модулем, осуществляющим шифрование данных.
Genie Backup Manager – мощная, сложная программа с большим количеством инструментов, меню, кнопок. Однако ее освоение сильно облегчается, благодаря грамотной структуризации функций, наличию удобных учебников, наглядно демонстрирующих всю последовательность действий при выполнении основных задач. Кроме того, в системном лотке находится Genie Backup Manager Agent, который регулярно пугает вас своими полезными советами, касающимися, скорее, общих принципов резервного копирования, чем работы самой программы. Например, если вы создали резервную копию на том же физическом носителе, что и исходные данные, агент выдаст предупреждение, утверждающие, что все ваши старания тщетны, ведь если сломается устройство, то никакие копии ему уже не помогут. Лучше воспользоваться другим носителем.
Программа имеет только англоязычный интерфейс, что в сочетании с необходимостью понимания большого количества текстовой информации затрудняет освоение для тех, кто плохо владеет иностранным языком. Впрочем, Genie Backup Manager может переключаться в Easy Mode (легкий режим), который намного проще в обращении, ценой отсутствия доступа ко многим настройкам.
Напоследок вспомните слова Владимира Маяковского, который признавался, что «русский бы выучил только за то, что им разговаривал Ленин». Может быть, и английский язык стоит подтянуть, памятуя, что «им разговаривает» Genie Backup Manager.
К содержанию GrandBackup Personal Edition 1.1
GrandBackup Personal Edition – удобная программа для автоматизации резервного копирования с традиционным интерфейсом, во многом напоминающим Проводник. Простота, логичность компоновки инструментов, диалоговых окон позволила разработчикам отказаться от использования каких-либо мастеров, помощников. Данное решение вполне оправдано.
Задачи резервного копирования могут быть сгруппированы в виде древовидной структуры. Список групп задач можно сортировать по собственному усмотрению. Список задач отображается применительно к отдельному каталогу, а выбор какого-либо элемента открывает в нижней части окна историю выполнения предыдущих резервных копий.
Кнопка New Task на панели инструментов открывает группу настроек нового задания резервного копирования. В качестве источников данных могут выступать лишь папки на жестких дисках. Внутри каждой задачи допускается указание нескольких папок. Приемником копии может стать другая папка, локальная сеть, FTP-сервер. Подключение к ресурсам может осуществляться через прокси-сервер. Далее вы можете указать правила исключений файлов. Программа содержит несколько предварительных установок, однако они не столь интуитивны, как у конкурентов. Вы просто можете выбрать некоторые расширения из списка.
GrandBackup Personal Edition содержит встроенный ZIP-компрессор. Кроме того, вы можете использовать большое количество внешних архиваторов для сжатия данных. Программа имеет набор предварительных установок для множества сторонних продуктов. Архивы могут использовать шифрование, а также защищаться паролем.
Планирование задания осуществляется по нескольким правилам. Встроенный планировщик позволяет запускать резервное копирование через различные промежутки времени. Программа также обладает функцией Media Smart Detect. Как только в системе обнаруживается новое устройство, автоматически начинается резервное копирование, данные переносятся на мобильный носитель. Например, если вы подключили через USB мобильный жесткий диск, то на него автоматически сохранятся описанные в задаче данные.
Программа может также обнаруживать изменение отдельных файлов внутри папок, включенных в задание. Как только у какого-либо файла поменялся размер, атрибут, имя или дата модификации – сразу начинается резервное копирование.
На старт заданий можно назначать глобальные горячие клавиши. И, наконец, GrandBackup Personal Edition обладает средствами интеграции со встроенным в операционную систему планировщиком заданий.
Если вы пользуетесь коммутируемым соединением при подключении к Сети, то GrandBackup Personal Edition способен автоматически дозваниваться до провайдера после начала выполнения задания. Скорость передачи данных можно строго лимитировать. Выполнение каждой задачи может требовать ввода пароля.
GrandBackup Personal Edition поддерживает одновременный запуск нескольких задач, изменение приоритетов процессов, отправку уведомлений по электронной почте. В дистрибутив продукта включен лишь английский интерфейс. К счастью, объем текстовой информации в программе не столь велик, чтобы считать данный лингвистический барьер серьезной проблемой.
Handy Backup – универсальный инструмент для осуществления резервного копирования. Программа поддерживает большое количество методов, путей сохранения важной информации. По данному показателю Handy Backup не уступает ни одному конкуренту. Ранее было рассказано, что программа Genie Backup Manager Pro позволяет хранить данные, используя свой online-сервис. Handy Backup имеет аналогичную возможность. А это значит, что вам не страшны природные катаклизмы и ссоры с супругами. Даже если все носители информации в квартире и офисе будут разрушены и испепелены, ваши данные все равно останутся в целости и сохранности.
Создание новой задачи осуществляется с помощью специального Мастера. Программа имеет русский интерфейс, и по мере ввода настроек вам будут подробно объяснять весь ход процесса. Иными словами, даже если вы не знаете, что такое «резервное копирование», это не станет помехой в осуществлении загадочного таинства – сохранения критически важных данных.
Ввод настроек начинается с указания типа операции (нас интересует пока «резервное копирование»), после чего вы сразу переходите к указанию источников данных. Их роль могут играть папки на жестком диске, отдельные файлы, FTP-ресурсы, а также настройки и пользовательские данные многих программ. Например, вы можете сохранить реестр Windows, список контактов ICQ, почтовую базу Outlook Express, закладки браузеров и многое другое. Здесь стоит обратить внимание на интересный момент. Вы можете дополнительно загрузить из Сети базу примеров настроек и пользовательских файлов огромного количества программных продуктов. Иными словами, нет ничего страшного в том, что у вас на рабочей станции установлено много разнообразных программ, а вы не знаете, где они находятся, где хранят свои настройки, базы. Просто отметьте в древовидном списке необходимые пункты, подлежащие резервному копированию. Между тем, фильтры включения и исключения придется набирать вручную. Handy Backup содержит небольшой набор правил по умолчанию, однако описаний к ним нет. Впрочем, если вам известно, что, например, *.tmp – это временные файлы, то запутаться в настройках будет проблематично.
Далее вы должны указать место назначения резервной копии. В качестве приемника могут выступать папки на жестком диске, ресурсы локальной сети, FTP, SFTP, оптические носители CD и DVD, а также панацея от локальной катастрофы – online-сервис разработчика. Каждый из пунктов списка имеет собственные настройки. Например, если вы выберите оптические носители, то программа предложит автоматически разрезать архив/копию на несколько частей, согласно объемам дисков.
Резервное копирование может быть полным или инкрементальным. Вы можете использовать временные метки в именах архивов. Программа поддерживает сжатие ZIP, а также позволяет шифровать данные и закрывать доступ паролем.
Встроенный планировщик допускает указание конкретного времени старта задачи, а также позволяет задавать регулярность наступления событий. Далеко не у всех пользователей компьютер остается включенным на целые сутки. Handy Backup позволяет запускать при очередном старте пропущенные задачи.
В Handy Backup удачно реализован инструмент просмотра резервных копий. По мере работы с документами, их содержимое меняется, появляются новые папки, файлы. В зависимости от их статуса, меняется цвет. Идентичные файлы отображаются черным цветом, отличающиеся – фиолетовым, исключенные – серым и так далее.
Handy Backup можно запустить как службу. В зависимости от статуса работы программы, меняется ее значок в системном лотке. Вы можете создавать новые задачи, просто перетаскивая папки из любого файлового менеджера, поддерживающего механизм drag & drop.
В будущих версиях Handy Backup ожидается появление дифференциального резервного копирования, проверки целостности данных после завершения архивирования. Также вскоре появится поддержка резервного копирования с мобильных телефонов.
Second Copy позволяет создавать «вторые копии» важных пользовательских файлов или, говоря иначе, осуществляет резервное копирование. Программа допускает создание нескольких профилей/задач, а также автоматизацию их запуска с помощью планировщика.
Профили могут разделяться на группы, отображаемые на рабочем окне приложения в виде вкладок. Создание новой задачи осуществляется с помощью специального Мастера, задающего пользователю, по мере ввода настроек, почти риторические вопросы.
На вопрос «Что?» вам стоит ответить указанием папки, которую планируется сохранить в резервной копии. Следующий шаг «Какие файлы?» позволяет указать конкретные элементы внутри выбранной ранее папки. Программа не имеет каких-либо фильтров, весь выбор осуществляется только вручную. Ответом на вопрос «Куда?» послужит папка – приемник резервной копии. Встроенный планировщик решит вопрос «Когда?». Наиболее интересный момент создания профиля – поиск ответа на загадку «Как?». Вы можете дублировать данные, осуществлять их перенос, а также создавать архивы. В последнем случае нужно быть очень осторожным. Second Copy, обладая собственным модулем сжатия данных в формате ZIP, некорректно обрабатывает кириллицу, которая отображается непечатными символами.
Программа поддерживает защиту архива паролем и несколько методов шифрования. Кроме того, в дополнительных опциях можно указывать различные правила включения файлов в резервные копии (например, пропускать скрытые файлы), организовывать запуск приложений до и после окончания процесса, автоматически дозваниваться до провайдера в случае использования коммутируемого подключения.
Резервное копирование по локальной сети и с использованием FTP в качестве источника или приемника осуществляется с помощью аналогичного Мастера, вызываемого из меню File. Последовательность его действий практически не отличается от локального резервного копирования за исключением нескольких специфических сетевых функций.
При использовании файловой системы NTFS в резервную копию могут передавать дополнительные атрибуты файлов. Программа обладает многозадачностью, то есть позволяет осуществлять резервное копирование нескольких профилей одновременно.
Вы можете запустить Second Copy в системе как службу. На самом деле, это не так просто, как кажется. Разработчики поленились создать для подобной цели отдельный пункт меню, опцию. В Справке, прилагающейся к программе, процедура запуска Second Copy в качестве службы, описана в виде последовательности из 17(!) шагов.
Впрочем, это, пожалуй, единственная неоправданная сложность, присутствующая в Second Copy. В остальном, это грамотно построенный продукт, лишенный каких-либо явных недостатков.
The Copier – простая, компактная бесплатная программа для организации автоматизированного процесса резервного копирования данных на компьютере. The Copier позволяет одновременно обрабатывать лишь одну задачу, однако вы можете создать несколько проектов и открывать по мере необходимости.
Создание новой задачи происходит в отдельном редакторе заданий, выполненном в виде диалогового окна с несколькими вкладками. Сначала необходимо указать папки, участвующие в резервном копировании. Все исключения вводятся единой строкой внутри той же вкладки.
Далее следует указать расположение архивных копий документов. Здесь же настраивается расписание задачи. Возможности планировщика очень бедны и фактически привязаны только к ежедневному расписанию. Впрочем, вы можете создавать дополнительные копии, периодичность создания которых привязывается к недельному графику.
The Copier может также выполнять пользовательские команды в рамках заданий. В качестве команды может выступать запуск внешнего приложения, а также копирование, перенос и удаление файлов.
После наступления описанного в задании события, начинается резервное копирование, отчет о котором отображается внутри главного окна приложения. Вы можете сохранять текущий проект, что позволяет использовать The Copier в сочетании с внешними планировщиками.
Имя архива резервной копии может включать некоторые переменные, например, текущую дату. The Copier позволяет создавать многотомные архивы, а также допускает участие в резервном копировании файлов более 4ГБ. Для подстраховки в программу включена поддержка SFX-архивов. Во избежание проблем с кириллицей, The Copier может использовать как OEM, так и Windows кодировку имен файлов.
Программа очень проста и неприхотлива. Однако нетрудно заметить отсутствие каких-либо возможностей резервного копирования за пределами жестких дисков. Локальная сеть, FTP, оптические носители – все эти источники и приемники данных не могут быть задействованы с помощью The Copier. Однако не стоит забывать, что данный продукт бесплатен. Он нацелен на домашнее применение, где наиболее востребовано именно архивирование данных жесткого диска.
Задача звучит так:
Есть каталог с файлами. Он внутри разбит на подкаталоги по датам \YYYY\MM\DD\.
Каждый день в него добавляется 20-40 тысяч JPG файлов по 250кб.
Файлы хранятся несколько лет.
Файловая система - NTFS, 8dot3name отключено (иначе всё очень плохо и медленно).
Дисковый массив - два десятка 1.8TB 10K HDD, RAID10, 512MB кэш контроллера, DELL PERC H700.
Необходимо выполнять резервное копирование этого каталога каждый день.
Сейчас для резервного копирования используется Cobian Backup (в WS2012R2).
Полные раз в 60 дней + инкрементальные копии каждый день с логикой на архивном атрибуте файлов.
Хранение в 7zip без сжатия, иначе файлов в файловой системе на бекап сервере копится очень много файлов, и сложно определить в каком каталоге занято место (при помощи WinDirStat или TreeSize).
Проблемы с Cobian Backup следующие (работа над ним не ведётся минимум с 2014г.):
1. Задание полного бекапа раз в 60 дней длится сутками.
2. В середине выполнения задания служба может перестать отзываться и её нужно прибивать.
3. Иногда служба может упасть.
4. Таких каталогов несколько, и заданий соответственно.
В Cobian Backup есть ещё ~50-70 мелких заданий, но до появления этих больших с ними проблем не наблюдалось.
Понятно, что ПО, которое делает копии используя VSS и образы всего раздела, будет более производительным и менее проблемным в плане выполнения бекапа, НО:
1. На этом разделе присутствуют другие каталоги, которые не нужно включать в бекап.
2. К копии должен сохраняться простой файловый доступ (как к файлам или архивам).
В результате всего вышеперечисленного, для решения задачи разыскивается современный аналог Cobian Backup, который умеет:
1. Инкрементальное/дифференциальное копирование каталога с файлами по расписанию.
2. Хранит бекапы в виде файлов или архивов, к которым легко получить доступ. (поэтому использование мощных решений для бекапов затруднительно (типа SCDPM, Acronis, Symantec/Veritas, Bacula, etc.)
Наиболее близкий аналог найденный за последнее время это APBackup, это крайний запасной вариант.
Но в нём невозможно настроить в одном задании полный+инкрементальный бекапы и с учётом количества заданий, сопровождение этого списка становится проблемой.
Подготовку нового сервера к работе следует начинать с настройки резервного копирования. Все, казалось бы, об этом знают — но порой даже опытные системные администраторы допускают непростительные ошибки. И дело здесь не только в том, что задачу настройки нового сервера нужно решать очень быстро, но еще и в том, что далеко не всегда бывает ясно, какой способ резервного копирования нужно использовать.
Конечно, идеальный способ, который бы всех устраивал, создать невозможно: везде есть свои плюсы и минусы. Но в то же время вполне реальным представляется подобрать способ, максимально подходящий под специфику конкретно проекта.
- Скорость (время) резервного копирования в хранилище;
- Скорость (время) восстановления из резервной копии;
- Сколько копий можно будет держать при ограниченном размере хранилища (сервере хранения бекапов);
- Объем рисков из-за неконсистентности резервных копий, неотлаженности метода выполнения бэкапов, полной или частичной потери бекапов;
- Накладные расходы: уровень нагрузки, создаваемой на сервер при выполнении копирования, уменьшение скорости отклика сервиса и т.п.
- Стоимость аренды всех использующихся сервисов.
В этой статье мы расскажем об основных способах резервного копирования серверов под управлением Linux-систем и о наиболее типичных проблемах, с которыми могут столкнуться новички в этой очень важной области системного администрирования.
Резервная копия в Network Attached Storage
Компании часто создают резервные копии на NAS, то есть внешних устройствах для сбора данных, подключенных к корпоративной сети. Чаще всего именно компании используют NAS, однако, они становятся всё более популярными и среди домашних пользователей.
Использование NAS для создания резервной копии может оказаться хорошим решением, особенно для людей, которые хотят сохранять файлы из более чем одного источника.
- автоматическое резервное копирование;
- беспроводное решение, которое может взаимодействовать также с мобильными устройствами.
- может быть дорого;
- может быть сложно в реализации для некоторых пользователей.
Что резервировать (в дополнение к очевидному)
Может показаться, что достаточно указать программному обеспечению для резервного копирования папки с документами, фотографиями, видео и музыкой и позволить ему делать свое дело. Возможно, это так, если вы усердно работаете над тем, чтобы поместить ваши данные в нужное место на ваших дисках. Тем не менее, существуют другие типы данных, о которых следует подумать при резервном копировании.
Типы резервного копирования
Резервное копирование может быть таким же простым, как копирование файла из одного места в другое, например, с жесткого диска на съемный USB-накопитель. Но арсенал инструментов в вашем распоряжении может гораздо больше. То, что вам нужно, определяет, какой тип резервного копирования вы должны использовать.
Онлайн резервное копирование
Мы находимся в эре облачных вычислений, поэтому резервное копирование в интернете, когда-то немного специализированное, теперь стало нормой для важных файлов.
В отличие от вышеперечисленных сервисов, которые также включают функцию синхронизации файлов, продукты прямого резервного копирования склонны к прямой передаче файлов с жесткого диска в онлайн/облачное хранилище с простыми вариантами восстановления. Они могут включать некоторую синхронизацию файлов, но вы с большей вероятностью вы увидите заботу о безопасности.
Установите программное обеспечение на ПК, скажите ему, какие файлы/папки необходимо сохранить, а всё остальное оно сделает в фоновом режиме. Поскольку хранилище подключено к сети, вы обычно можете читать файлы через браузер или восстанавливать файлы в других системах по мере необходимости.
Известные бренды: iDrive, SOS Online Backup, Acronis True Image и Carbonite.
Хранение резервной копии в сети (облако)
- автоматическое резервное копирование;
- некоторое пространство предоставляется бесплатно.
- требуется подключение к интернету; сохранности данных;
- компании, предоставляющие облачные услуги, не обязаны хранить данные вечно.
Социальные сети
Может показаться странным создание резервной копии информации, которую вы не храните на своем жестком диске, но доверяете ли вы Твиттеру и Фейсбуку, разве они никогда не сталкивались с потерей данных? Вы не сможете использовать эти резервные копии, чтобы восстановить аккаунт, но лучше иметь избыточную копию ваших записей, чем рисковать потерять всё это.
Прочитайте, как загрузить ваши данные Facebook. Твиттер похож, но менее сложен: в вашем браузере на рабочем столе зайдите в настройки вашей учетной записи. Прокрутите вниз и нажмите «Запросить свой архив». Вы получите по электронной почте ссылку с полным файлом всех ваших твитов и загруженных фотографий.
Люди делятся на тех, кто уже делает backup и тех, кто будет его делать. Никто уже не сомневается в том, что резервное копирование должно стать повседневным явлением. Backup – это помощь не только в случае кражи или потери устройства.
Резервная копия может оказаться полезной также в случае заражения компьютера вредоносным ПО, которое шифрует доступ к данным и за его разблокировку требует оплаты. Создать backup можно несколькими способами, и каждый из них имеет свои недостатки и преимущества.
Драйверы
Если у вас есть аппаратная периферия, подключенная к вашему компьютеру, у вас есть драйверы – программное обеспечение, которое позволяет вашему ПК общаться с видеокартами, принтерами, сканерами и тому подобным. Если вы еще не создали образ диска, по крайней мере, сохраните ваши текущие драйверы с помощью инструмента, такого как Double Driver.
Если вы не сделаете резервную копию, вам, возможно, придется порыться на сайтах производителей, чтобы получить драйверы во время восстановления ПК – но, честно говоря, это может быть лучший путь. Тогда у вас будут самые последние версии драйверов с цифровой подписью и из надлежащего источника. Это займет больше времени, но может принести пользу вашему ПК и вам в долгосрочной перспективе.
Полное резервное копирование
Полное копирование обычно затрагивает всю вашу систему и все файлы. Еженедельное, ежемесячное и ежеквартальное резервное копирование подразумевает создание полной копии всех данных. Обычно оно выполняется по пятницам или в течение выходных, когда копирование большого объёма данных не влияет на работу организации. Последующие резервные копирования, выполняемые с понедельника по четверг до следующего полного копирования, могут быть дифференциальными или инкрементальными, главным образом для того, чтобы сохранить время и место на носителе. Полное резервное копирование следует проводить по крайней мере еженедельно.
В большинстве публикаций по соответствующей тематике рекомендуется полное резервное копирование выполнять один или два раза в неделю, а в остальное время время — использовать инкрементальное и дифференциальное. В таких советах есть свой резон. В большинстве случаев полного резервного копирования раз в неделю вполне достаточно. Выполнять его повторно имеет смысл в том случае, если у вас нет возможности на стороне хранилища актуализировать полный бекап и для обеспечения гарантии корректности резервной копии (это может понадобиться, например, в случаях, если вы по тем или иным причинам не доверяете имеющимся у вас скриптам или софту для резервного копирования.
- Полное резервное копирование на уровне файловой системы;
- Полное резервное копирование на уровне устройств.
Рассмотрим их характерные особенности на примере:
Резервировать мы будем только /home. Все остальное можно быстро восстановить вручную. Можно также развернуть сервер системой управления конфигурациями и подключить к нему наш /home.
Безопасность
Необходимо обезопасить себя от ситуации когда хранилище или ваш сервер будут взломаны. Если взломан сервер, то лучше чтобы не было прав на удаление/изменение файлов в хранилище у пользователя, который записывает туда данные.
Если взломано хранилище, то права бекапного пользователя на сервере так же желательно ограничить по максимуму.
Если канал резервного копирования может быть прослушан, то нужны средства шифрования.
Резервная копия на внешнем жестком диске
Внешние жесткие диски можно подключать к компьютеру и другим устройствам. Если вы используете их для резервного копирования файлов, лучше не пользуйтесь ими каждый день.
Плюсы внешнего жесткого диска:
- относительно дешевые;
- много места для хранения больших файлов.
Минусы внешнего жесткого диска:
- потенциальная возможность потери информации о сохраненных файлов (перенапряжение или вредоносное программное обеспечение).
Сетевое хранилище (NAS)
Устройство NAS – это накопитель (или диски), который находится в вашей сети, поэтому все пользователи в сети могут получить к нему доступ. Иногда NAS называют домашним сервером. Они не всегда дешевы, а некоторые даже не имеют встроенного хранилища – вам придётся покупать диски отдельно. Но с сетевыми хранилищами удобно работать на постоянной основе.
NAS может сделать гораздо больше, чем резервное копирование нескольких файлов. Многие могут создавать резервные копии нескольких компьютеров дома или в офисе. Потоковая передача мультимедиа с NAS на такое устройство, как игровая приставка или смартфон, является обычным явлением; общий доступ к файлам по сети и через Интернет также является нормой.
В большинстве блоков NAS есть FTP, удаленный доступ в режиме онлайн, элементы управления безопасностью и различные конфигурации RAID для определения того, как диски хранят ваши данные (избыточно или распределено по дискам). Некоторые имеют несколько портов Ethernet, Wi-Fi и USB. Некоторые захватывают ввод с сетевых цифровых видеокамер. Варианты кажутся почти бесконечными, поэтому стоит выбрать подходящий вариант для дома или офиса.
Дифференциальное резервное копирование
При дифференциальном резервном копировании каждый файл, который был изменен с момента последнего полного резервного копирования, копируется всякий раз заново. Дифференциальное копирование ускоряет процесс восстановления. Все, что вам необходимо — это последняя полная и последняя дифференциальная резервная копия. Популярность дифференциального резервного копирования растет, так как все копии файлов делаются в определенные моменты времени, что, например, очень важно при заражении вирусами.
Дифференциальное резервное копирование осуществляется, например, при помощи такой утилиты, как rdiff-backup. При работе с этой утилитой возникают те же проблемы, что и при инкрементальном резервном копировании.
В целом, если при поиске разницы в данных осуществляется полный перебор файлов, проблемы такого рода резервирования аналогичны проблемам с rsync.
Хотим отдельно отметить, что если в вашей схеме резервного копирования каждый файл копируется отдельно, то стоит удалять/исключать ненужные вам файлы. Например, это могут быть кеши CMS. В таких кешах обычно очень много маленьких файлов, потеря которых не скажется на корректной работе сервера.
Схема организации хранения и восстановления из резервных копий
- Резервные копии нельзя хранить в одном месте с резервируемыми данными. Если вы храните резервную копию на одном дисковом массиве с вашими данными, то вы потеряете её в случае повреждения основного дискового массива.
- Зеркалирование (RAID1) нельзя сравнивать с резервным копированием. Рейд защищает вас только от аппаратной проблемы с одним из дисков (а рано или поздно такая проблема будет, т.к. дисковая подсистема почти всегда является узким местом на сервере). К тому же при использовании аппаратных рейдов есть риск поломки контроллера, т.е. необходимо хранить его запасную модель.
- Если вы храните резервные копии в рамках одной стойки в ДЦ или просто в рамках одного ДЦ, то в такой ситуации тоже имеются определенные риски (об этом можно прочитать, например, здесь.
- Если вы храните резервные копии в разных ДЦ, то резко возрастают затраты на сеть и скорость восстановления из удаленной копии.
Часто причиной восстановления данных служит повреждение файловой системы или дисков. Т.е. бекапы нужно хранить где-то на отдельном сервере-хранилище. В этом случае проблемой может стать «ширина» канала передачи данных. Если у вас выделенный сервер, то резервное копирование очень желательно выполнять по отдельному сетевому интерфейсу, а не на том же, что выполняет обмен данных с клиентами. Иначе запросы вашего клиента могут не «поместиться» в ограниченный канал связи. Или из-за трафика клиентов бекапы не будут сделаны в срок.
Далее нужно подумать о схеме и времени восстановления данных с точки зрения хранения бекапов. Может быть вас вполне устраивает, что бекап выполняется за 6 часов ночью на хранилище с ограниченной скоростью доступа, однако восстановление длиной в 6 часов вас вряд ли устроит. Значит доступ к резервным копиям должен быть удобным и данные должны копироваться достаточно быстро. Так, например, восстановление 1Тб данных с полосой в 1Гб/с займет почти 3 часа, и это если вы не «упретесь» в производительность дисковой подсистемы в хранилище и сервере. И не забудьте прибавить к этому время обнаружения проблемы, время на решение об откате, время проверки целостности восстановленных данных и объем последующего недовольства клиентов/коллег.
Внешние диски
Подключите внешний накопитель к компьютеру и начните работу. Конечно, диски бывают разных форм, размеров и конфигураций. Стандартный привод не будет стоить дорого, но он ничего не будет делать, кроме как сидеть и ждать когда вы выполните всю работу. Почти все накопители сегодня используют такие разъемы, как USB 3.0 или USB-C, чтобы получить невероятно высокую скорость передачи данных.
Возможно, ваше самое важное решение будет заключаться в том, стоит ли переходить на более быстрые, но более дорогие твердотельные накопители (SSD). В отличие от жестких дисков, твердотельные накопители не имеют движущихся частей, а это означает фантастическую производительность, что всегда является плюсом, когда вам нужно скопировать много данных.
Резервная копия на USB
Компактное и дешёвое решения. Память форма USB удобна в использовании – Вы можете подключить USB к другим устройствам, а хранение данных очень простое. Их небольшой размер является, однако, не только их преимуществом, но и опасностью – их легко потерять.
При этом, создавая резервную копию на USB, необходимо учитывать количество циклов чтения и записи, которые может принять USB.
- компактный размер;
- очень дешевые;
- легкость переноса данных.
- маленькие и легко потерять;
- ограниченное количество циклов чтения и записи.
Клонирование полного образа диска
Есть несколько способов сделать резервную копию всего жесткого диска. Первый: используйте программное обеспечение для копирования всех файлов с диска на другой (больший) диск. Это означает, что вы получаете всё, даже если вам это не нужно, но можете легко восстанавливать выбранные файлы из него по мере необходимости.
Возможно, лучшим способом является создание образа диска, также называемое клонирование. Образ диска – это копия всех ваших данных – всех файлов и папок, даже программ и системных файлов – сделанных как моментальный снимок диска в данный момент. При использовании для восстановления клон/образ перезаписывает существующую систему, и жесткий диск возвращается в состояние, в котором он находился во время резервного копирования.
Создание образа/клона – отличный способ сделать резервную копию нового компьютера. Затем, когда он начинает работать плохо (это происходит со всеми компьютерами), вы можете вернуть диск к его первоначальным настройкам. Имейте в виду, однако, что это похоже на возврат к заводским настройкам – хотя и к вашим собственным – это означает, что восстановление не будет включать в себя данные, накопленные после первоначальной съёмки образа. Эти данные должны быть зарезервированы отдельно. (Да, у вас должно быть два набора резервных копий. Я уже упоминал об избыточности?)
Лучший вариант: регулярно делать полный образ диска, включая данные, используя программное обеспечение, которое может считывать образы и выборочно извлекать файлы для восстановления при необходимости. Вам понадобится очень большой диск для резервного копирования, как правило, внешний жесткий диск или вариант хранения в вашей домашней сети.
Стороннее программное обеспечение для создания образа диска включает в себя бесплатные DriveImage XML, Clonezilla или Macrium Reflect Free; или попробуйте высококачественные платные решения, если вы планируете клонировать на постоянной основе.
Полное резервное копирование на уровне устройств
-
mdraid и DRBD
Фактически настраивается RAID1 с диском/рейдом на сервере и сетевым диском, и время от времени (по частоте выполнения бекапов) дополнительный диск синхронизируется с основным диском/рейдом на сервере.
Например, с одним MySQL это будет выглядеть так:
* Коллеги рассказывают истории как у кого-то «read lock» иногда приводил к дедлокам, но на моей памяти такого не было ни разу.
Далее можно копировать снапшот в хранилище. Главное — следить за тем, чтобы во время копирования снапшот не самоуничтожился и не забывать, что при создании снапшота скорость записи упадет в разы.
Бекапы СУБД можно создать отдельно (например, используя бинарные логи), устранив тем самым простой на время сброса кеша. А можно создавать дампы в хранилище, запустив там инстанс СУБД. Резервное копирование разных СУБД — это тема для отдельных публикаций.
Сжатие устраняет проблемы скорости передачи, забития канала и места в хранилище. Но, однако если вы не используете AVFS в хранилище, то на восстановление только части данных у вас уйдет много времени. Если будете использовать AVFS, то столкнетесь с её «сыростью».
Альтернатива сжатию блоками — squashfs: можно подмонтировать, к примеру, по Samba раздел к серверу и выполнить mksquashfs, но эта утилита так же работает с файлами, т.е. зависит от их количества.
К тому же при создании squashfs тратится достаточно много ОЗУ, что может легко привести к вызову oom-killer.
Электронная почта
Использование клиентского программного обеспечения, такого как Outlook, с Microsoft Office 365, является предпочтением многих, но ситуация с резервным копированием намного сложнее, так как для этого требуется создать резервную копию файла, называемого PST (Personal Storage Table). Microsoft предоставляет полные инструкции по этому поводу.
Печать резервной копии
На первый взгляд эта идея может показаться шуткой. Но печать «спасает», например, в случае перерыва в подаче электроэнергии. Тогда легко можно получить доступ к данным. Конечно, такой способ резервного копирования имеет свои минусы – для хранения данных нужно много физического пространства, и Вы не можете таким образом хранить видео и аудио файлы.
Заключение
У каждой системы резервного копирования свои минусы и свои плюсы. В этой статье мы постарались осветить часть нюансов при выборе системы резервного копирования. Надеемся, что они помогут нашим читателям.
- время резервного копирования в текущей стадии проекта;
- время резервного копирования в случае, если данных будет в разы больше;
- нагрузку на канал;
- нагрузку на дисковую подсистему на сервере и в хранилище;
- время восстановление всех данных;
- время восстановления пары файлов;
- необходимость в консистентности данных, особенно БД;
- расход памяти и наличие вызовов oom-killer;
В качестве решений по резервному копированию, можно использовать supload и наше облачное хранилище.
Читателей, которые не могут оставлять комментарии здесь, приглашаем к нам в блог.
Мы все знаем, что должны делать резервную копию данных. Это важно для благополучия человека и душевного спокойствия, и одна копия файла на вашем компьютере не является резервной копией. Избыточность здесь только в плюс!
Миллионы людей производят квадриллионы файлов Вместе с тем, много людей – 30 процентов – до сих пор не удосужилось сделать не единой резервной копии. Телефоны теряются или просто пропадают, компьютеры заражаются, происходят всякие несчастные случаи. Тем не менее, даже после потери важного документа, незаменимой фотографии или целых наборов финансовых отчетов, некоторые все равно не создают резервных копий.
Возможно, это потому, что резервное копирование требует определенных усилий. В прошлом это было слишком сложно. Теперь, благодаря новому программному обеспечению, оборудованию и услугам, это стало проще, чем когда-либо.
Вот краткий обзор доступных типов резервного копирования, а также инструментов, которые вам понадобятся для его выполнения, с минимальными затратами труда.
Выбор места резервирования
Способ резервного копирования данных может зависеть от типа носителя, который вы используете в качестве места назначения. Вот несколько вариантов.
Выберите файлы и папки
Если вам нужно только создать резервную копию определенных данных, используйте программное обеспечение, которое позволит вам выбирать, какие файлы вы хотите сохранить. (Помните, что простое перемещение файла не приводит к его резервному копированию. Вам необходимо как минимум две копии.)
В целях безопасности регулярно создавайте резервные копии целых папок, чтобы обеспечить резервное копирование вновь созданных или обновленных файлов на более поздний срок.
Для этого есть множество бесплатных программ, включая встроенную в Windows 10 функцию резервного копирования и восстановления – её можно найти в меню «Пуск» → Параметры → Обновление и безопасность → Резервное копирование. Она позволяет создать полный образ системы или даже создать диск для восстановления, на случай если Windows выйдет из строя.
Образом системы является полная копия всего диска системы Windows, так что если вам когда-либо придётся его восстановить, это будет именно так, как это было в день резервного копирования.
Также есть история файлов, – опция резервного копирования, которая появилась в Windows 8. Она предлагает повторяющееся копирование файлов, которые вы используете, на резервный диск, в качестве резервной копии, и возможность восстановить только ту версию файла, которую вам необходимо восстановить. История файлов намного проще в настройке, но она также более ограничена.
Резервные копии браузера
Инкрементальное резервное копирование
При инкрементальном резервном копировании копируются только файлы, которые были изменены со времени предыдущего бэкапа. Последующее инкрементальное резервное копирование добавляет только файлы, которые были изменены с момента предыдущего. В среднем инкрементальное резервное копирование занимает меньше времени, так как копируется меньшее количество файлов. Однако процесс восстановления данных занимает больше времени, так как должны быть восстановлены данные последнего полного резервного копирования, плюс данные всех последующих инкрементальных резервных копирований. При этом в отличие от дифференциального копирования, изменившиеся или новые файлы не замещают старые, а добавляются на носитель независимо.
Инкрементальное копирование чаще всего производится с помощью утилиты rsync. С его помощью можно сэкономить место в хранилище, если количество изменений за день не очень велико. Если измененные файлы имеют большой размер, то они будут скопированы полностью без замены предыдущих версий.
- Составляется список файлов на резервируемом сервере и в хранилище, по каждому файлу считываются метаданные (права, время изменения и т.д) или контрольная сумма (при использовании ключа —checksum).
- Если метаданные файлов разнятся, то файл бьется на блоки и по каждому блоку считается контрольная сумма. Отличающиеся блоки закачиваются в хранилище.
- Если во время подсчета контрольных сумм или передачи файла в него было внесено изменение, его резервирование повторяется с начала.
- По умолчанию rsync передает данные через SSH, а значит каждый блок данных дополнительно шифруется. Rsync можно также запустить как демон и передавать данные без шифрования по его протоколу.
С более подробной информацией о работе rsync можно ознакомиться на официальном сайте.
Для каждого файла rsync выполняет очень большое количество операций. Если файлов на сервере много или если процессор сильно загружен, то скорость резервного копирования будет существенно снижена.
Из опыта можем сказать, что проблемы на SATA-дисках (RAID1) начинаются примерно после 200G данных на сервере. На самом деле всё, конечное же, зависит от количества inode. И в каждом случае эта величина может смещаться как в одну так и в другую сторону.
После определенной черты время выполнения резервного копирования будет очень долгим или попросту не будет отрабатывать за сутки.
Для того, чтобы не сравнивать все файлы, есть lsyncd. Этот демон собирает информацию об изменившихся файлах, т.е. мы уже заранее будем иметь готовый их список для rsync. Следует, однако, учесть, что он дает дополнительную нагрузку на дисковую подсистему.
CD / DVD / Blu-Ray диски
Старый способ резервного копирования – это копирование ваших файлов на блестящий диск. Недостатками остаются вместительность и скорость; новым недостатком является то, что в наши дни всё сложнее приобрести компьютер с приводом.
CD-Recordables (CD-R) могут хранить только одну порцию данных (около 700 МБ, максимум) – это настолько мало, что будет похоже на использование дискеты. DVD-R намного лучше – 4,7 ГБ, но даже двухслойные DVD-R объемом 8,5 ГБ не смогут вместить всю вашу коллекцию музыки и фотографий.
Двухслойные диски Blu-ray (BD-R) хранят до 50 ГБ, но цены соответствуют этому. И даже при такой емкости резервное копирование на диски будет казаться бесконечно медленным по сравнению с быстрыми жесткими дисками и флешками. Кто хочет постоянно менять местами диски?
Плюсы: дисковые носители дешевы (если они есть в наличии) и очень портативны (всегда рекомендуется хранить резервные копии данных вне офиса).
Полное резервное копирование на уровне файловой системы
Типичный представитель: dump.
Утилита создает «дамп» файловой системы. Можно создавать не только полную, но и инкрементальную резервную копию. dump работает с таблицей inode и «понимает» структуру файлов (так, разреженные файлы сжимаются).
Создавать дамп работающей файловой системы «глупо и опасно», потому что ФС может изменяться во время создания дампа. Его надо создавать со снапшота (чуть позже мы обсудим особенности работы со снапшотами более подробно), отмонтированной или замороженной ФС.
Такая схема так же зависит от количества файлов, и время её выполнения будет расти с ростом количества данных на диске. В то же время у dump скорость работы выше, чем у rsync.
В случае, если требуется возобновить не резервную копию целиком, а, например, только пару случайно испорченных файлов), извлечение таких файлов утилитой restore может занять слишком много времени
USB флэш-накопители
Небольшие USB-накопители почти так же дешевы, как и диски. Их преимущество в том, что они ультрапортативны. Может быть, слишком портативны, так как их легко потерять. Но спрятать одну флешку объемом несколько ГБ в сейфе легче, чем хранить оптические или жесткие диски. Некоторые USB-накопители даже предназначены для защиты данных, что делает их более безопасным местом для ваших данных.
Конечно, вам нужно получить диск с максимальной емкостью, обычно 512 ГБ, для резервного копирования всего, особенно если вы создаете образ диска. Это может дорого обойтись, но удобства того стоят.
Облачное хранилище и службы синхронизации файлов
Программное обеспечение для синхронизации является обязательным для всех, кто использует более одного компьютера или устройства, и хочет иметь на всех устройствах одинаковые файлы.
Внесенное изменение в файл будет автоматически отправлено на все другие компьютеры, использующие учетную запись, даже в других операционных системах. Крупные имена в этой области включают Dropbox, Google Drive и Microsoft OneDrive. Все сервисы предоставляют несколько гигабайт онлайн-хранилища бесплатно, но вы можете получить гораздо больше, заплатив ежемесячную или годовую плату.
Копирование в облако
Облачное прямое резервное копирование не является чем-то новым. Carbonite и его конкуренты уже много лет предоставляют прямое резервное копирование файлов с компьютера в интернет, как правило, в фоновом режиме и совершенно незаметно. Обычно существует бесплатный уровень обслуживания и абонентская плата для резервного копирования дополнительных материалов (сумма зависит от услуги).
Если у вас только несколько небольших файлов для хранения, и у вас, вероятно, есть учетная запись Google / Яндекс, тогда используйте Документы Google или Яндекс.Диск. Доблявть файлы или целые папки так же просто, как перетащить их в список документов, если вы используете браузер Chrome.
Читайте также: