Freenas копирование с диска на диск
Facebook Если у вас не работает этот способ авторизации, сконвертируйте свой аккаунт по ссылке ВКонтакте Google RAMBLER&Co ID
Авторизуясь в LiveJournal с помощью стороннего сервиса вы принимаете условия Пользовательского соглашения LiveJournal
Бекапим картинки с Андроида по интернет на домашний NAS
Сегодня у нас нечто, полезное практически каждому. И даже ваша жена скажет спасибо, в кои-то веки получив пользу от коробочки под названием NAS. Мы настроим Android устройство так, чтобы оно скидывало выбранные папки (например - из папки камеры, но в принципе - любую папку (папки)) на ваш домашний NAS. Скидывать автоматом будет как только окажется подключено по WiFi к Интернету - хоть из Африки.
Если у вас-жены-дочки iPhone - подождите пост для яблоководов, я планирую днями помучать iPad - или попробуйте по аналогии.
Кстати, учитывая недавний скандал с кражей кучи снимков знаменитостей - вы же не хотите, чтобы ваши приватные фотки из облака выцепили и по центу за пучок любителям подглядывать продавали?
1. Ставим из Google Play BitTorrent Sync, он бесплатный
2. Настраиваем приложение. Я приведу свои настройки, но действительно важным для описываемого варианта работы является только отключение "Простого" режима
Мобильный интернет - НЕТ
Уведомления - ДА
Автостарт - ДА
Режим Энергосбережения - ДА, 15%
Режим Сна - ДА, 30 мин, Синхронизация во время зарядки - НЕТ
Дополнительно
Простой режим - НЕТ (Это важно!)
Показывать скрытые файлы - ДА
Размещение папок по умолчанию - где вам удобно
Автообновление галереи - НЕТ
Прокси - ВЫКЛ
3. Создаём на NAS папки, куда будем бекапить. Я выбрал как корневую папку /mnt/Pool/BTSync_raw, в ней - папки под каждое из Андроид устройств моих и домашних (Например MikeAcer, SamsungTablet), а в каждой из них - папки с именами, в которых загрузится то, что хочется сохранить со смартфона (планшета). Например Camera и WhatsApp
4. Идём в вебгуй BTSync на NAS. Extensions|BitTorrent Sync (понятно, он должен быть установлен и апгрейжен до текущей версии, настроен по вкусу, включая язык), запускаем BTSync (статус должен стать зелёным running ), жмём справа вверху иконку добавить папку
5. Выбираем папку с именем, соответствующим решаемой задаче и устройству.
Добавляем.
6. У нас появляется новая запись о синхронизируемой папке
В моём случае - Camera в нижней строке. (видно, что неудобно - камера уже есть для другого устройства :( Переименовать или дать комментарий не даёт. Но если подвести к имени курсор - показывает полный путь, так что можно отличить где что. Если дерево в п 3 с разумными именами создали.
8. В появившемся диалоге
Типа всё очевидно? Хрен там - сразу две ловушки!
Во-первых - по умолчанию стоит "только чтение". так как мы в эту папку заливать инфу собрались - то надо пережать на "Чтение и запись"
Во-вторых, надо нажать дополнительно и отжать все три квадратика. Если вы, конечно, не хотите, чтобы настроенный процесс через 3 дня перестал работать (молодцы какие разрабы - как удачно спрятали, )
Теперь жмём кнопку QR код
9 Берём в руки смартфон с установленным и настроенным (пп 1 и 2) BTSync
Жмём "Добавить папку"
и наводим камеру на QR код с экрана
10 У нас появляется такой диалог
Если не появился - значит вы не убрали "Простой" режим в п 2. А простота, как известно, хуже.
Выбираем нужную папку, в моём случае это Camera в DICM на sd карте - и (после того, как продерётесь через интерфейс что там нажимать - но с 3 попыток получится :)
Добавилась? Ура, осталась последняя подлянка от горе-интерфейса - жмём на три точки по вертикали справа и ставим галку на Авто Синхр.
Идём в вебгуй BTSync на NAS - и наблюдаем синхронизацию.
Получилось длинно - - но это потому. что предельно подробно, не надо бояться.
Давайте теперь проговорим что получилось.
Когда Андроид устройство окажется в пределах WiFi подключения - оно сольёт на ваш NAS всё, что на нём появилось в отслеживаемых папках.
Также, если ранее сохранённые файлы были удалены (хоть со смартфона, хоть с NAS-бекапа) они, как я понимаю механизм работы BTSync, будут удалены и оттуда и отсюда. (Проверил. То, что удалено на NAS удаляет и со смартфона. Но в галерее остаются призраки убитых картинок - чёрные квадраты с замочной скважиной. Ну хоть место не занимают.). Это удобно, если вы хотите постирать неудачные фотки. И это очень плохо, если вы потеряете то, что случайно стёрли со смартфона.
Я предлагаю всю папку регулярно копировать куда-то ещё. Можно, конечно руками - но лучше как описано в RSYNC Часть 3 - внутри NAS, не очевидные применения
PS В интерфейсе BTSync на андроиде ещё болтается некий Бекап камеры. UPD настройка и ограничения - как описано для iOS устройств.
Стоит только помнить, что на Андроиде зачастую (как у меня на смартфоне) две папки камера - на SD карте и на устройстве. О чём разработчики приложения, видимо, не задумались в мудрости своей.
FreeNAS 9.1.1 — дистрибутив для быстрого развёртывания сетевого хранилища, основан на базе FreeBSD, отличается интегрированной поддержкой ZFS и полностью настраивается через веб-интерфейс. Для организации доступа к хранилищу поддерживается FTP, NFS, Samba, AFP, rsync и iSCSI, для повышения надежности хранения может применяться программный RAID (0,1,5), для авторизации клиентов реализована поддержка LDAP/Active Directory.
Версия FreeNAS 9.1.1 примечательна переходом на кодовую базу FreeBSD 9, (прошлый выпуск был основана на FreeBSD 8.3), а также проведением огромной работы по улучшению удобства использования, стабильности и производительности. Улучшения затронули практически все подсистемы дистрибутива, от web-интерфейса до системы подключения плагинов. Инфраструктура разработки проекта переведена на использование Git.
FreeNAS можно установить на жесткий диск или USB-флешку. При этом система занимает весь объем носителя на который устанавливается, не зависимо от емкости, а все сетевые ресурсы для хранения информации размещаются на других жестких дисках.
т.е. сама система freenas занимает 1 жёсткий диск на котором нельзя ничего хранить, а на втором уже может хранится вся наша инфа!
Надеюсь, я вас не сильно утомил таким длинным вступлением, поэтому давайте уже перейдем к установке. Предварительно скачайте iso-образ FreeNAS и запишите его например компакт-диск.
Установка.
Вставляем CD-диск с FreeNAS в привод, и загружается с него. Видим такую картину
Первое что нам будет предложено — установить FreeNAS на какой-нибудь носитель информации, появится вот такое окно:
Мы соглашаемся и переходим к выбору жесткого диска, куда будем устанавливать систему. В списке будет наших два жестких диска.
Выбираем для установки нужный hdd, затем нас предупредят, что все данные на ней будут потеряны.
Соглашаемся и продолжаем. Процесс установки проходит быстро, а по завершению нам предложат вынуть CD и перезагрузиться.
Начальная настройка
После перезапуска мы увидим начальный экран FreeNAS:
Здесь можно выполнить некоторые начальные действия (варианты от 1 до 11), еще чуть ниже будет отображается текущий IP-адрес этого ПК, если он смог его получить по DHCP. Первым делом сменим IP-адрес на свой, для этого проследуем в пункт Configure Network Interfaces нажав кнопку 1 и Enter.
Тут нам покажут список сетевых карт нашего ПК.
Т.к. она у нас всего одна, то и список будет состоять всего из одной позиции, в моем случае под номером 1 будет значиться адаптер em0 (как на скриншоте выше). Выбираем его, нажав 1 и Enter.
Затем FreeNAS спросит — хотим ли мы получать адрес автоматически по DHCP или нет? — отвечаем нет.
Следующий вопрос — Сконфигурировать IPv4 — Отвечаем да.
Далее надо указать имя интерфейса — пишем имя.
Далее пишем желаемый IP адрес.
На следующий вопрос вписываем маску подсети.
Следующий вопрос — хотим ли мы настроить IPv6 — говорим нет.
Нам скажут что сеть настроена, однако для полного счастья надо настроить еще шлюз. Идем в пункт Configure Default Route, нажав кнопку 3. Нас тут спросят — точно ли мы хотим настроить шлюз для IPv4 — говорим да и на следующий вопрос вводим IP-адрес нашего маршрутизатора (если он у нас есть). На следующий вопрос про конфигурирование IPv6 отвечаем отрицательно
Панель управления
Первым делом заходим на WEB-панель FreeNAS по IP который мы только назначили.
Видим красный мигающий светофор (alert), он просит нас поставить пароль на нашу WEB-панель
Находим слева кнопку account – change password
И меняем пароль, после изменения пароля сфетофор начнёт гореть зелёным, значит все нормально :)
Дальше мы перейдем в закладку Settings и поменяем там часовой пояс, чтобы логи нашего FreeNAS велись правильно. Затем нажимаем ОК для сохранения ностроек. Не лишним будет еще указать DNS-сервер в настройках сети, для этого жмем по кнопке Network в верхней панели и в поле Nameserver 1 и вписываем туда IP-адрес нашего маршрутизатора (либо выделенного DNS-сервера если он есть). Не забываем сохранить настройки.
Теперь нам нужно добавить жесткие диски в систему и определить файловую систему. Делается это в разделе Storage (кнопка в верхней панели). Далее жмем на ZFS volume manager.
Укажем Volume Name, далее жем на плюсик в катерогии Available disks, а далее add volume
Создаем сетевые ресурсы
FreeNAS умеет делать ресурсы для всех платформ: для Apple (AFP), для UNIX-систем (NFS) и для Windows (CIFS). И это не считая универсальных FTP и пр. Сейчас мы рассмотрим создание ресурса для Windows компьютеров.
Идем в раздел Sharing, Windows и нажимаем кнопку Add Windows Share
Перед нами появится окно, в котором мы укажем имя создаваемого ресурса (name), затем в поле Path надо выбрать тот датасет, который мы сделали под файлопомойку. Если вы хотите предоставить анонимный доступ до этого ресурса, то можно выставить галочку Allow Guest Access опустившись немного вниз.
Далее проматываем весь список опций до конца и внизу окна нажимаем кнопку OK. Наш ресурс готов.
На всякий случай вот еще список интересных параметров, которые можно указать при создании ресурса:
Export Read Only — сделать ресурс только для чтения
Browsable to Network Clients — Видимость ресурса в сетевом окружении. Если флажок снять, то мы сделаем скрытую шару.
Inherit permissions — наследовать разрешения
Export Recycle Bin — добавить корзину, т.е. данные из шары будут удаляться сначала в корзину
Show Hidden Files — отображение скрытых файлов
Guest Account — гостевая учетная запись. Лучше оставить как есть.
Allow Guest Access — разрешать гостевой вход (т.е. в шару можно будет войти без всяких паролей и пр).
Only Allow Guest Account — только гостевой вход. Нельзя будет отдельно ввести пароль при входе в шару чтобы повысить свои права.
Host Allow — список IP-адресов, с которых можно заходить в шару. В качестве разделителя можно использовать пробел.
Host Deny — список IP-адресов, с которых нельзя заходить в шару. В качестве разделителя можно использовать пробел.
Теперь перейдем к настройке службы CIFS. Идем в раздел Services, а там нажимаем на значок гаечного ключа напротив службы CIFS
В появившемся окне нам нужно указать ряд параметров:
Authentication Model — схема доступа. Возможные варианты: анонимный доступ (Anonymous) и по логинам (Local User). Выбираем нужное.
NetBIOS Name — имя компьютера в сети.
Workgroup — имя рабочей группы. Надо ставить таким-же как у ваших других компьютеров в сети.
Description — если это поле вообще не заполнять, то FreeNAS вместо этого подставляет неинформативную служебную инфу. Поэтому мы вам рекомендуем в этом поле написать хотя бы пробел.
Выбор кодировок (DOS charset и UNIX charset) — можете установить все так, как показано на скриншоте выше.
Local Master — определить FreeNAS главным компьютером в рабочей группе.
Time Server for Domain — сделать FreeNAS сервером точного времени для компьютеров сети.
Guest Account — учетная запись гостя, можно оставить как есть.
Allow Guest Access — допускать гостевой вход на сетевые ресурсы. Не устанавливайте эту галку, если используете схему доступа по логину и паролю (Local User).
File Mask — маска доступа для создаваемых файлов. На первых порах лучше установить это значение 0777
Directory Mask — тоже самое что File Mask, только для каталогов.
Остальные параметры можно оставить как есть. Переместитесь в конец страницы и нажмите ОК. Остается просто включить службу CIFS, для этого надо кликнуть мышью по значку OFF напротив названия службы. Через пару секунд его статус изменится на ON.
Теперь можно попробовать зайти в нашу созданную папку с любого компьютера сети.
upd. совсем забыл, возможно потребуется установить права на созданную шару, что бы спокойно заливать файлы. (storage — active volumes — change premission)
В следующих частях я расскажу подробнее о том как настроить ограничение доступа к шарам, создание квот, поднять торрент качалку, dlna сервер mediatomb для подключение к телевизору, и ещё много интересных мелочей
Часть 2. Установка transmission
Facebook Если у вас не работает этот способ авторизации, сконвертируйте свой аккаунт по ссылке ВКонтакте Google RAMBLER&Co ID
Авторизуясь в LiveJournal с помощью стороннего сервиса вы принимаете условия Пользовательского соглашения LiveJournal
Копируем терабайты внутри NAS с использованием tmux
Изредка возникает необходимость копировать внутри NAS значительные объёмы информации. Есть несколько способов, у каждого свои достоинства и недостатки. Самый быстрый, что особенно важно для больших объёмов - вариант с использованием tmux. Всё точно также как в консоли, но машину-клиент можно спокойно отключить
1) Идём в консоль, например через Putty
2) Запускаем tmux. Это менеджер терминалов, позволяет открывать много сессий и окон в них. Но нам нужно его умение отключаться от клиента, не прерывая операцию на сервере. И, кстати, потом можно к этой сессии подключиться, в том числе с другого компа. Важный плюс tmux для nas4free - он есть из коробки. (Краткая шпаргалка)
tmux
Видно, что окошко изменилось
В зелёной строке внизу видно, что у нас одно окно, в нём исполняется bash. Я не буду сейчас создавать новых окон и сессий.
3) Давайте лучше запустим копирование папки с пула на пул (или датасета на датасет)
nas4free tmp/ root~$ cp -a /mnt/WD2T/Files/Download/Мульты /mnt/Pool/Media
Пойдёт операция копирования. Если копировать терабайты - это надолго.
4) так что давайте отключимся - жмём
Ctrl-b - d
От сессии отключаемся., надпись в скобках переводится как [отключено (от сессии1)]
5) Но в фоне процесс продолжается. Можно закрыть сессию putty, выключить комп.
А потом включить и подключиться вновь
tmux attach
Или посмотреть активные процессы (через команду top в консоли или Status|Processes в вебгуе), что наша команда cp продолжает что-то копировать.
UPD от 21 авг 2015 - годное замечание от камрада Igor Solovyov
Чтобы не стать пианистом, можно сразу из коммандлайна:
tmux new-session -d 'cp -a /mnt/WD2T/Download/Кино\ про\ Машу\ и\ Сашу /mnt/Pool/Media'
-d - detach session
/UPD
PS Кстати, чтоб 2 раза не вставать.
- Русские буквы поддерживаются
- специальные символы типа пробела - надо либо заключать в кавычки весь аргумент, вот так
cp -a '/mnt/WD2T/Download/Кино про Машу и Сашу' /mnt/Pool/Media
или специально описывать эти спецсимволы, вот так
cp -a /mnt/WD2T/Download/Кино\ про\ Машу\ и\ Сашу /mnt/Pool/Media
- длинные имена набирать до буквы лень, есть автодополнение. Набрав начало имени файла или папки, можно нажать кнопку табуляции - и имя будет дополнено
PPS Так я копирую действительно большие папки, последний раз - на полтерабайта. Если рутинно хочется скопировать с диска-помойки в хранилище пару фильмов, то я их кидаю в специальную папку-источник. Ночью запускается RSYNC и копирует в папку-приёмник. Завтра-послезавтра можно в источнике файлы стереть, из приёмника - раскидать по подпапкам. Настройка RSYNC для этого описана тут.
Facebook Если у вас не работает этот способ авторизации, сконвертируйте свой аккаунт по ссылке ВКонтакте Google RAMBLER&Co ID
Авторизуясь в LiveJournal с помощью стороннего сервиса вы принимаете условия Пользовательского соглашения LiveJournal
Бекап через RSYNC. Часть 1 - сервер
Как известно, ваше семейное фото и видео делится на два класса - (1) те, что с бекапом и (2) те, что вы ещё не потеряли по чистой случайности. Способов делать бекап много. Простейший - копировать руками на NAS или USB диск. Мы рассмотрим автоматический бекап на NAS4FREE через RSYNC
Во-первых что за RSYNC? Это протокол и ПО его реализующее, предназначенные для синхронизации на уровне файлов. То есть бекап представляет собой не сжатые архивы, а папки с файлами. Точно такими же, как на исходном компьютере. RSYNC создан для минимизации сетевого трафика. Он пересылает только те файлы, которые изменились. Более того, даже в изменённом файле он старается найти не изменившиеся куски и их не перекачивать. Подробнее - см Гугл.
Для работы RSYNC нужен клиент на одном конце и сервер на другом. В nas4free реализованы оба. Мы будем задействовать сервер, который сегодня и настроим. В качестве клиента после долгого перебора я остановился на QtdSync. Но о нем - во второй части.
1. Нам нужна папка на NAS, где будут храниться бекапы. Можно её просто создать как папку.
Но я предпочитаю сделать на zfs массиве с избыточностью (массив мы делали тут) датасет. Это даст нам дополнительную функциональность. Для этого идём в вебгуе на Disks|ZFS|Datasets|Dataset, жмём +
Нам понадобится
- дать датасету имя (Backup у меня);
- выбрать на каком пуле он будет расположен (Pool в моём случае). Советую при возможности выбирать пул с избыточностью - raidz или mirror.
- задать при желании компрессию. lzjb - самая быстрая. на современных процессорах не замедляет запись, а для хорошо сжимаемых данных - ускоряет. UPD от 31 дек 2015 На сегодня - lz4 и быстрее и жмёт сильнее. Но для несжимаемого контента (фото, музыка, кино, архивы) - лучше без компрессии /UPD
Варианты gzip тем плотнее и медленнее жмут, чем больше цифра. Компрессию потом можно изменить и для вновь записанных данных она будет применена. Таким образом мы возложили задачу компрессии на файловую систему и софту для бекапа париться на эту тему без нужды.
- задать дедупликацию. НАСТОЯТЕЛЬНО советую OFF кроме того случая, когда вы знаете, что делаете.
- запись времени доступа к файлам (atime) я обычно отключаю. Толку от него чуть, только зря диски тормошит.
Остальные параметры - по умолчанию, если у вас нет веской причины сделать иначе. Можно по желанию включить галку в Snapshot Visibility.
Жмём кнопку Add
Затем Apply Changes
1а. Если мы создали датасет, а не простую папку, есть смысл включить на ней автоматические снапшоты. Скажем, раз в сутки сроком хранения неделю или месяц. Как это делать мы изучали тут. Снапшоты позволят нам иметь защиту от случайного стирания файлов на эту неделю (или месяц) ценой хранения всех вариантов файлов. Что, конечно, требует наличия места.
2. Запускаем RSYNC сервер.
Все параметры по умолчанию годятся.
Save and Restart
2a Жмём кнопку Modules, затем + и расшариваем ту папку (или датасет), которую мы создали в п 1.
Для примера мои параметры
Save
При веской необходимости можно создать и расшарить несколько папок. Мне хватило одной.
Имеется фринас 9.2.1.3, на нем много доков. делаю такую штуку:
к фринасу монтирую сетевой диск (WD Mybook live) и туда делаю резервное копирование всех файлов:
pax -wvzf /mnt/home/doc-`date "+%Y%m%d"`.tar.gz /mnt/doc
архивируется все хорошо.
только при копировании архива в винду и распаковки его получаю кракозябы в именах файлов. как это можно победить?
и да еще щас пытаюсь разобраться как сделать чтобы сетевой диск монтировался к freenas автоматом.
кто может подсказать как разобраться с именами файлов и чтобы монтировался автоматически.
Member
Насчет кракозябр - не знаю, и утилиту pax не знаю, но думаю, что искать решение надо исходя из того же: FreeNAS есть Unix. Но если речь идет о tar-оподобной утилите, подозреваю, что имена в архиве перекодировать не получится. Или надо искать более умную извлекалку из архива. Или извлекать из архива на линуксовом компе.
stoun
Neophyte
а если Freenas установлен на отдельный физический диск. т.е. фактически загружается с диска а не с флешки. тогда она не виртуально создается?
Member
выполните команду mount и посмотрите, что и куда смонтировано. Думаю, что FreeNAS глубоко фиолетово, флешка это или диск, но не уверен.
stoun
Neophyte
/dev/ufs/FreeNASs1a on / (ufs, local, read-only) devfs on /dev (devfs, local, multilabel) /dev/md0 on /etc (ufs, local) /dev/md1 on /mnt (ufs, local) /dev/md2 on /var (ufs, local) /dev/ufs/FreeNASs4 on /data (ufs, local, noatime, soft-updates) public on /mnt/public (zfs, local, nfsv4acls) public/.system on /mnt/public/.system (zfs, local, nfsv4acls) public/.system/cores on /mnt/public/.system/cores (zfs, local, nfsv4acls) public/.system/samba4 on /mnt/public/.system/samba4 (zfs, local, nfsv4acls) public/.system/syslog on /mnt/public/.system/syslog (zfs, local, nfsv4acls) public/aup on /mnt/public/aup (zfs, local, nfsv4acls) public/backup on /mnt/public/backup (zfs, local, nfsv4acls) public/public on /mnt/public/public (zfs, local, nfsv4acls)
вот результат команды с другого фринаса установленного на жесткий тоже.
Member
stoun
Neophyte
давно не сталкивался с Unix щас вот пытаюсь разобраться что то вспоминаю чему то приходится учиться а что то спрашиваю)
Member
Уважаемый, Вы же собираетесь настраивать автомонтирование томов. Более того, Вы вроде как руками монтируете. То есть, лезете в систему довольно серьезно.
Если Вы, глядя на этот листинг, не можете понять, что и как примонтировано к точкам / и /etc, то немедленно оставьте эту затею и юзайте FreeNAS строго через ее штатный интерфейс. Иначе Вы просто угробите систему. А я в этом помогать не хочу, это ляжет на мою совесть непосильным грузом.
stoun
Neophyte
на сколько я понимаю /dev/md0 on /etc . т.е. папка etc монтируется с /dev/md0 т.е. данные копируются в etc с /dev/md0 к корню монтируется /dev/ufs/FreeNASs1a.
stoun
Neophyte
если у него аптайм будет круглосуточно и стоять будет на ИБП то в принципе можно замонтировать руками и при перезапуске просто еще раз монтировать. в кроне упаковку создать по расписанию не проблема. вопрос., упаковывал через команду tar получал такие же имена файлов если распаковать в системе вин. может есть команда которая указывает кодировку? перерыл инет не нашел(
Читайте также: