Synology drive server заполнен удалите некоторые файлы с диска перед восстановлением службы
Откат на предыдущую версию прошивки NAS Synology.
login as: root
root@ВАШ IP's password:
BusyBox v1.16.1 (2014-03-06 14:36:14 CST) built-in shell (ash)
Enter 'help' for a list of built-in commands.DiskStation>
Вводим команду "vi /etc.defaults/VERSION" без кавычек. Попадаем на содержимое файла текущей версии микропрограммы. Его нужно отредактировать следующим образом:
majorversion="5"
minorversion="0"
buildphase buildnumber smallfixnumber="0"
builddate="2009/11/16"
Для начала редактирования нужно нажать клавишу "i". Внеся изменения, жмем Esc для выхода из режима редактирования и сохраняем изменения ":wq" (без кавычек) Enter
Неплохо бы убедиться в том. что изменения сохранились, переподключаемся, вводим всё то же "vi /etc.defaults/VERSION" и если на экране содержимое с учётом ранее внесённых изменений, то не выключая NAS и не перезагружая, через web интерфейс указываем ранее скачанный из архива Synology *.pat файл нужной версии и обновляемся.
Я уже много лет пытаюсь найти идеальный для себя метод для хранения файлов. Думаю я его нашел, но всегда есть что улучшить, если есть какие-то мысли как сделать лучше, с удовольствием почитаю.
Начну с того что расскажу пару слов о себе, я занимаюсь веб разработкой и в свободное время фотографирую. Отсюда вывод что хранить мне нужно рабочие и личные проекты, фото, видео ну и другие файлы.
У меня где-то 680 GB файлов, из них процентов 90 это фото и видео.
Круговорот файлов в моих хранилищах:
Тут примерная схема того как и где хранятся все мои файлы.
Теперь подробнее.
Как видно, сердцем всего является мой NAS, а именно Synology DS214, один из самых простых NAS-ов у компании Synology, тем не менее со всем что мне нужно он справляется.
Яндекс диск
Далее, все эти файлы я кидаю на свой Яндекс диск, его я использую как самодельный бэкап диск, то есть файлы туда кидаю но ничего не удаляю оттуда, получается такая свалка файлов, но пару раз выручало.
Time Machine
Так же я делаю бэкап всей системы, исключая папку Dropbox и Downloads само собой, чтоб не занимать зря место. Бэкап системы делаю через Time Machine, отличный инструмент, не раз выручал. Делаю на том же NAS-е, благо там есть такая функция. Можно делать и на внешний HDD конечно, но это не так удобно. Нужно каждый раз подключать внешний диск и самому запускать Time Machine. Из-за лени, часто такие бэкапы делал раз в несколько недель. На сервер же он автоматом делает бэкап, я даже не замечаю когда он это делает. Я работаю из дому, так что у меня всегда есть свежая резервная копия всей моей системы. Делаются копию несколько раз за день, не считал сколько раз и как часто.
Тут и происходит вся магия.
У Synology есть отличный инструмент, называется он Cloud Sync, думаю по названию понятно что он делает.
Он может синхронизировать многие облачные системы между собой, если точнее то синхронизировать файлы с сервера NAS c другими облаками. Обзор данной программы думаю есть в сети. не буду вдаваться в подробности. Лучше опишу как я ее использую.
На сервере у меня есть папка диск под названием Dropbox, она является копией моего Dropbox аккаунта, синхронизацией всего этого занимается Cloud Sync. Если в Dropbox-е что-то произошло с файлами, это произойдет и на сервере, не важно, едит\удаление\создание. В общем классическая синхронизация.
Synology C2
Тут мы плавно подходим к другому сервису, уже от самой Synology. У нее есть свои облака для хранения бэкапов. Заточен он именно под HyperBackup, он делает туда бэкап каждый день, но это уже продуманный backup, там есть версии файлов, таймлайн и даже клиенты для windows и mac os.
На этом, с хранением файлов все, надеюсь мои файлы в сохранности.
Теперь перейдем к сортингу файлов.
Обычные файлы, книги, сканы документов и другие маловажные файлы я как и все сортирую по папкам руками. Обычно их не много и открываю я их редко.
Самое сложное с сортировкой фото и видео, у меня их много.
Фото я делаю от нескольких десятков до несколько сотен в месяц. Снимаю на зеркалку, на дрон и иногда на телефоне. Фото бывают личные и для стоков. Также иногда снимаю домашнее видео (не то что вы подумали, просто семейные видео, чаще с дочкой). Его тоже надо как-то хранить и сортировать, чтоб не была каша.
У меня есть папка в том же Dropbox-е, под названием Sort Images, там есть подпапки куда попадают все фото и видео, оттуда они берутся и сортируются куда надо.
Сортировка происходит на сервере NAS, там работают bash скрипты которые автоматом запускаются раз в сутки и делают свою работу. За их запуск также отвечает NAS, там есть планировщик задач который и отвечает за запуск всех скриптов и других задач. Можно настроить как часто и когда будут запускаться задачи, крон с интерфейсом если проще.
Для каждой папки есть свой скрипт. Теперь подробнее о папках:
Drone — тут попадают фото с дрона которые я снял в личных целях. Сначала я обрабатываю все фото в lightroom, потом делаю экспорт JPG в эту папку. оттуда они попадают в другую папку Dropbox, «Photo».
Там есть папка «Drone» и там уже они сортируются по годам и месяцам. Скрипты сами создают необходимые папки и переименовывают сами фото по моему шаблону, обычно это дата и время снятия фото, так же добавляю в конце рандомную цифру, чтоб не получались файлы с одним и тем же именем. Не помню почему для этих целей не подходило выставление секунд в имени файла.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — я пока что не снимаю видео дроном, там нужно многое учить, нет для этого сейчас времени, но папку уже создал.
Images Operations — тут внутри две папки, когда файлы там попадаются то они просто либо сжимаются по максимальной стороне до 2000px для публикации в интернете либо делается флип картинок, это уже мне не нужно, но пока что папку не удалил.
Panoramas — тут попадают как не сложно догадаться панорамы, их я храню отдельно так как это специфический вид фото, обычно делаю их дроном. Я делаю и обычные панорамы но так же делаю 360 панорамы и иногда сферы, такой вид панорам как маленькие планеты, делаю так же дроном. Из этой папки все фото попадают также в Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Тут я не делаю сортировку по месяцам так как панорам не так уж много.
Personal Photo — Тут попадают фото которые делаю на зеркалку, обычно это семейные фото или же путешествия, в общем фото которые делаются на память и для себя. Так же сырые фото обрабатываю а lightroom-е и потом экспортирую сюда.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Если же я снял какой-то торжество или еще что-то что лучше бы хранить отдельно то в папке 2019 создаю папку с названием торжества и копирую туда фото руками.
RAW — тут попадают исходники фото. я всегда снимаю в RAW, все фото храню в JPG но иногда хочется хранить также и RAW файлы, иногда хочется по другому обработать какой-то кадр. Обычно это природа и туда попадают только лучшие кадры, не все подряд.
Stock Photo — сюда я скидываю фото для стоков, которые делаю либо на зеркалку, либо на дрон. Сортировка такая же как и на других фото, просто в свою отдельную папку.
В корневой директории Dropbox, есть папка Camera Uploads, это дефолтная папка в которую мобильное приложение Dropbox скидывает туда все фото и видео. Все фото жены с телефона скидываются таким образом. Я так же все свои фото и видео с телефона скидываю сюда и отсюда уже сортирую в отдельную папку. Но я делаю это иным способом, более удобным для меня. Есть такая программа для Android, FolderSync, она позволяет брать все фото с мобилы, закачать их на Dropbox и потом удалить их с телефона. Там множество настроек, рекомендую. В эту папку попадают и видео с телефона, они также сортируются как и все фото, по годам и месяцам.
Все скрипты я собрал сам из всяких инструкций в интернете, готовых решений не нашел. Я вообще ничего не знаю про баш скрипты, возможно есть какие-то ошибки или какие-то вещи можно было бы сделать лучше, но самое главное — для меня, они справляются со своей работой и делают то что мне надо.
Раньше для сортировки фото, видео я использовал Hazel под mac os, там само собой все легче, там все задачи создаются визуально, не надо писать код, но тут есть два минуса. Во первых нужно держать все папки на компьютере, чтоб все хорошо работало и второе, если вдруг пересяду на windows или linux то там нет таких программ. Пробовал искать альтернативу но все они были ни о чем. А решение со скриптами на сервере более универсальное решение.
Все скрипты настроены чтобы выполнялись раз в сутки, обычно ночью. Но если нет времени ждать и нужно как-то выполнить нужный скрипт сейчас, есть два решения, подключиться по SSH к серверу и выполнить нужный скрипт или же зайти в админку и так же мануально запустить нужный скрипт. Все это мне кажется не удобным, поэтому я нашел третье решение. Есть программа под Android, она может отправлять команды ssh. Я создал несколько команд, для каждой есть своя кнопка и теперь если мне нужно отсортировать например фото которые сделал с дрона то просто нажимаю одну кнопку и скрипт срабатывает. Программа называется SSHing, есть и другие похожие, но для меня эта самая удобная.
Так же у меня несколько своих сайтов, они больше для галочки, туда практически никто не заходит но все же backup делать не помешает. Сайты я держу на DigitalOcean, там установил панель aaPanel. Там есть возможность сделать резервные копии всех файлов и всех баз данных, но на том же диске.
Хранить бэкап на том же диске не дело, поэтому я так же через bash скрипт стучусь туда и копирую все на свой сервер, архивируя все в одном архиве с датой в названии.
Надеюсь хоть кому-то помогут способы, что я использую и какими поделился.
Как видно из статьи, я люблю автоматизацию и стараюсь автоматизировать что все что только можно, я многие вещи не описывал с точки зрения автоматизации, так как это уже другие темы и другие статьи.
🔧 Как ОСВОБОДИТЬ более 30 ГБ дискового пространства в Windows 10, 8 или 7!
Управление версиями файлов Synology CloudStation занимает много места, как я могу освободить место? Как я могу узнать, сколько места используется для управления версиями?
Прежде всего, вы можете увидеть, сколько места занимает CloudStation для управления версиями файлов, таким образом:
- Открытый сервер CloudStation
- Перейдите в Настройки в левом меню.
- Перейдите на вкладку Другое в верхнем меню
- Нажмите «Рассчитать» и подождите несколько минут.
В моем случае это было 2,5 ТБ из 3,5 ТБ (. )
Чтобы освободить это место, я сделал следующие шаги:
Уменьшить версии файлов:
- Открыть CloudStation
- Перейдите в Настройки в левом меню.
- Перейдите на вкладку Настройки синхронизации в верхнем меню.
- Для каждой общей папки, в которой есть версии, быстро уменьшите или отключите количество версий.
Очистить базу данных версий:
- Открыть CloudStation
- Перейдите в Обзор в левом меню.
- Открыть обозреватель версий
- Для каждой папки в левом меню (или только для той папки, которая, как вы знаете, использовалась большая часть места) выполните Действие - Очистить базу данных версий.
ВАЖНЫЙ!! - Нужно время, чтобы показать новое свободное место. Для меня это заняло ночь.
Так что, может быть, сначала достаточно уменьшить количество версий файлов, поэтому, если результата нет, очистите базу данных версий.
- Это прекрасно работает. Как вы упомянули, важно набраться терпения, кажется, что пространство восстанавливается медленно. Вы можете использовать "df -m" в консоли, чтобы увидеть, как пространство медленно появляется снова.
- Я также обнаружил, что Data Scrub, похоже, тоже решает проблемы.
В качестве обновленного ответа сейчас CloudStation является "Консоль администратора Диска". Я отправляю этот ответ просто как обновление, а также хочу добавить несколько снимков экрана, чтобы помочь кому-либо.
Чтобы узнать, сколько занимает ваша база данных управления версиями:
- открыто Консоль администратора Диска
- Перейти к Обзор
- Нажмите на Рассчитать. Используемый объем покажет вам, сколько именно
пространство для управления версиями файлов занимает.
Чтобы отключить управление версиями или уменьшить количество версий, хранимых на Диске
- открыто Консоль администратора Диска
- Перейти к Папка команды
- Выберите свою общую папку, в этом случае Мой диск
- Нажмите на Управление версиями
- Если хочешь держать версии, но с меньшим количеством версий укажите желаемый Максимальное количество версий (Думаю, 2 будет достаточно для большинства случаев).
- Если хочешь отключить управление версиями файлов, снять галочку Включить контроль версий
Чтобы удалить текущую базу данных управления версиями файлов:
- открыто Консоль администратора Диска
- Перейти к Обзор
- Под статусом вашей системы нажмите Обозреватель версий
- В списке папок выберите Мой диск
- От Действия кнопка, выберите Очистить базу данных версий
- Как указал Хоггар, для перехода размера базы данных до 0 ГБ потребуется некоторое время.
В качестве бонуса, возможно, вы хотите сохранить версии файлов только для некоторых файлов, таких как файлы исходного кода, сценарии или что-то еще.
С начала года озаботился апгрейдом старого NAS D-Link DNA-313 на что то более современное и недорогое. После вдумчивого изучения, с учётом выделенного бюджета, выбор пал на Synology DS112j Помимо FTP сервера, что было основной целью, этот девайс являет собой весьма продвинутый ПК под управлением Linux. Всё общение с пользователем, впрочем, ведется через простой и удобный web интерфейс, доступный по назначенному через DHCP адресу. Не буду описывать все прелести устройства и что как делается, статей на эту тему в интернете хватает, остановлюсь только на паре моментов, с которыми пришлось столкнуться лично, в процессе эксплуатации.
Google Drive
Туда я отправляю только папку «Photos», так же в режиме синхронизации, делаю я это только для удобного просмотра фото в гугл фото и с возможностью удаления оттуда фото и они удаляются везде (кроме яндекс диска само собой). Про фото я напишу ниже, там вообще можно отдельную статью написать.
Dropbox
Рабочая машина у меня macbook pro 13, 2015 года. У меня там 512GB но помещаются само собой не все файлы, храню только то что нужно на данный момент. Все свои личные файлы и папки синхронизирую с Dropbox-ом, знаю что это не очень надежно, но он выполняет только функцию синхронизации. И делает он это лучше всего, по крайней мере из того что я перепробовал. А перепробовал я все знаменитые и не очень облака.
У Synology так же есть свое облако, можно его развернуть на своем NAS-е, я несколько раз пробовал пересесть с Dropbox на Synology Cloud Station, но там всегда были проблемы с синхронизацией, всегда какие-то ошибки, или не все синхронизировал.
Все важные файлы хранятся в папке Dropbox, иногда я сохраняю что-то на рабочий стол, чтоб что-то не потерять сделал симлинк в папку Dropbox при помощи программы MacDropAny.
Папка Download у меня никак не синхронизируется но там и нет ничего важного, только временные файлы. Если качаю что-то важное, то копирую в соответствующую папку в Dropbox.
Когда-то давно, где-то в 2013-2014 я хранил все файлы в Dropbox-e и только в нем, не было никаких бэкапов. Тогда у меня не было 1Тb, то есть я не платил за него, у меня было где-то 25Gb, которые я заработал путем приглашения друзей или других заданий.
В одно прекрасное утро я включил компьютер и все мои файлы исчезли, так же получил письмо от Dropbox где они извиняются и что файлы мои пропали по их вине. Они дали мне ссылку по которой я мог восстановить свои файлы но само собой ничего не восстановились. За то они подарили мне на год 1Tb, после чего я стал их клиентом, как бы странно это не звучало, но никогда им не доверял.
Как писал выше, не смог найти более подходящее для меня облако, во первых еще не было проблем синхронизации, во вторых много всяких сервисов работают только с Dropbox.
Файлы по работе хранятся на рабочем сервере, личные проекты на GitLab-е, тут все просто.
Устранение повреждений жесткого диска системы Synology
Я купил футляр Interstellar Snail C во время катастрофы на шахте, два красных диска для хранения данных. Я не ожидал, что качество красных дисков будет таким низким. С начала прошлого года до настоящего времени ошибки UNC появлялись периодически. На этой неделе произошел сбой. Запишите процесс восстановления:
Система Synology использует внутреннее управление программным рейдом. После того, как новый жесткий диск вставлен и инициализирован, он обычно будет отформатирован на 3 раздела. Как правило, первые два связаны с системой, а последний используется как диск для хранения. На рисунке ниже показан мой плохой сектор. Ситуация с разделами жесткого диска
Обратите внимание на то, какой тип является типом рейда, в настоящее время его нельзя использовать напрямую.
Когда в системе несколько жестких дисков, каждый жесткий диск является таким разделом. Вместе первый раздел каждого жесткого диска образует массив режима raid1 (данные хранятся в нескольких местах) В этом случае на каждом жестком диске есть резервная копия системных файлов. Это также причина, по которой система все еще работает нормально, когда жесткий диск отключен от машины Synology. См. Рисунок ниже:
После того, как массив мягких дисков составлен, массив дисков в это время эквивалентен жесткому диску, и его необходимо разбить на разделы.
Система Synology использует раздел управления lvm, сначала отделяет группу томов, а затем добавляет том в группу томов. Фактически, при управлении пространством хранения через веб-интерфейс пул хранения соответствует группе томов , Объем памяти соответствует тому. На моей машине есть два жестких диска и создано две группы томов. В каждой группе томов по несколько томов. Я использовал команду lvm, чтобы перечислить группы томов и тома следующим образом:
При создании тома будет указан формат файла.Теперь Synology рекомендует файловую систему btrfs. Обычно возникают ошибки файловой системы, для этого необходимо проверить /var/log/disk.log и scemd.log. То, с чем я столкнулся, было более сложным.
Сначала восстановите файловую систему btrfs, используя команду:
Обратите внимание, что путь к тому в этой файловой системе варьируется от человека к человеку. Моя плохая область диска - volume_1 / volume_2 / volume_3 в группе томов vg1, поэтому это именно этот путь. Эта команда используется для поиска проблемного блока.
обычно встречается так
Выберите первый, чтобы начать восстановление:
Необходимо обратить внимание на - после добавления восстановления, это рискованно. Восстановление может завершиться неудачно и файловая система будет беспорядочной. Поэтому перед восстановлением необходимо сделать резервную копию жесткого диска. Выберите один после -s и замените его после сбоя. Как правило, после выполнения этого Noabort / failed - успешно
Если вы столкнулись с ошибкой с ключевым словом "RDWR" во время выполнения, вам необходимо выполнить команду очистки кеша.
После непрерывного восстановления всех блоков файловая система btrfs, как правило, завершена. Удачи на данный момент, общее пространство для хранения доступно после перезапуска dsm, а режим только для чтения восстанавливается до режима чтения-записи.
Не повезло, процесс восстановления файловой системы мог повлиять на формат soft raid. Вам нужно проверить журнал. К сожалению, я столкнулся с этим. Посмотрев на файл scemd.log, я обнаружил ключевое слово / dev / md2 RAID crash, поэтому я перестроил raid-формат третьего раздела моего жесткого диска / dev / sdc3. Конкретные приемы:
1. Отключите неисправный диск.
2. Перезагрузите компьютер.
3. Горячее подключение поврежденного диска
4. Запустите команду:
После завершения реконструкции вы можете сделать проверку, -e - это версия, 1.2 и 0.9 можете попробовать сами
Может есть владельцы ds115j, подскажите хватит ли его производительности для одновременной работы торрента, dlna сервера и бэкапа файлов с ПК ?
У меня сейчас 116 у него хватает ресурсов. Тут вопрос в производительности сети. И потом задачи можно назначить на разное время. Допустим бекапы по ночам. Торент много не жрет. Dlna только один да и то он в основном сетку нагружает и все.
Одновременно DLNA и torrent - ну например транслировать одно кино надо порядка 25-30 мегабит локалки (если тока не 4к). остальное достанется торенту. два потока 60 три 90 при гигабитной сетке 10 потоков но это наверно дома не случится никогда)))
Если присматриваешь купить то лучше подкопи на 218+. Он может в последствии быть расширен.
Я на старый компьютер поставил систему synology очень мощьная и удобная вещь получилась работает как nas + торент клиент + хранилище фотографий а делов на 10 минут
Да согласен, просто обновления не в реальном времени и помоему флешка должна быть у него всегда вставлена, но могу ошибаться. А вообще да система меня тоже порадовала.
У меня с понедельника не работает QuickConnect на DS118 (нет удалённого доступа через интернет). Через Андроид приложения всё нормально. Это только у меня или глобально (Роскомнадзор задел Synology из-за блокировки Телеграма)?
А обновы нормально система видит? Вручную если зайти на сайт обнова есть, а NAS проверяет, но говорит типа нет
Обнова может приходить в разное время, в зависимости от региона. Балансировка нагрузки на основной сервер.
У меня двухдисковый, оба диска стоят. Хочу один поменять на побольше (никаких рейдов нет) и что-то не понимаю, как это сделать. В наличии есть бокс для подключения hdd по usb. Вытащенный из Synology диск потом прочитается в компе?
Прочитается, надо только на комп поставить программу для чтения ехт разделов.
И еще момент, какой из дисков меняешь? На первом помоему по умолчанию сидит еще система сама.
neoboy,
Насколько помню, система дублируется на каждом диске, чтобы при сбое на любом из них сохранялась работоспособность NAS
Добавлено 11.08.2018, 15:21:
Гудит, жрет электричество и греет воздух)
Недавно приобрёл 115j и еще до конца в нем не разобрался.
Пытаюсь подключить ps3 как ftp сервер. С filezilla и браузера всё отлично работает, а вот nas ничего не видит.
В чём проблема может быть?
В дружественном форуме есть тема. Тут.
Рекомендуется в качестве клиента mc. Но вообще NAS не затачивается как клиент, наоборот как сервер.
Synology DS2116play
С компьютера переносил папки на NAS в корень диска, потом скопировал их в соответствующие папки вырезанием. Через проводник - все в порядке, но на телевизорах вырезанные папки остались в корне, вернее их фантомы, при попытке их чтении выдает ошибку воспроизведения.
Как почистить эти фантомы? Посоветуйте.
Как сделать сброс (reset) на Synology NAS
Резет делается просто, — находим кнопочку сброса, жмем ее скрепочкой и удерживаем до звукового сигнала. Услышав его отпускаем кнопку и через секунду опять жмём и держим до того момента, как NAS пикнет три раза. После этого через кнопку на панели (удерживая) либо просто выдернув питание и включив девайс, перегружаем устройство. После загрузки коробочка пискнет и будет моргать оранжевым диодиком. Запускаем Synology Assistant, находим устройство, льём прошивку. Примечательно, что до апдейта я на всякий случай вынул диск и сделал его резервную копию, но это оказалось излишней предосторожностью. Во время апдейта пользовательский раздел не форматировался, а после окончания все сервисы, включая запущенный сайт с базами на Mysql, работали как прежде.
Следующая проблема у меня вылезла из предыдущей. После сбоя я записал в NAS новую версию вари, но она помимо повышенной "красивости" оказалось тормознутой и откровенно глючной в тех режимах, которые мне были нужны. Встала следующая проблема — как откатить на Synology прошивку назад?
HyperBackup
Но все это не очень надежно, если случайно удалил файл то он везде удалится и можно считать его потерянным. Можно конечно восстановить из яндекс диска, но во первых бэкап в одном месте не очень надежен сам по себе, да и сам яндекс диск, не тот сервис в котором можно быть уверенным на 100%, хоть с ним еще ни разу не было проблем.
Поэтому я всегда старался хранить файлы еще где-то, уже с нормальной системой бэкапов.
У Synology так же есть инструмент для этого, называется он HyperBackup, он делает бэкап файлов либо на другие серверы Synology, либо на какие-то клауд решения от сторонних производителей.
Также он умеет делать бэкап на внешние диски, подключенные к NAS-y, так я и делал до недавних пор. Но это тоже не надежно, к примеру если пожар то конец и серверу и HDD.
Читайте также: