Что такое mfs в компьютере
Экспериментальная среда:
Хост-окружение: RHEL6.5 selinux и iptables отключены
роль сервера:
server1—> 172.25.254.1—> сервер управления (главный) и сервер журналов метаданных (Metalogger)
server2—> 172.25.254.2—> серверы данных (чанк-серверы)
server3—> 172.25.254.3—> серверы данных (чанк-серверы)
foundation77—> 172.25.254.77—> Клиентские компьютеры монтируются с использованием клиентских компьютеров
Все сервер и клиент должны поддерживать модуль ядра fuse.
Поскольку клиентская программа mfs, то есть команда для загрузки дисковой системы mfs, использует fuse, поэтому, если вы хотите смонтировать сервер mfs, необходимо предварительно установить fuse, поэтому скомпилируйте MFS может пройти гладко.
обзор предохранителей:
Файловая система в пользовательском пространстве (FUSE) - это концепция операционной системы, которая относится к файловой системе, полностью реализованной в пользовательском режиме. Linux в настоящее время поддерживает это через модули ядра. Некоторые файловые системы, такие как NTFS-3G (функция: пусть Linux обеспечивает поддержку файловой системы NTFS), реализованы с использованием FUSE.
Примечание: все ядра выше 2.6 поставляются с предохранителем
I. Сервер управления MFS (основная конфигурация) -server1
Шаги:
(1) Установите некоторые необходимые зависимости
(2) Загрузите пакет rpm, связанный с mfs, на официальном сайте, обратите внимание на соответствующую доступную версию.
(3) Установите пакет mfs, требуемый мастером
(4) сделать разрешение доменного имени и запустить службу
(5) Проверьте порт и проверьте в браузере:
Тест браузера:
Сервер хранения данных (конфигурация чанк-сервера) -server2 и server3 настроены одинаково.
Установите серверы данных (серверы чанков). На этих компьютерах должно быть достаточно свободного места на диске, а операционная система должна соответствовать стандарту POSIX. и OpenSolaris).
Когда Chunkserver сохраняет данные, он сохраняет блоки данных или фрагменты (фрагменты / фрагменты) в виде файлов в общей файловой системе, такой как ext4. Вы не можете увидеть полный файл на сервере чанксера.
Шаги:
(1) Разрешение доменного имени
(2) Загрузите соответствующий пакет в Интернете и установите его (moosefs-chunkserver)
(3) Создайте каталог, который должен использоваться как сервер чанксера.
(4) Аннотируйте каталог как сервер чанков в файле конфигурации и запустите службу
На этом этапе сервер2, один из серверов чанков, настроен, и другие серверы данных могут выполнять ту же операцию (просто каждый раз изменяйте имя каталога как сервер чанков)
После того, как все серверы данных настроены, мы можем обновить интерфейс MFS в браузере и щелкнуть по серверам, чтобы увидеть все наши серверы данных.
Настройка Three.moosefs-client --- foundation77
(1) Установите клиент moosefs
(2) Разрешение доменного имени
(3) Создайте каталог монтирования и смонтируйте его
Тест:
Когда сервер чанков dir1 закрыт:
Are you having problems opening a MFS file or just wondering what they contain? We explain what these files are used for and show you software that we know can open or otherwise handle your files.
What is a MFS file?
The MFS file extension indicates to your device which app can open the file. However, different programs may use the MFS file type for different types of data.
While we do not yet describe the MFS file format and its common uses, we do know which programs are known to open these files, as we receive dozens of suggestions from users like yourself every day about specific file types and which programs they use to open them.
We are continually working on adding more file type descriptions to the site, so if you have information about MFS files that you think will help others, please use the Update Info link below to submit it to us - we'd love to hear from you!
ChunkServers:
Следующие три сервера хранения данных имеют одинаковую конфигурацию, как показано ниже
1. Отключите брандмауэр и Selinux [Важно]
2. Загрузите файл аутентификации ключа YUM
3. Добавить источник репо
4. Обновить конфигурацию репо (необязательно)
5. Установите пакет chunkserver
6. Измените основной файл конфигурации, измените IP-адрес мастера
7. Укажите местоположение файла, выделенное сервером для использования MFS.
Специальное напоминание: / data - это раздел, предоставленный MFS, обычно лучше использовать отдельный раздел или диск для монтирования каталога.
8. Создайте каталог (предоставляется разделу MFS)
9. Изменить информацию о владельце / группе
10. Запустите службу чанксервер
11. Проверьте, успешен ли запуск
Команда stop chunkserver: mfschunkserver stop
Various apps that use files with this extension
These apps are known to open certain types of MFS files. Remember, different programs may use MFS files for different purposes, so you may need to try out a few of them to be able to open your specific file.
Try a universal file viewer
Try a universal file viewer like Free File Viewer. It can open over 200 different types of files - and most likely yours too. Download Free File Viewer here.
Not sure exactly what type of file you are trying to open? Try our new File Analyzer. It is a free tool that can identify more than 11,000 different kinds of files - most likely yours too! It will help you find software that can handle your specific type of file. Download File Analyzer here.
Программы, которые поддерживают MFS расширение файла
Программы, которые могут обрабатывать MFS файлы, следующие. MFS файлы можно встретить на всех системных платформах, включая мобильные, но нет гарантии, что каждый из них будет должным образом поддерживать такие файлы.
(3) Процесс записи данных MFS:
- Клиент отправляет запрос на запись на сервер метаданных;
- Сервер метаданных взаимодействует с ChunkServer, но сервер метаданных создает только отдельные фрагменты на определенных серверах.После успешного создания ChunkServers сообщает серверу метаданных, что операция прошла успешно;
- Сервер метаданных информирует клиента о том, какие чанки и чанки могут вдохнуть данные;
- Клиент записывает данные в указанный ChunkServer;
- ChunkServer выполняет синхронизацию данных с другими ChunkServer. После успешной синхронизации ChunkServer информирует клиента об успешной записи данных;
- Клиент сообщает серверу метаданных, что запись завершена.
Программы, обслуживающие файл MFS
Linux
Как открыть файл MFS?
Проблемы с доступом к MFS могут быть вызваны разными причинами. К счастью, наиболее распространенные проблемы с файлами MFS могут быть решены без глубоких знаний в области ИТ, а главное, за считанные минуты. Ниже приведен список рекомендаций, которые помогут вам выявить и решить проблемы, связанные с файлами.
Шаг 1. Получить MetFS
Проблемы с открытием и работой с файлами MFS, скорее всего, связаны с отсутствием надлежащего программного обеспечения, совместимого с файлами MFS на вашем компьютере. Чтобы решить эту проблему, перейдите на веб-сайт разработчика MetFS, загрузите инструмент и установите его. Это так просто Выше вы найдете полный список программ, которые поддерживают MFS файлы, классифицированные в соответствии с системными платформами, для которых они доступны. Самый безопасный способ загрузки MetFS установлен - для этого зайдите на сайт разработчика (EnderUNIX Software Development Team) и загрузите программное обеспечение, используя предоставленные ссылки.
Шаг 2. Обновите MetFS до последней версии
Вы по-прежнему не можете получить доступ к файлам MFS, хотя MetFS установлен в вашей системе? Убедитесь, что программное обеспечение обновлено. Может также случиться, что создатели программного обеспечения, обновляя свои приложения, добавляют совместимость с другими, более новыми форматами файлов. Если у вас установлена более старая версия MetFS, она может не поддерживать формат MFS. Все форматы файлов, которые прекрасно обрабатывались предыдущими версиями данной программы, также должны быть открыты с помощью MetFS.
Шаг 3. Свяжите файлы MetFS Encrypted Format System с MetFS
Если проблема не была решена на предыдущем шаге, вам следует связать MFS файлы с последней версией MetFS, установленной на вашем устройстве. Следующий шаг не должен создавать проблем. Процедура проста и в значительной степени не зависит от системы
Выбор приложения первого выбора в Windows
- Нажатие правой кнопки мыши на MFS откроет меню, из которого вы должны выбрать опцию Открыть с помощью
- Далее выберите опцию Выбрать другое приложение а затем с помощью Еще приложения откройте список доступных приложений.
- Наконец, выберите Найти другое приложение на этом. , укажите папку, в которой установлен MetFS, установите флажок Всегда использовать это приложение для открытия MFS файлы свой выбор, нажав кнопку ОК
Выбор приложения первого выбора в Mac OS
Шаг 4. Проверьте MFS на наличие ошибок
Если вы выполнили инструкции из предыдущих шагов, но проблема все еще не решена, вам следует проверить файл MFS, о котором идет речь. Проблемы с открытием файла могут возникнуть по разным причинам.
1. Убедитесь, что MFS не заражен компьютерным вирусом
Если случится так, что MFS инфицирован вирусом, это может быть причиной, которая мешает вам получить к нему доступ. Сканируйте файл MFS и ваш компьютер на наличие вредоносных программ или вирусов. Если файл MFS действительно заражен, следуйте инструкциям ниже.
2. Убедитесь, что структура файла MFS не повреждена
3. Убедитесь, что у вас есть соответствующие права доступа
Некоторые файлы требуют повышенных прав доступа для их открытия. Выйдите из своей текущей учетной записи и войдите в учетную запись с достаточными правами доступа. Затем откройте файл MetFS Encrypted Format System.
4. Убедитесь, что ваше устройство соответствует требованиям для возможности открытия MetFS
5. Убедитесь, что у вас установлены последние версии драйверов, системных обновлений и исправлений
Регулярно обновляемая система, драйверы и программы обеспечивают безопасность вашего компьютера. Это также может предотвратить проблемы с файлами MetFS Encrypted Format System. Устаревшие драйверы или программное обеспечение могли привести к невозможности использования периферийного устройства, необходимого для обработки файлов MFS.
Вы хотите помочь?
Если у Вас есть дополнительная информация о расширение файла MFS мы будем признательны, если Вы поделитесь ею с пользователями нашего сайта. Воспользуйтесь формуляром, находящимся здесь и отправьте нам свою информацию о файле MFS.
1. Распределенная файловая система: задний план:Компьютеры управляют и хранят данные через файловые системы, и в эпоху информационного взрыва количество данных, которые могут получить люди, увеличилось в геометрической прогрессии. Просто за счет увеличения количества жестких дисков, чтобы увеличить емкость файловых систем компьютера с точки зрения емкости и скорость роста емкости, резервное копирование данных, безопасность данных и другие аспекты неудовлетворительны. Распределенная файловая система может эффективно решить проблему хранения и управления данными.Когда люди используют распределенную файловую систему, им не нужно заботиться о том, на каком узле хранятся данные или с какого узла они получены, как и с использованием локальных файлов.Система также управляет и хранит данные в файловой системе.
Обзор:Распределенная файловая система означает, что ресурсы физического хранилища, которыми управляет файловая система, не обязательно напрямую подключены к локальному узлу, но подключены к узлу через компьютерную сеть. Дизайн распределенной файловой системы основан на модели клиент / сервер. Типичная сеть может включать в себя несколько серверов для доступа множеству пользователей;
В настоящее время существует множество распространенных распределенных файловых систем, таких как Hadoop, Moosefs, HDFS, FastDFS, Lustre, TFS, GFS и т. Д .;
Обзор:MooseFS (то есть Moose File System) - это отказоустойчивая сетевая распределенная файловая система, которая распределяет данные на нескольких физических серверах или отдельных дисках или разделах, чтобы гарантировать наличие нескольких резервных копий данных. Для тех, кто обращается к клиентам или пользователям MFS, говорят, что весь кластер распределенной сетевой файловой системы выглядит как ресурс, что означает, что пользователю предоставляется единый ресурс. MFS поддерживает FUSE (файловая система в пространстве пользователя). После монтирования клиента его можно использовать как обычную файловую систему Unix для использования MooseFS;
1. Простое развертывание, легкий вес, легкая конфигурация и легкое обслуживание;
2. Легко расширяется, поддерживает онлайн-расширение, не влияет на бизнес, а архитектура системы хорошо масштабируется;
3. Универсальная файловая система, можно использовать без модификации верхнего приложения;
4. Можно задать количество резервных копий файлов. Обычно рекомендуется 3 копии. В будущем емкость жесткого диска также должна в три раза превышать емкость одной копии;Недостатки:
1. Мастер в настоящее время является одной точкой (хотя он будет синхронизировать информацию данных с резервным сервером, но восстановление требует времени, поэтому это повлияет на онлайн, чтобы решить эту проблему; ее можно решить с помощью решения DRBD + Keeaplived или решение DRBD + Inotify);
2. Главный сервер имеет несколько более высокие требования к памяти для хоста;
3. По умолчанию Metalogger копирует метаданные долго;
MFS Процесс доступа к данным:
Ø Этапы чтения данных MFS:
1) Клиент отправляет запрос на сервер метаданных;
2) Сервер метаданных информирует клиента о месте хранения требуемых данных (IP-адрес сервера фрагментов и номер фрагмента);
3) Клиент запрашивает отправку данных на известный сервер фрагментов;
4) Клиент запрашивает у сервера фрагментов необходимые данные;
Ø Этапы записи данных MFS: 1) клиент отправляет запрос на запись на сервер метаданных; 2) сервер метаданных взаимодействует с сервером фрагментов следующим образом; 1) сервер метаданных дает команду создать фрагменты на некотором сервере фрагментов; 2) сервер фрагментов информирует сервер метаданных об успешном выполнении операции на этапе (1);
3) Сервер метаданных сообщает клиенту, что вы можете записывать данные, в какие фрагменты и какой сервер фрагментов;
4) Записать данные на назначенный сервер фрагментов;
5) Синхронизируйте данные с другими серверами фрагментов. Синхронизируемый сервер зависит от количества установленных копий. Если количество копий равно 2, вам необходимо синхронизировать ChunkServer;
6) Синхронизация между Chunk Sever прошла успешно;
7) Сервер фрагментов сообщает клиенту, что данные записаны успешно;
8) Клиент сообщает серверу метаданных, что запись завершена;
9) Сервер метаданных записывает записи хранения данных в локальный журнал;
10) Сервер метаданных копирует локальный журнал на сервер регистратора;
Ø Процесс удаления файлов в MFS:
1) Когда клиент выполняет операцию удаления, сначала отправьте информацию об удалении Мастеру;
2) Мастер находит соответствующую информацию метаданных для удаления и добавляет операцию удаления сервера фрагментов в очередь для асинхронной очистки;
3) Ответить на сигнал о том, что клиент успешно удалил
4) Мастер проверит, было ли обновлено содержимое, если да, подает заявку на новый блок для хранения измененного файла, удалит исходный блок и блок файла .swp;
5) Если нет, удалите блок файла .swp напрямую;
Ø Процесс переименования файлов MFS:
1) Когда клиент переименовывает файл, он отправляет информацию об операции Мастеру;
Ø Процесс обхода файлов MFS:
1) Нет необходимости посещать сервер фрагментов для просмотра файла.Когда есть запрос на обход от клиента, информация об операции отправляется мастеру;
2) Мастер возвращает соответствующую информацию метаданных;
3) Отображение после того, как клиент получит информацию;
Ø Краткое примечание:
1) Мастер записывает информацию управления, такую как: путь к файлу | размер | место хранения (ip, порт, chunkid) | количество копий | раз и т. Д. Информация метаданных существует в памяти и периодически записывается в metadata.mfs .back файл Регулярно синхронизируется с metalogger, операции записываются в журнал изменений. *. mfs в реальном времени и синхронизируются с metalogger в реальном времени. Мастер начинает загружать metadata.mfs в память и переименовывает файл metadata.mfs.back.
2) Файлы хранятся кусками.Максимальный размер каждого фрагмента составляет 64 МБ, а если он меньше 64 МБ, размер фрагмента равен размеру файла (убедитесь, что фактический файл фрагмента немного больше, чем фактический файл). Файлы, размер которых превышает 64 МБ, будут разделены на части. Размер фрагмента не должен превышать 64 МБ; создание фрагментов выполняется по следующим правилам: циклическая запись каталогов (00-FF 256 циклов каталогов, шаг 2), инкрементное создание файла фрагмента и большой файл непрерывный каталог сегментации.
3) Оставшееся пространство для хранения на Chunkserver должно быть больше 1 ГБ (упоминается в Справочном руководстве), новые данные будут разрешены для записи, в противном случае вы увидите подсказку Нет места на устройстве. На практике тест обнаружил, что диск Когда коэффициент использования достигает примерно 95%, запись становится невозможной. В то время доступное пространство составляло 1,9 ГБ.
4) Может быть несколько копий файлов. Когда цель равна 1, файлы будут случайным образом сохранены на сервере фрагментов. Когда количество целей больше 1, копии будут запланированы мастером и сохранены на разных серверах фрагментов, и целевой размер не требуется. Если количество серверов фрагментов превышено, в противном случае не будет сервера фрагментов для сохранения дополнительных копий.
Master Servers:
1. Отключите брандмауэр и Selinux [Важно]
2. Загрузите файл аутентификации ключа YUM
3. Добавить источник репо
4. Обновить конфигурацию репо (необязательно)
5. Установите пакет mfsmaster
Подтвердите файл конфигурации и создайте соответствующие файлы конфигурации (mfsexports.cfg, mfsmaster.cfg и т. Д.) В / etc / mfs
Следующие файлы конфигурации используют значения по умолчанию без изменений: mfsmaster.cfg, mfsexports.cfg, mfstopology.cfg
6. Запустите mfsmaster
7. Проверьте, успешен ли запуск
Распределенный принцип
Распределенная файловая система означает, что физические ресурсы хранения, управляемые файловой системой, не обязательно напрямую связаны с локальным узлом, но связаны с узлом через компьютерную сеть.
Преимуществами распределенной файловой системы являются централизованный доступ, упрощенные операции, устойчивость к сбоям данных и улучшенная производительность доступа к файлам.
Поддерживать MFS
Самым важным является поддержка сервера метаданных, а наиболее важным каталогом сервера метаданных является / var / lib / mfs /. Изменения операций, такие как хранение, изменение и обновление данных MFS, записываются в файл в этом каталоге, если Обеспечивая безопасность данных этого каталога, можно гарантировать безопасность и надежность всей файловой системы MFS.
Данные в каталоге / var / lib / mfs / состоят из двух частей: одна часть - это журнал изменений сервера метаданных, а имя файла похоже на changelog. *. Mfs, другая часть - это файл метаданных metadata.mfs, который является файлом при запуске mfsmaster. Он будет называться metadata.mfs.back. До тех пор, пока безопасность двух частей данных гарантирована, даже если сервер метаданных имеет фатальный размер × × ×, набор серверов метаданных может быть развернут через файлы резервных метаданных.
Подробное описание системы распределенного хранения MFS
топология
MFS мониторинг
Функция Mfscgiserv была установлена по умолчанию с помощью метода установки yum. Это веб-сервер, написанный на Python. Порт прослушивания - 9425. Его можно открыть с помощью команды mfscgiserv на главном сервере, а затем его можно полностью контролировать с помощью браузера. Загрузка, Chunk Server, Master Server, клиентские операции и т. Д.
Смысл каждой части таков:
- Раздел информации: показывает основную информацию о MFS
- Раздел сервера: список существующих серверов чанков
- Раздел Диски: список дисковых каталогов и использование каждого сервера чанков.
- Раздел экспорта: список общих каталогов, то есть каталогов, которые можно подключить
- Раздел Mounts: отображает статус монтирования
- Раздел Операции: отображает выполняемые операции
- Раздел Master Charts: отображает работу Master Server, включая чтение, запись, создание каталогов, удаление каталогов и т. Д.
How to open MFS files
Important: Different programs may use files with the MFS file extension for different purposes, so unless you are sure which format your MFS file is, you may need to try a few different programs.
While we have not verified the app ourselves yet, our users have suggested a single MFS opener which you will find listed below.
(1) Структура файловой системы MFS:
- Сервер метаданных (Мастер): отвечает за управление файловой системой и ведение метаданных во всей системе;
- Сервер журнала метаданных (Metalogger): создайте резервную копию файла журнала изменений на главном сервере, тип файла - changlog_ml. *. Mfs. Когда данные главного сервера потеряны или повреждены, вы можете получить файлы с сервера журналов для восстановления;
- Сервер хранения данных (Chunk Server): сервер, который фактически хранит данные. При хранении файлов файлы хранятся в блоках и копируются между серверами данных. Чем больше серверов данных, тем больше емкость, которую можно использовать, тем выше надежность и выше производительность;
- Клиент (клиент): файловая система MFS может быть смонтирована как NFS, операция такая же.
Сборка файловой системы MFS
(2) Процесс чтения данных MFS:
- Клиент отправляет запрос на чтение на сервер метаданных;
- Сервер метаданных информирует клиента о том, где хранятся необходимые данные (IP-адрес и номер чанка ChunkServer);
- Клиент запрашивает известный ChunkServer для отправки данных;
- Chunkserver отправляет данные клиенту.
MFS распределенная файловая система
MFS - это полураспределенная файловая система, разработанная поляками. Файловая система MFS может реализовать функцию RAID, не только может сэкономить стоимость хранения больше, но и не хуже, чем профессиональная система хранения, она также может реализовать расширение в режиме онлайн.
Metaloggers:
1. Отключите брандмауэр и Selinux [Важно]
2. Загрузите файл аутентификации ключа YUM
3. Добавить источник репо
4. Обновить конфигурацию репо (необязательно)
5. Установите пакет mfsmetalogger
6. Отредактируйте файл конфигурации mfsmetalogger.cfg
7. Запустите mfsmetalogger
8. Проверьте, успешно ли запущен
Команда для остановки mfsmetalogger: mfsmetalogger stop
Начать развертывание
Системная среда
главная ЭВМ | Операционная система | IP-адрес |
---|---|---|
Master Server | Centos 7.3 X86_64 | 192.168.96.22 |
Metalogger | Centos 7.3 X86_64 | 192.168.96.11 |
Chunk1 | Centos 7.3 X86_64 | 192.168.96.12 |
Chunk2 | Centos 7.3 X86_64 | 192.168.96.13 |
Chunk3 | Centos 7.3 X86_64 | 192.168.96.14 |
Clinent | Centos 7.3 X86_64 | 192.168.96.15 |
5 серверам нужно подключение к интернету
Clients:
1. Отключите брандмауэр и Selinux [Важно]
2. Загрузите файл аутентификации ключа YUM
3. Добавить источник репо
4. Обновить конфигурацию репо (необязательно)
5. Установите клиент MFS
6. Создайте точку монтирования
7. Загрузите модуль предохранителей в ядро
8. Смонтируйте MFS в / mfs / data
9. Посмотреть монтажную ситуацию
Размонтируйте команду MFS: umount / mfs / data
Принцип MFS
MFS - отказоустойчивая сетевая распределенная файловая система, хранящая данные на нескольких серверах и предоставляющая пользователям единый ресурс.
MFS общие операции
Команды mfsgetgoal и mfssetgoal
Назначение относится к числу копий файла.После установки количества копий вы можете подтвердить это с помощью команды mfsgetgoal или изменить настройку с помощью mfssetgoal.
Команды mfscheckfile и mfsfileinfo
Фактическая оценка копии может быть подтверждена командами mfscheckfile и mfsfileinfo.
команда mfsdirinfo
Сводка содержимого всего дерева каталогов может быть отображена с помощью расширенной функции команды mfsdirinfo, эквивалентной "du -s".
Читайте также: