Файловая система refs что это
The Resilient File System (ReFS) is Microsoft's newest file system, designed to maximize data availability, scale efficiently to large data sets across diverse workloads, and provide data integrity with resiliency to corruption. It seeks to address an expanding set of storage scenarios and establish a foundation for future innovations.
Feature comparison
Key benefits
Поддерживаемые развертывания
Корпорация Майкрософт разработала NTFS специально для общего назначения, используя широкий спектр конфигураций и рабочих нагрузок. Для клиентов, которым специально требуются доступность, устойчивость и (или) масштабирование, предоставляемые ReFS, корпорация Майкрософт поддерживает ссылки для использования со следующими конфигурациями и сценариями.
все поддерживаемые конфигурации ReFS должны использовать сертифицированное оборудование Windows Server Catalog и удовлетворять требованиям приложений.
Если вы планируете использовать ReFS для общих томов кластера (CSV), ознакомьтесь с важными сведениями об использовании общих томов кластера в отказоустойчивом кластере .
Backup target
Deploying ReFS as a backup target is best suited for applications and hardware that implements its own resiliency and availability solutions:
- Applications that introduce their own resiliency and availability software solutions can use integrity-streams, block-cloning, and the ability to scale and support large data sets.
Backup targets include the above supported configurations. Please contact application and storage array vendors for support details on Fiber Channel and iSCSI SANs. For SANs, if features such as thin provisioning, TRIM/UNMAP, or Offloaded Data Transfer (ODX) are required, NTFS must be used.
Структура файловой системы ReFS
«ReFS» можно определить по специфической сигнатуре, которая расположена в начале раздела:
0x4000 байт — длина всех страниц ReFS.
Номер первой страницы — 0x1e, то есть 0x78000 байт которые идут сразу за загрузочным разделом. Это стандартное отображение Microsoft, которое информирует, что первые метаданные нужно искать после фиксированного смещения.
Storage Spaces Direct
Deploying ReFS on Storage Spaces Direct is recommended for virtualized workloads or network-attached storage:
- Mirror-accelerated parity and the cache in Storage Spaces Direct deliver high performance and capacity-efficient storage.
- The introduction of block clone and sparse VDL dramatically accelerates .vhdx file operations, such as creation, merge, and expansion.
- Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces Direct to jointly detect and correct storage controller and storage media corruptions within both metadata and data.
- ReFS provides the functionality to scale and support large data sets.
Как создать разреженный файл в Linux
В Linux процесс создания таких типов данных немного проще, поскольку существует несколько команд для их создания. Этот набор подойдет для всех файловых систем Linux.
Здесь можно использовать команду dd, либо truncate.
Первая команда имеет следующий вид:
dd if=/dev/zero of=file-sparse bs=1 count=0 seek=2G
Где file-sparse – имя, и в конце указан его размер, можно задать в байтах, мегабайтах и т.д.
Вторая команда проще, она имеет такой вид:
truncate -s2G file-sparse
Где значение s – указывает размер, после которого идет имя.
По сравнению с Windows, в Linux при создании такого файла одной из команд, он будет «разреженным» по умолчанию.
Для преобразования обычного в разреженный, есть отдельная команда:
cp --sparse=always ./025.jpg ./0251.jpg
Где 025.jpg – первое имя обычного.
0251.jpg – и второе имя разреженного.
Basic disks
Deploying ReFS on basic disks is best suited for applications that implement their own software resiliency and availability solutions:
- Applications that introduce their own resiliency and availability software solutions can use integrity-streams, block-cloning, and the ability to scale and support large data sets.
Basic disks include local non-removable direct-attached via BusTypes SATA, SAS, NVME, or RAID. Basic disks do not include Storage Spaces.
Отличия от NTFS
«ReFS» изначально создана для поддержки больших объемов разделов, файлов, каталогов и их имен. Новая ФС может включать до двести шестидесяти двух тысяч эксабайт информации, а «NTFS» — только шестнадцать эксабайт.
Еще, в ней отсутствуют функции шифрования, сжатия, дедупликации, дисковые квоты, жесткие ссылки и расширенные атрибуты. Некоторые из них заменены на новые, например, «ReFS» полностью поддерживает шифрование «BitLocker».
Сейчас, в файловую систему «ReFS» вы сможете отформатировать только пул дисков (пространство хранения), где новая ФС покажет себя во всей красе. Но Windows 10 не разрешит отформатировать обычный носитель в «ReFS». Разработчики подчеркивают значение «ReFS» именно для серверов, она доступна на серверных ОС или в «LTSC» версии.
ОС Windows Server 2016 позволит отформатировать обычные тома в «ReFS», но не позволит отформатировать загрузочный диск, потому что загрузочный сектор должен быть на «NTFS» разделе.
Resiliency
ReFS introduces new features that can precisely detect corruptions and also fix those corruptions while remaining online, helping provide increased integrity and availability for your data:
- Integrity-streams - ReFS uses checksums for metadata and optionally for file data, giving ReFS the ability to reliably detect corruptions.
- Storage Spaces integration - when used with a mirror or parity space, ReFS can automatically repair detected corruptions using the alternate copy of the data provided by Storage Spaces. Repair processes are both localized to the area of corruption and performed online, requiring no volume downtime.
- Salvaging data - if a volume becomes corrupted and an alternate copy of the corrupted data doesn't exist, ReFS removes the corrupt data from the namespace. ReFS keeps the volume online while it handles most non-correctable corruptions, but there are rare cases that require ReFS to take the volume offline.
- Proactive error correction - in addition to validating data before reads and writes, ReFS introduces a data integrity scanner, known as a scrubber. This scrubber periodically scans the volume, identifying latent corruptions and proactively triggering a repair of corrupt data.
Limits
Feature | ReFS | NTFS |
---|---|---|
Maximum file name length | 255 Unicode characters | 255 Unicode characters |
Maximum path name length | 32K Unicode characters | 32K Unicode characters |
Maximum file size | 35 PB (petabytes) | 256 TB |
Maximum volume size | 35 PB | 256 TB |
Дисковые пространства прямого подключения
развертывание ReFS на Локальные дисковые пространства рекомендуется для виртуализованных рабочих нагрузок или хранилища, подключенного к сети:
- Четность с зеркальным ускорением и кэш в локальных дисковых пространствах обеспечивают высокую производительность и эффективное хранение данных.
- Благодаря клонированию блоков и разреженным VDL значительно ускоряются операции с VHDX-файлами, такие как создание, объединение и расширение.
- целостность — потоки, оперативное восстановление и альтернативные копии данных позволяют ReFS и Локальные дисковые пространства обнаруживать и устранять повреждения контроллеров и носителей хранилища как в метаданных, так и в данных.
- ReFS предоставляет возможности масштабирования и поддержки крупных наборов данных.
Разница между сжатием и разреженными файлами
Все файловые системы, которые я назвал выше, также поддерживают стандартную функцию сжатия. Оба этих инструмента дают преимущество в виде экономии места на диске, но достигают этой цели по-разному. Основным недостатком использования сжатия является то, что это может снизить производительность системы при выполнении операции чтения\ записи. Так как будут использоваться дополнительные ресурсы для распаковки или сжатия данных. Но некоторые программные продукты не поддерживают сжатие.
Supported deployments
Microsoft has developed NTFS specifically for general-purpose use with a wide range of configurations and workloads. For customers specially requiring the availability, resiliency, and/or scale that ReFS provides, Microsoft supports ReFS for use with the following configurations and scenarios:
All ReFS supported configurations must use Windows Server Catalog certified hardware and meet application requirements.
If you plan to use ReFS for Cluster Shared Volumes (CSVs), please see Use Cluster Shared Volumes in a failover cluster for important information.
Performance
In addition to providing resiliency improvements, ReFS introduces new features for performance-sensitive and virtualized workloads. Real-time tier optimization, block cloning, and sparse VDL are good examples of the evolving capabilities of ReFS, which are designed to support dynamic and diverse workloads:
Mirror-accelerated parity - Mirror-accelerated parity delivers both high performance and also capacity efficient storage for your data.
To deliver both high performance and capacity efficient storage, ReFS divides a volume into two logical storage groups, known as tiers. These tiers can have their own drive and resiliency types, allowing each tier to optimize for either performance or capacity. Some example configurations include:
Performance tier | Capacity tier |
---|---|
Mirrored SSD | Mirrored HDD |
Mirrored SSD | Parity SSD |
Mirrored SSD | Parity HDD |
Once these tiers are configured, ReFS uses them to deliver fast storage for hot data and capacity-efficient storage for cold data:
- All writes will occur in the performance tier, and large chunks of data that remain in the performance tier will be efficiently moved to the capacity tier in real time.
- If using a hybrid deployment (mixing flash and HDD drives), the cache in Storage Spaces Direct helps accelerate reads, reducing the effect of data fragmentation characteristic of virtualized workloads. Otherwise, if using an all-flash deployment, reads also occur in the performance tier.
For Windows Server deployments, mirror-accelerated parity is only supported on Storage Spaces Direct. We recommend using mirror-accelerated parity with archival and backup workloads only. For virtualized and other high performance random workloads, we recommend using three-way mirrors for better performance.
Accelerated VM operations - ReFS introduces new functionality specifically targeted to improve the performance of virtualized workloads:
-
- block cloning accelerates copy operations, enabling quick, low-impact VM checkpoint merge operations.
- Sparse VDL - sparse VDL allows ReFS to zero files rapidly, reducing the time needed to create fixed VHDs from 10s of minutes to mere seconds.
Variable cluster sizes - ReFS supports both 4K and 64K cluster sizes. 4K is the recommended cluster size for most deployments, but 64K clusters are appropriate for large, sequential IO workloads.
Сравнение возможностей
Разреженные файлы в ApFS
По сути, данный набор команд подходит и для файловой системы apple – ApFS, так как Linux и MacOS используют в своей основе архитектуру ядра Unix, они обе предоставляют доступ к Unix-командам и оболочке Bash.
Запустите терминал и выполните любую из команд, которую я использовал в Linux.
В MacOS Catalina работает только первая команда, и размер нужно указывать в байтах, иначе в результате команда выведет ошибку.
sudo dd if=/dev/zero of=sparse_APFS bs=1 count=0 seek=1000000000
Файловая система ApFS при соблюдении определенных условий создает разреженные файлы по умолчанию, поэтому для увеличения любого файла можно использовать команду:
dd if=/dev/zero of=187.jpg bs=1 count=0 seek=500000000
Зададим размер, к примеру, 500Мб, в MacOS размер нужно указывать в байтах.
В свойствах можно увидеть, что его размер увеличился до 500 Mb.
Scalability
ReFS is designed to support extremely large data sets - millions of terabytes - without negatively impacting performance, achieving greater scale than prior file systems.
Преимущества и недостатки
Самым большим преимуществом разреженных файлов является то, что пользователь может создавать файлы большого размера, которые занимают очень мало места для хранения. Пространство для хранения выделяется автоматически по мере записи на него данных. Разреженные файлы большого объема создаются за относительно короткое время, поскольку файловой системе не требуется предварительно выделять дисковое пространство для записи нулей.
Преимущества ограничены лишь приложениями, которые их поддерживают. Если у программы нет возможности распознавать или использовать их, то она сохранит их в исходном – несжатом состоянии, что не даст никаких преимуществ. Также с ними нужно быть осторожными, поскольку разреженный файл размером всего несколько мегабайт может внезапно увеличиться до нескольких гигабайт, когда неподдерживающие приложения скопируют его в место назначения.
Еще один из недостатков — это то, что нельзя скопировать или создать такой файл, если его номинальный размер превышает доступный объем свободного пространства (или ограничения размера квоты, налагаемые на учетные записи пользователей). Например, если исходный размер (со всеми нулевыми байтами) составляет 500 МБ, а для учетной записи пользователя, используемой для его создания, существует предел квоты в 400 МБ. Это приведет к ошибке даже если фактическое дисковое пространство, занимаемое им, составляет всего 50 МБ на диске.
Что касается накопителей, на которых хранятся такие данные, то они также подвержены фрагментации, поскольку файловая система будет записывать данные в разреженные файлы по мере необходимости. Со временем это может привести к снижению производительности. Кроме того, некоторые утилиты для управления дисками могут неточно отображать объем доступного свободного места. Когда файловая система почти заполнена, это может привести к неожиданным результатам. Например, могут возникать ошибки «переполнения диска», когда данные копируются поверх существующей части, которая была помечена как разреженная.
Производительность
Помимо улучшения устойчивости, ReFS представляет новые функции для рабочих нагрузок, требующих высокой производительности, и виртуализированных рабочих нагрузок. Оптимизация уровней в режиме реального времени, клонирование блоков и разреженный метод VDL — вот примеры развивающихся возможностей ReFS, которые предназначены для поддержки динамических и разнообразных рабочих нагрузок.
Четность с зеркальным ускорением. Четность с зеркальным ускорением обеспечивает высокую производительность и эффективное хранение данных.
Для обеспечения высокой производительности и эффективного хранения данных ReFS делит том на две логические группы памяти, которые называются уровнями. У них могут быть собственные типы диска и устойчивости, что позволяет каждому уровню оптимизировать производительность или емкость. Вот некоторые примеры конфигурации:
Уровень производительности | Уровень емкости |
---|---|
Зеркальный SSD | Зеркальный жесткий диск |
Зеркальный SSD | SSD с контролем четности |
Зеркальный SSD | Жесткий диск с контролем четности |
После настройки этих уровней ReFS использует их для предоставления быстрого хранилища для оперативных данных и эффективного хранения для холодного объема данных:
- Все операции записи будут выполняться на уровне производительности, а большие фрагменты данных, остающиеся на уровне производительности, будут эффективно перемещены на уровень емкости в режиме реального времени.
- если используется гибридное развертывание (смешивание дисков флэш-памяти и жесткого диска), кэш в Локальные дисковые пространства помогает ускорить операции чтения, уменьшая воздействие характеристик фрагментации данных виртуализованных рабочих нагрузок. В противном случае при использовании развертывания «все-Flash» операции чтения также выполняются на уровне производительности.
при развертывании Windows Server контрольные суммы с ускорением зеркального отображения поддерживаются только в Локальные дисковые пространства. Мы советуем использовать четность с ускорением зеркального отображения только с рабочими нагрузками архивации и резервного копирования. Для виртуализированных и других высокопроизводительных произвольных рабочих нагрузок рекомендуется использовать трехстороннее зеркала для повышения производительности.
Ускорение операций виртуальных машин. В ReFS реализованы новые возможности, предназначенные для повышения производительности виртуализированных рабочих нагрузок.
-
. клонирование блоков ускоряет операции копирования, обеспечивая быструю и низкую производительность операций слияния контрольных точек ВМ.
- Разреженный ВДЛ-разреженный ВДЛ позволяет быстро разбить ReFS на нулевые файлы, уменьшая время, необходимое для создания фиксированных виртуальных жестких дисков с 10 минут до всего секунд.
Переменный размер кластера — ReFS поддерживает размер кластера 4 КБ и 64 КБ. Рекомендуемый для большинства развертываний размер кластера — 4 КБ, а кластеры размером 64 КБ подходят для работы с крупными, последовательными рабочими нагрузками ввода-вывода.
Как увеличить
Если вам нужно увеличить уже существующий файл воспользуйтесь первой командой, здесь замените имя и укажите нужный размер.
dd if=/dev/zero of=025.jpg bs=1 count=0 seek=2G
Это увеличит его размер до 2 Гб.
Для проверки размера выполним такую команду:
du -h --apparent-size 025.jpg
Устойчивость
- Потоки целостности — ReFS использует контрольные суммы для метаданных и, при необходимости, для данных файлов, что дает возможность точно определить повреждения ReFS.
- интеграция дисковые пространства . при использовании с зеркальным отображением или пространством четности ReFS может автоматически восстанавливать обнаруженные повреждения с помощью альтернативной копии данных, предоставляемых дисковые пространства. Процессы восстановления локализованы в области повреждения и выполняются в оперативном режиме без простоя томов.
- Данные для восстановления . Если том поврежден, а другая копия поврежденных данных не существует, ReFS удаляет поврежденные данные из пространства имен. ReFS сохраняет том в оперативном режиме при обработке большинства неисправляемых повреждений, но в редких случаях ReFS необходимо перевести том в автономный режим.
- Упреждающее исправление ошибок — помимо проверки данных перед чтением и записью, ReFS представляет средство проверки целостности данных, называемое средством очистки. Оно периодически сканирует том, пытаясь выявить скрытые повреждения и профилактически запуская процесс восстановления поврежденных данных.
Заключение
Перед использованием этого функционала в любых ОС вам крайне важно узнать все их преимущества и недостатки. Знание этих особенностей гарантировано позволит вам избежать потенциальных проблем в будущем.
Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике. А также зайдите на наш Youtube канал, там собраны более 400 обучающих видео.
Отказоустойчивая файловая система (ReFS) — это новейшая файловая система Майкрософт, предназначенная для повышения доступности данных, эффективного масштабирования до больших наборов данных в различных рабочих нагрузках и обеспечения целостности данных с устойчивостью к повреждению. Она используется для растущего числа сценариев хранения данных и служит основой для будущих нововведений.
Ограничения
Компонент | ReFS | NTFS |
---|---|---|
Максимальная длина имени файла | 255 символов Юникода | 255 символов Юникода |
Максимальная длина имени пути | 32 КБ символов Юникода | 32 КБ символов Юникода |
Максимальный размер файла | 35 PB (петабайтов) | 256 ТБ |
Максимальный размер тома | 35 ПБ | 256 ТБ |
Масштабируемость
ReFS разработана для поддержки чрезвычайно больших наборов данных — миллионов терабайт — без негативного влияния на производительность, что повышает масштаб, чем предыдущие файловые системы.
Архитектура файловой системы
Структур ReFS значительно отличается от всех остальных файловых систем для Windows. Главными структурными элементами выступают «B+ деревья». Они бывают одноуровневыми (как листья) и многоуровневыми (как деревья). Это обуславливает хорошее масштабирование, для каждого элемента, входящего в структуру ФС. Эта схема, а также 64-битная адресация каждого элемента, делают невозможным проблемы при ее дальнейшем увеличении.
Как корневая запись B+дерева, остальные записи имеют такой же объем в 16 кб, для блока метаданных. Размер в 60 байт — выделен для промежуточных (адресных) узлов. Следовательно, для правильного описания масштабных структур хранения потребуется малое количество уровней. Это позволило увеличить производительность ФС, по сравнению с другими.
Storage Spaces
Deploying ReFS on Storage Spaces with shared SAS enclosures is suitable for hosting archival data and storing user documents:
- Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces to jointly detect and correct storage controller and storage media corruptions within both metadata and data.
- Storage Spaces deployments can also utilize block-cloning and the scalability offered in ReFS.
Storage Spaces supports local non-removable direct-attached via BusTypes SATA, SAS, NVME, or attached via HBA (also known as RAID controller in pass-through mode).
Алгоритм поиска удаленных данных
Утилиты для восстановления данных выполнят полное сканирование дискового пространства, отформатированного под «ReFS», используя алгоритм анализа по сигнатурам. Проверяя диск блок за блоком, они обнаружат готовые последовательности данных, определят их и выведут результаты. Так как API для работы с дисками для «ReFS» и «NTFS» одинаковы, то и процессы восстановления данных предельно схожи.
Сначала определяется «Volume Header», в нем записано количество секторов на кластер и какой объем сектора. Основная версия лежит в нулевом секторе, а копия расположена в последнем. Далее считывается «Superblock», он расположен в 30-ом блоке и также есть 2 копии во втором и третьем блоке в конце. Из него, извлекается ссылки на «чекпоинт» и его копию, определяется его последняя актуальная версия по «Virtual Allocated Clock».
Checkpoint содержит информацию об основных таблицах, далее считываются заголовки «Page Header» и блоки с указателями (Pointers) на полный список таблиц. Потом ищется «Container Table» для получения физических адресов из виртуальных, и выполняется поиск по «Object ID Table» — все таблицы найдены.
Утилиты доходят до нулевых уровней — то есть «листов b-дерева», и считывают данные файлов. Так как поиск ведется постранично, то если есть сбои — эти элементы просто исключаются из анализа, а сам процесс сканирования идет дальше. Таким образом утилиты для восстановления данных находят всю информацию, которую возможно «достать» с диска.
Полную версию статьи со всеми дополнительными видео уроками смотрите в источнике.
В этой статье пойдет речь о разреженных файлах. Расскажем об их недостатках и достоинствах, какие файловые системы поддерживают такие файлы. А также, как создавать или преобразовать их из обычных. Статья для новичков.
Разреженные – это специальные файлы, которые с большей эффективностью используют файловую систему, они не позволяют ФС занимать свободное дисковое пространство носителя, когда разделы не заполнены. То есть, «пустое место» будет задействовано только при необходимости. Пустая информация в виде нулей, будет хранится в блоке метаданных ФС. Поэтому, разреженные файлы изначально занимают меньший объем носителя, чем их реальный объем.
Этот тип поддерживает большинство файловый систем: BTRFS, NILFS, ZFS, NTFS, ext2, ext3, ext4, XFS, JFS, ReiserFS, Reiser4, UFS, Rock Ridge, UDF, ReFS, APFS, F2FS.
Все эти ФС полностью поддерживают такой тип, но в тоже время не предоставляют прямой доступ к их функциям по средством своего стандартного интерфейса. Управлять их свойствами можно только через команды командной строки.
Особенности «ReFS»
Контрольные суммы теперь используются для метаданных по умолчанию, также их применяют и к данным отдельных файлов. Так, в процессе чтения\записи, осуществляется верификации «на лету». Когда ФС обнаружит повреждение файлов, то моментально удалит записи без перезагрузки компьютера. То есть, «ReFS» теперь самостоятельно себя корректирует при появлении ошибок.
«ReFS» обеспечивает более высокую надежность сохранения информации, по сравнению со старой ФС. Для хранения файлов и метаданных используются «B+-деревья». Размеры, количество разделов и файлов теперь ограничены максимальным 64-битным значением. Пустое пространство хранится в трех разных таблицах, разбитых по объемам фрагментов (малых, средних, больших). Названия файлов и пути пишуться в «Unicode», они не должны превышать 32 килобайта, то есть название файла можно указывать в 30 тысяч знаков.
Защита от отключения питания. Допустим вы прописываете новое имя файла (или другие метаданные), пропало электричество и вы не успели их сохранить. В «NTFS» — файл будет поврежден, так как вы меняете метаданные напрямую. Но «ReFS» всего лишь делает копию метаданных, и не меняет основные пока не произойдет сохранение, особенность работы функции «Copy-on-write».
Технология «Storage Spaces» — это функция виртуализации носителей. Она позволяет создать единое пространство из нескольких физических дисков на одном ПК или нескольких по локальной сети. Также есть возможность настроить «зеркалирование» как RAID массивах.
функциональное назначение;
В ReFS и NTFS доступны следующие функции:
доступно на Windows server версии 1709 и более поздних версий, Windows Server 2019 (1809) LTSC или более поздней версии.
доступно в Windows Server 2012 R2 и более поздних версиях.
в CSV не будут использоваться прямые операции ввода-вывода с дисковые пространства, Локальные дисковые пространства (S2D) или SAN.
версия ReFS 3,5, отформатированная Windows 10 Enterprise Insider Preview сборки 19536 и более поздних версий. Поддержка жестких ссылок добавляется только для вновь отформатированных томов . Жесткие связи нельзя использовать на томах, которые были обновлены с предыдущих версий.
Основные преимущества
Базовые диски
Развертывание ReFS на базовых дисках лучше всего подходит для приложений, которые реализуют собственные решения по обеспечению устойчивости и доступности программного обеспечения.
- Приложения, которые представляют собственные программные решения для обеспечения устойчивости и доступности, могут использовать потоки целостности, клонирования блоков и возможности масштабирования и поддержки больших наборов данных.
К базовым дискам относятся локальные несъемные диски с прямым подключением через Бустипес SATA, SAS, NVME или RAID. базовые диски не включают дисковые пространства.
Functionality
The following features are available with ReFS and NTFS:
Available on Windows Server, version 1709 and later, Windows Server 2019 (1809) LTSC or later.
Available on Windows Server 2012 R2 and later.
CSV will not use Direct I/O with Storage Spaces, Storage Spaces Direct (S2D) or SAN.
Version ReFS 3.5 formatted by Windows 10 Enterprise Insider Preview build 19536 and later. Hard links support is added for newly formatted volumes only. Hard links can't be used on volumes that have been upgraded from previous versions.
В блоге разработчиков Windows 8 опубликована большая статья с описанием архитектуры новой файловой системы ReFS (Resilient File System), ранее известной под кодовым названием Protogon, которая разрабатывается для Windows Server 8, а в будущем она будет доработана и начнёт устанавливаться также на клиентских машинах Windows. Прошлая файловая система NTFS в версии 1.2 была представлена в далёком 1993 году как часть Windows NT 3.1, а к появлению Windows XP в 2001 году NTFS доросла до версии 3.1, и только тогда её начали ставить на клиентские машины. Примерно такой же путь развития ожидает ReFS.
По многим причинам NTFS не удовлетворяет требованиям к современным файловым системам, да она никогда и не считалась элегантной и не отличалась производительностью.
Ведущий программист и менеджер подразделения Windows Storage and File System Сурендра Верма (Surendra Verma) объясняет, что ReFS будет основана на NTFS и сохранит совместимость по ключевым направлениям, но в то же время это будет совершенно другая архитектура. Некоторые фичи и семантики NTFS будут ликвидированы, в том числе поддержка коротких имён, ID объектов, компрессия, шифрование на уровне файлов (EFS), дисковые лимиты (квоты), потоки данных, транзакции, разрежённые файлы, расширенные атрибуты и жёсткие ссылки.
Структура данных ReFS реализована в виде B+ деревьев
- Сохранить максимальную совместимость с набором широко используемых фич NTFS, и в то же время избавиться от ненужных, которые только усложняют систему
- Верификация и автоисправление данных.
- Максимальная масштабируемость.
- Невозможность полного отключения файловой системы за счёт изоляции сбойных участков.
- Гибкая архитектура с использованием функции Storage Spaces, которая задумана и реализована специально для ReFS.
- Целостность метаданных с контрольными суммами.
- Integrity streams: метод записи данных на диск для дополнительной защиты данных при повреждении части диска.
- Транзакционная модель "allocate on write" (copy on write)
- Большие лимиты на размер разделов, файлов и директорий. Размер раздела ограничен 2 78 байт при размере кластера 16 КБ (2 64 * 16 * 2 10 ), стек Windows поддерживает 2 64 . Максимальное количество файлов в директории: 2 64 . Максимальное количество директорий в разделе: 2 64 .
- Организация пулов и виртуализация для более простого создания разделов и управления файловой системой.
- Сегментация последовательных данных (data sriping) для повышения производительности, избыточная запись для отказоустойчивости.
- Поддержка техники чистки диска в фоновом режиме (disk scrubbing) для выявления скрытых ошибок.
- Спасение данных вокруг повреждённого участка на диске.
- Общие пулы хранения данных между машинами для дополнительной отказоустойчивости и балансировки нагрузки.
Конечно же, данные с ReFS будут доступны для клиентов через те же APIs, которые используются сегодня во всех операционных системах для доступа к разделам NTFS.
«ReFS» (Resilient File System) – это новая файловая система от Microsoft, которая создавалась как замена «NTFS». У нее есть несколько солидных преимуществ, а именно, разработчики исправили все ошибки «NTFS». Она гораздо больше защищена от повреждения информации, она лучше переносит возросшую нагрузку, а также масштабируется гораздо проще.
Целостность информации, использование контрольных сумм для метаданных.
Запись информации — Integrity streams (повышенная защита файлов при ошибке части носителя).
«allocate on write» — новая транзакционная модель.
Масштабируемость, увеличенные лимиты на объем каталогов, файлов, разделов.
Работа с пулами разделов, виртуализация разделов.
«data sriping» — система увеличивает производительность и отказоустойчивость данных, избыточная запись информации как в RAID массивах.
Чтобы выявить скрытые ошибки используется функция — «disk scrubbing», очистка диска в фоне.
Пересохранение информации возле проблемных блоков диска.
Единые пулы носителей, на нескольких компьютерах по сети, повышает отказоустойчивость, уменьшает нагрузку.
Поддержка большинства стандартных функций «NTFS».
Система верификации информации.
Отключение «ReFS» невозможно, так как сбойные сектора изолируются.
«Storage Spaces» — новая уникальная гибкая архитектура.
Еще новая ФС унаследовала часть функционала «NTFS»: работа с «BitLocker», «USN» журналирование, «ACL» контролируемый доступ, «mount points»… Естественно, общий объем данных и подключение к разделам«ReFS», доступны по тем же «API».
Создаем разреженный файл в Windows
Для этого в ОС Windows будем использовать командную строку. В поиске пишем cmd и запускаем ее от имени администратора.
В Windows для управления такими данными используют программу fsutil (утилита файловой системы). При выполнении create, по умолчанию файл создается самый обычный. Переходим в папку где нужно его создать и вводим:
fsutil file createnew sparse-file 1000000000
Где sparse-file – имя, а в конце указан его размер в байтах.
Чтобы присвоить файлу значение «разреженный» вводим:
fsutil sparse setflag sparse-file
Для удаления этого флага выполняется следующая команда:
fsutil sparse setflag sparse-file 0
И чтобы снова присвоить атрибут:
fsutil sparse setflag sparse-file
fsutil sparse queryflag sparse-file
Сам по себе атрибут ещё не приводит к экономии дискового пространства. Для этого нужно разметить пустую область, которая будет освобождена внутри.
Для пометки пустой области введите:
fsutil sparse setrange sparse-file 0 1000000000
В конце указывается смещение и длина, они задаются в байтах. В моем случае от нуля до 1Гб.
Для установки полностью разреженного файла указываем полный объем. Если нужно можно расширить файл указав здесь большее значение.
Для того чтобы убедиться, что файлу присвоен данный атрибут выполним layout
fsutil file layout sparse-file
Такой Атрибут можно задать любому файлу. Просто выполнив эту команду с его именем и задать нужный вам размер.
В свойствах созданного ранее файла можно увидеть, что при размере в 1Гб. файл занимает на диске 0 байт.
Данный набор команд подходит для всех файловых систем Windows, которые поддерживают данный тип данных (NTFS, ReFS и т.д.).
Цель резервного копирования
Развертывание ReFS в качестве целевого объекта резервного копирования лучше всего подходит для приложений и оборудования, которые реализуют собственные решения для обеспечения устойчивости и доступности.
- Приложения, которые представляют собственные программные решения для обеспечения устойчивости и доступности, могут использовать потоки целостности, клонирования блоков и возможности масштабирования и поддержки больших наборов данных.
Целевые объекты резервного копирования включают указанные выше поддерживаемые конфигурации. Свяжитесь с поставщиками массивов приложений и хранилища для получения сведений о поддержке по оптоволоконному каналу и сетям хранения данных iSCSI. Для сетей SAN, если требуются такие функции, как тонкая подготовка, обрезка, отмена СОПОСТАВЛЕНИЯ или Передача данных (ODX), необходимо использовать NTFS.
Дисковые пространства
Развертывание ReFS в дисковых пространствах с общими полками SAS подходит для размещения архивных данных и хранения документов пользователей.
- целостность — потоки, оперативное восстановление и альтернативные копии данных позволяют ReFS и дисковые пространства обнаруживать и устранять повреждения контроллеров и носителей хранилища как в метаданных, так и в данных.
- Кроме того, в средах дисковых пространств можно использовать функции клонирования блоков и масштабирования, доступные в ReFS.
дисковые пространства поддерживает локальные несъемные диски с прямым подключением через бустипес SATA, SAS, NVME или подключенные через HBA (также известный как RAID-контроллер в сквозном режиме).
Читайте также: