Технология advanced format в жестком диске что это
До сегодняшнего дня мы достаточно подробно разбирали универсальные жесткие диски, такие как Seagate Barracuda 7200.14 и WD Caviar Blue/Black. При этом многие пользователи в прайс листах компьютерных магазинов могут заметить существование таких жестких дисков, как Western Digital AV-25, Western Digital Caviar Green, Seagate Barracuda Green, Seagate Barracuda ST1000DM003, Western Digital AV-GP. Стоимость данных винчестеров не сильно отличается от универсальных продуктов, но при этом все они обладают одной уникальной особенностью - поддержкой технологии Advanced Format.
Как можно понять из названия самой технологии, Advanced Format, предполагает расширенный режим форматирования жесткого диска. При этом если стандартные жесткие диски имеют физические сектора размерами по 512 байт, то жесткие диски с технологией Advanced Format имеют физический сектор размерами 4 килобайта, то есть содержат в себе четыре стандартных сектора. Данная технология была разработана IDEMA Long Data Sector Committee.
Ключевой необходимостью внедрения данной технологии является удешевление стоимости современных жестких дисков, которые при стандартных габаритах в 3,5 дюйма имеют объемы хранения данных до 4 Тб и уже через некоторое время обещают покорить заветные 8 ТБ. При этом жесткие диски переходят на работу с секторами по 4 килобайта и производят чтение/запись данных сразу по 4 Кб, а не по 512 байт, как в обычных решениях. При этом теоретически уменьшается количество механических движений головок и пластин жесткого диска с одновременным снижением энергопотребления, шумности и расширяются возможности использования более высокотехнологичных магнитных дисков с дорожками по 70 нанометров.
Необходимость Advanced Format назрела давно
Необходимость перехода на 4 килобайтные сектора назрела достаточно давно, так как современные операционные системы даже в рамках популярной файловой системы NTFS используются кластера размерами по 4 килобайта, то есть фактически, операционная система все равно работает данными по 4 килобайта. В реальных же условиях файловая система с кластерами по 512-1024 байта использовалось лишь в операционных системах DOS, Windows 95/Windows 98 и в некоторых случаях Windows Vista. Поэтому необходимость создания секторов по 512 байт является обузой для производителей жестких дисков, так как производить разметку новых более технологичных жестких дисков на мелкие 512 байтные сектора в разы труднее, нежели их разметка на сектора размерами по 4 килобайта.
Advanced Format - больше места на диске
Переход на новый формат Advanced Format подразумевает увеличение свободного пространства жесткого диска. При разметке жесткого диска на сектора по 512 байт, каждый сектор дополняется 50 байтами для кода коррекции ошибок, тем самым пользователь получает лишь 87% фактического места на магнитном диске жесткого диска. В случае использования технологии Advanced Format на каждый сектор размером в 4 килобайта используется 100 байт пространства для кода коррекции ошибок, тем самым экономится 50% пространства и пользователь получает возможность использования 96% физического пространства каждого магнитного диска.
Совместимость жестких дисков Advanced Format
На сегодняшний день полноценная поддержка нового формата жестких дисков реализована начиная с Windows Vista, поэтому современные компьютеры на базе Windows 7 и Windows 8 готовы к работе с новинками. Как правило, пользователи вовсе не замечают какой-либо разницы от использования нового типа жестких дисков.
Реализована полноценная поддержка Advanced Format в последних дистрибутивах операционной системы Linux и решениях от Apple под управлением Mac OS X. А вот от использования Windows XP покупателям жестких дисков Advanced Format придется отказаться. Связано это с тем, что данная операционная система не готова к работе с секторами по 4 килобайта, поэтому контроллер жесткого диска совместно с драйверами будет вынужден эмулировать обычные 512 байтные сектора в рамках одного 4 килобайтного реального сектора. Это приводит к повышению нагрузки на вычислительную часть и тормозит процесс чтения/записи данных. Как правило, отмечается падение производительности вплоть до нескольких мегабайт в секунду и работа становится практически не выносимой.
Самое плохое от использования Windows XP на жестких дисках Advanced Format заключается в том, что жесткий диск из-за необходимости эмуляции оказывается вынужденным многократно считывать один и тот же сектор, что ведет к повышенному износу его механической части.
Определенные нюансы использования Windows XP на жестких дисках Advanced Format заключается также в том, что первый раздел данная операционная система начинает с 63 сектора, в то время как для жестких дисков Advanced Format критичным является начало раздела с 64 сектора, чтоб он был строго кратен восьми. Это позволяет жесткому диску перестать за один запрос кластера считывать два сектора по 4 килобайта и повысить производительность даже в условиях работы под управлением старой Windows XP.
Производители жестких дисков Advanced Format имеют утилиты и собственные технологии для решения данной проблемы. Компания Seagate предлагает технологию Seagate SmartAlign, которая самостоятельно решает проблему форматирования жестких дисков Advanced Format, а компания Western Digital своим покупателям предлагает пользоваться утилитой WD Align System или специальным джампером на жестком диске, которые реализован не на всех экземплярах.
Насколько актуален Advanced Format
Естественно, в условиях старой размерности сектора по 512 байт не может продолжаться дальнейшее развитие жестких дисков, т.е. увеличения их объема. Рано или поздно жесткие диски со стандартными секторами в 512 байт полностью исчезнут с рынка. Внедрение технологии Advanced Format было начато в 2009 году, массовый пользователь увидел новые жесткие диски в 2010 году. Предполагалось, что стремительное внедрение нового формата будет закончено уже в 2011 году, а в 2012 году стандартные жесткие диски с секторами по 512 байт вовсе покинут прилавки магазинов. Объективно мы не наблюдаем массового вытеснения. Скорее можно отметить параллельное существование на рынке жестких дисков со стандартными 512 байтными секторами и жестких дисков с секторами по 4 килобайта в рамках технологии Advanced Format.
Производители жестких дисков переход на новый формат Advanced Format объясняют не сколько необходимостью увеличения вместимости самих жестких дисков, сколько необходимостью повышения надежности хранения данных за счет улучшения технологии коррекции ошибок. В частности, считается, что использование 512 байтных секторов в условиях пластин менее 80 нанометров достаточно проблематично, так как появление микрочастиц между головкой жесткого диска и пластиной приведет к появлению ошибок чтения или записи данных. Если же жесткий диск будет оперировать данными по 4 килобайта - этого удастся легко избежать.
Недостатком жестких дисков Advanced Format является то, что при необходимости записи мелких данных размер которых менее 4 килобайт жесткий диск оказывается вынужденным либо заполнить весь сектор в 4 килобайта данными менее этого размера, или дождаться появления новых данных у пользователя. Как правило, контроллер копит данные по 512 килобайт в своей кэш-памяти и как только набирает 4 килобайта данных для заполнения сектора - записывает их. Тем самым, если вы работаете с фалами менее 4 килобайт достаточно часто, имеет смысл позаботиться о резервном источнике питания для уменьшения вероятности потери данных. Для большинства пользователей, которые хранят на жестких дисках музыку, видеофайлы, компьютерные игры по 20 Гб - это не актуально.
Advanced Format — это новый формат разметки жестких дисков, необходимый для адресации больших объемов дисковой памяти. Все производители современных жестких дисков, в том числе HGST, переходят на этот формат.
Одна из основных особенностей Advanced Format — увеличение размера сектора с 512 до 4096 байт. Для сохранения совместимости с программами, рассчитанными на прежний формат, новые диски имеют режим эмуляции, который называется «512e».
Большая часть современных операционных систем поддерживает Advanced Format. Для достижения оптимального быстродействия ввода-вывода необходимо, чтобы разбивка диска была осуществлена корректно, и чтобы данные записывались 4-килобайтными блоками как операционной системой, так и прикладными программами. Новейшие операционные системы по умолчанию выполняют все условия, необходимые для эффективной работы с Advanced Format. При использовании же более старого программного обеспечения для настройки дисковой подсистемы на оптимальное быстродействие могут потребоваться специальные утилиты.
Устройство Advanced Format
В средней части рисунка 1 изображены восемь идущие подряд 512-байтных секторов. Помимо пользовательских данных, каждый сектор содержит служебную информацию: данные разметки и код коррекции ошибок. При замене восьми 512-байтных секторов одним 4-килобайтным количество необходимой служебной информации сокращается (см. нижнюю часть рисунка). Таким образом, при работе с большими файлами (а средний размер файлов по сравнению со временами, когда использовался 512-байтный формат, вырос) дисковое пространство используется эффективнее. Кроме того, под код коррекции ошибок выделено больше места, благодаря чему лучше обеспечивается целостность данных.
Рис. 1. Сравнение 512-байтного и 4-килобайтного форматов(1).
Обеспечение совместимости
Значительная часть находящихся в эксплуатации технических и программных средств рассчитаны на размер сектора 512 байт и ожидают, что данные будут пересылаться 512-байтными блоками. Эмуляция такого обмена реализована в новых дисках на уровне интерфейса. При запросе на чтение блока диск считывает сектор целиком (на что не уходит много времени) и передает программе только необходимый блок. Если же от программы поступает запрос на запись блока, то диск считывает целый сектор, помещает в него полученный блок и перезаписывает сектор целиком (см. рис. 2). Между считыванием и записью проходит время, диск может за это время совершить несколько оборотов.
Рис. 2. В режиме эмуляции при записи 512-байтного блока диск вначале считывает сектор, помещает в него блок и затем записывает сектор
Обеспечение быстродействия
Для достижения наивысшего быстродействия необходимо, чтобы формат записи на диск соответствовал формату диска. В идеальном случае запись должна выполняться 4-килобайтными блоками и каждый блок должен записываться в один сектор. Это условие выполняется в том случае, если и операционная система, и прикладные программы настроены на работу с 4-килобайтными блоками, а разбиение диска выполнено корректно.
Большинство современных операционных систем используют файловые системы, в которых дисковое пространство выделяется 4-килобайтными блоками, или кластерами. 4-килобайтный блок соответствует восьми 512-байтным секторам (см. рис. 3).
Рис. 3. Соответствие кластера сектору в режиме эмуляции.
Выравнивание границ разделов
При использовании операционных систем, записывающих данные 4-килобайтными кластерами (большинство современных ОС), важно, чтобы их границы были выровнены по границам секторов диска. В режиме эмуляции 512e диск не может предотвратить размещение раздела с блока, номер которого не кратен восьми. Если такое произойдет, один кластер будет размещаться в двух секторах (см. рис. 4). Таким образом, при чтении или записи 4-килобайтного кластера потребуется соответственно считать или записать 8 килобайт — вдвое больше. И если при чтении разница в скорости будет не большая, то при записи она окажется заметной.
Рис. 4. Размещение кластера не с начала сектора.
Операционные системы, поддерживающие Advanced Format
В следующих операционных системах размер кластера составляет 4 Кбайт, а при установке разбиение диска выполняется корректно:
• Microsoft Windows Vista SP1 и новее;
• Microsoft Windows 7;
• Microsoft Server 2008;
• Mac OS X 10.4 и новее;
• Linux Ubuntu 8.04+, SUSE, Linux kernel 2.6.34+ (необходимо использовать Linux Partitioning Utility).
Операционные системы, не обеспечивающие автоматическое соответствие кластеров секторам:
• Microsoft Windows XP;
• Microsoft Server 2003;
• Microsoft Windows Home Server V1.
Для Windows:
Acronis Disk Director Home 11 или Paragon Partition Manager 11.
Для Mac:
Disk Utility (в комплекте с Mac OS X 10.4+), создает раздел GPT (GUID Partition Table).
Казалось бы, что про диски Advanced Format за последние 4 года успели узнать все. Публикаций действительно много, но настало время рассмотреть все технические подробности и подводные камни в одной большой статье. Речь пойдёт об использовании AF-дисков в серверах, и я заметил, что для большинства администраторов даже в крупных компаниях знание предмета в большинстве случаев сводится к «это как-то связано с современными дисками, но у меня всё работает».
Advanced Format в дисках корпоративного класса. Что нас ждёт?
Речь пойдёт о дисках корпоративного класса последний серий. Десктопные HDD и позиционируемые для NAS или видеонаблюдения сюда не попали.
Вендор | Серия | Форм-фактор | Интерфейсы | Скорость вращения шпинделя, об/мин | Дополнительно | |||
Seagate | Enterprise Performance 10K HDD (10k.8) | 2.5" | SAS | 10000 | Y | Y | Y | для 512N ёмкость ограничена: 600/1200ГБ |
Seagate | Enterprise Performance 15K HDD (15k.5) | 2.5" | SAS | 15000 | Y | Y | Y | 32ГБ встроенного SSD-кэша |
Seagate | Enterprise Capacity 2.5 HDD (V.3) | 2.5" | SAS, SATA | 7200 | Y | Y | ||
Seagate | Enterprise Capacity 3.5 HDD (V.4) | 3.5" | SAS, SATA | 7200 | Y | Y | ||
Seagate | Archive HDD | 3.5" | SATA | 7200 | Y | Позиционируются для архивного применения, меньше MTBF и хуже BER | ||
Seagate | Terascale HDD | 3.5" | SATA | 5900/7200 | Y | Позиционируются для облачного применения, меньше MTBF и хуже BER | ||
HGST | Ultrastar C10K1800 | 2.5" | SAS | 10000 | Y | Y | Y | для 512N ёмкость ограничена: 300/600/900/1200ГБ |
HGST | Ultrastar C15K600 | 2.5" | SAS | 15000 | Y | Y | Y | |
HGST | Ultrastar C7K1000 | 2.5" | SAS | 7200 | Y | |||
HGST | Ultrastar He 8 | 3.5" | SAS, SATA | 7200 | Y | Y | ||
HGST | Ultrastar He 6 | 3.5" | SAS, SATA | 7200 | Y | |||
HGST | Ultrastar 7K6000 | 3.5" | SAS, SATA | 7200 | Y | Y | ||
HGST | MegaScale DC 4000.B | 3.5" | SATA | 5400 | Y | Позиционируются для облачного применения, меньше MTBF и хуже BER | ||
WD | Xe | 2.5"/3.5" | SAS | 10000 | Y | |||
WD | Re | 3.5" | SATA | 7200 | Y | |||
WD | Se | 3.5" | SATA | 7200 | Y | Позиционируются для облачного применения, меньше MTBF и хуже BER | ||
WD | Ae | 3.5" | SATA | 5760 | Y | ? | Позиционируются для архивного применения, меньше MTBF и хуже BER | |
Toshiba | AL13SE | 2.5" | SAS | 10000 | Y | |||
Toshiba | AL13SX | 2.5" | SAS | 15000 | Y | |||
Toshiba | AL13SEL | 3.5" | SAS | 10000 | Y | |||
Toshiba | MG03ACA/MG03SCA | 3.5" | SAS, SATA | 7200 | Y | |||
Toshiba | MG04ACA | 3.5" | SATA | 7200 | Y | Y | ||
Toshiba | MG04SCA | 3.5" | SAS | 7200 | Y | Y | ||
Toshiba | MC04ACA | 3.5" | SATA | 7200 | Y | Позиционируются для облачного применения, меньше MTBF и хуже BER |
SSD имеют свои особенности. Читать и записывать данные можно страницами, размер которых составляет 2–4–8–16КиБ в зависимости от архитектуры SSD. При этом для записи нужно обеспечить предварительное стирание ячеек, которое осуществляется не постранично, а блоками по несколько сотен страниц. Например, Samsung 840 EVO имеет блоки по 2МиБ, каждый из которых состоит из 256-ти страниц по 8КиБ. При этом, естественно, любой презентуемый хосту размер блока — 512 или 4096 байт — будет абстракцией.
Некоторые из современных SAS/SATA SSD эмулируют 512E-диск, но большая часть из соображений совместимости — 512N. Каких-либо особых мер в связи с этим предпринимать не требуется, так как в SSD корпоративного класса содержимое кэша обязательно защищается от потери питания. Достаточно обеспечить выравнивание по размеру страницы.
Некоторые PCI-E SSD, например, производства Fusion IO дают возможность при помощи фирменных утилит изменить при форматировании размер логического сектора, т.е. переключаться между 512E и 4KN режимами. Для некоторых SSD с интерфейсом SAS это тоже возможно, например, Seagate 1200 поддерживает изменение размера сектора обычным sg_format. Переход на 4КиБ сектор в некоторых сценариях может существенно поднять производительность.
Жесткие диски, несмотря на наступление по всем фронтам твердотельных накопителей SSD, никак не спешат сдаваться. Причиной тому можно назвать сейчас только высокую стоимость одного гигабайта объема на SSD и в меньшей степени их ограниченный ресурс. Однако зачастую, особенно в мобильных устройствах, применение твердотельной памяти более предпочтительно из-за её компактности, невосприимчивости к ударам и самое главное – высокой производительности. Именно последний фактор у жестких дисков легче всего улучшается, поскольку миниатюризация механических частей приводит к уменьшению производительности и надежности, а ударостойкость вообще невозможно повысить без кардинального изменения механики. Один из пионеров индустрии накопителей на магнитных дисках – компания Western Digital – уже давно пытается вывести производительность своих накопителей на новый уровень. Не так давно инженеры компании придумали оснастить блок головок дополнительным пьезодвигателем, который способствует точному позиционированию головки на нужной дорожке, что улучшает такую характеристику диска, как случайное чтение. Однако самой интересной и массовой новинкой, которая уже внедряется в накопители, можно признать технологию WD Advanced Format.
Вместо заключения
Конечно, Western Digital с одной стороны опережает время, представив более производительные диски с логической структурой, за которой неизбежное будущее. С другой стороны, все еще много людей использует стремительно устаревающие, но такие привычные операционные системы, как Windows XP, 2000 и даже Windows 98. В этом случае компания предлагает воспользоваться обходными путями, используя перемычку или программу для выравнивания диска. Однако остаются вопросы – что, например, будет, если на уже выровненном программой WD Align диске задействовать перемычку? К тому же, очень полезно здесь вспомнить пользователей, архивирующих операционные системы и делающих бэкапы: в данном случае используются такие программы, как Norton Ghost или Acronis True Image, и что самое важное – многие из нас используют так называемые «урезанные» ОС, Preinstallation Environment, в простонародии PE. Такие известные диски, как Bart PE или Microsoft Windows PE основаны на ядрах Windows NT, а значит не имеют поддержки LDS/Advanced Format. Единственные варианты для таких пользователей пока – либо отказаться от использования Windows PE, либо не приобретать накопители с увеличенным сектором. Хотя, нельзя исключать вероятности, что народные умельцы смастерят что-нибудь подобное на основе Windows Vista или 7 – ведь удобная и полезная штука, особенно в том случае, когда требуется срочно вылечить «заболевший» компьютер от вируса или восстановить «упавшую» систему.
Отличить диски WD с Advanced Format несложно: десктопные серии имеют в конце буквы EARS или AARS, мобильные – BPVT. Кроме того, на наклейке диска присутствует текст в черной рамке, сообщающий, что это – «Advanced Format Drive». В общем, будьте внимательны при выборе и покупке жесткого диска: не забывайте о своих интересах, подумайте о производительности и не забудьте о возможных проблемах, если ваш случай их подразумевает. Если же вы покупаете новый компьютер и работать со старыми ОС не собираетесь, то именно «Advanced Format Drive» будет наилучшим выбором.
Для полноценного функционирования диска с тенологией Advanced Format под WinXP желательно его выровнять — таковы официальные рекоммендации и результаты тестов. Для XP есть утилиты, выложенные на сайте WD. В Vista/7/2008 Server тоже нет проблем — Advanced Format поддерживается ими «из коробки». Что же касается Win2003 — никакой официальной информации об использовании дисков с AF нет, ни от WD, ни от MS. Более того, утилита для выравнивания разделов (WD Align) отказывается работать в Win2003.
Целью данного небольшого исследования было экспериментальное подтверждение необходимости выравнивания разделов диска с технологией Advanced Format, функционирующего под Windows Server 2003. А так же выявление способов этого выравнивания. Под катом немного теории, практика, выводы и инструкции.
1. Теория
1.1. Advanced Format
Технология WD Advanced Format заключается в использовании так называемых «длинных секторов» размером 4кб на физическом уровне диска. В то время как традиционный размер сектора — 512 байт. Современные ОС умеют работать с 4кб-секторами, но WinXP и Win2003 к таковым не относятся. Для обратной поддержки хитрый WD сделал аппаратную эмуляцию: «внутри» диска информация хранится в 4кб-секторах, но «снаружи» ОС с ним работает через 512-байтовые сектора.
Подробно о технологии можно почитать, например, здесь, здесь или здесь. Я же представлю небольшую выжимку.
Первая проблема такой эмуляции заключается в том, что при записи 512-байтового сектора диску приходится считывать 4кб-сектор, изменять 512-байтовый сектор, пересчитывать ECC и записывать измененный 4кб-сектор обратно. Но эта проблема отходит на второй план при форматировании диска в WinXP/Win2003 — в данном случае начало раздела не совпадает с границами физических 4кб-секторов. Из-за этой особенности форматирования созданный раздел оказываются сдвинут на один 512-байтовый сектор.
В результате, при запросах операционной системы, диску в некоторых случаях приходится работать не с одним физическим 4кб-сектором, а с двумя соседними. Это, конечно же, снижает производительность.
В качестве устранения данной проблемы WD предлагает произвести выравнивание секторов раздела по границам физических секторов. Для этого предлагается два решения: аппаратное и программное. Аппаратное решение заключается в установке джампера 7-8 на жестком диске. Чтобы выровнять разделы программно во всеобщий доступ выложена утилита под названием WD Align.
В аппаратном решении имеются некоторые ограничения: WD не гарантирует нормальную работу при разбивке диска на несколько (>1) разделов. Кроме того, аппаратное решение (джампер) не видно ни в утилите, ни в операционной системе. А значит, теоретически можно сначала воткнуть джампер, а потом произвести выравнивание программно (либо создать раздел в современной ОС) — и в результате получить «двойной» сдвиг.
По этим причинам далее будет рассмотрено программное выравнивание (но аппаратное тоже будет тестироваться).
1.2. WD Align и Windows Server 2003
По вышеуказанной ссылке для программного выравнивания секторов WD предлагает две утилиты: от Paragon и от Acronis. Версия от Paragon вообще отказывается устанавливаться на Win2003 (и ее, кстати, в Supported Operating Systems честно нет). Версия от Acronis в Win2003 устанавливается, но при этом диск определяет как «Не является диском формата Western Digital Advanced Format», а раздел — как «Не оптимально выровненный раздел». Выравнивание раздела утилитой в данной ситуации произвести невозможно.
Официальных заявлений о поддержке технологии Advanced Format в Windows Server 2003 нет, о применении WD Align — тоже. По теории — в Win2003 почти то же ядро, что и в WinXP. А значит, и с дисками они должны работать (почти?) одинаково. Чтобы проверить это возможное «почти» были произведены тесты производительности.
2. Практика
Стоит сразу сказать: целью тестов был не замер максимального быстродействия диска и, тем более, не сравнение с другими дисками или другими тестами. Целью данных тестов было выявление относительной разницы в скорости работы диска с выровненным и невыровненным разделами.
В качестве испытуемого выступил WD20EARS объемом 2ТБ, в качестве средства испытания — Iometer 2006.07.27. К программе прилагается довольно подробный гайд на английском. На русском с описанием основных настроек можно ознакомиться, например, тут.
Было произведено множество тестов с разными спецификациями доступа, включая следующие вариации:
— Read/Write — чтение/запись
— Sequential/Random — случайное/последовательное обращение к диску
— Transfer Request Size — разный размер блоков при обращении к диску (512/2k/4k/16k/64k)
— Outstanding I/Os — разное количество одновременных запросов к диску (1/4/16/64/256)
Из всего множества полученных данных привожу результаты, которые необходимо и достаточно могут показать — есть ли разница между выровненным и невыровненным разделами. Параметры спецификаций доступа такие:
— Read/Write: 50%/50%
— Sequential/Random: 100% Sequential
— Transfer Request Size: 512/2k/4k/16k/64k
— Outstanding I/Os: 1
При этом диск тестрировался в следующих вариантах форматирования:
1. Невыровненный неразмеченный диск. Unallocated.
2. Невыровненный размеченный диск. Unaligned.
3. Выровненный (джампером) размеченный диск. Aligned (hard).
4. Выровненный (WD Align) размеченный диск. Aligned (soft).
Для снижения влияния случайных факторов на испытуемой системе были отключены все «ненужные» службы и отключено сетевое подключение.
Каждая спецификация доступа тестировалась в течение 5 минут с задержкой снятия показаний (Ramp Up Time) в 15 секунд.
Результаты тестов такие:
Вердикт: выравнивать разделы на дисках с Advanced Format под Windows Server 2003 нужно, что согласуется с теорией. Конечно же, диск с невыровненными разделами будет работать, но быстродействие при этом хромает.
3. Инструкции по выравниванию
Как уже было сказано в теоретической части, воспользоваться утилитой WD Align под Win2003 не получится. Поэтому придется производить выравнивание в другой среде, а потом отдать в пользование Win2003. На выбор предлагается:
— Создание разделов штатными средствами Windows Server 2003, а затем выравнивание WD Align с загрузочного диска.
— Создание разделов штатными средствами Windows XP, а затем выравнивание WD Align в той же XP.
— Создание разделов штатными средствами Windows Vista/7/2008.
— Модификация установщика WD Align от Paragon, дабы его можно было инсталлировать в Win2003.
В большинстве случаев, имея Win2003, проще и надежнее первый вариант (остальные варианты личной мной не проверялись). Поэтому привожу подробное описание варианта с загрузочным диском:
0. Не забудьте вынуть джампер 7-8, если вы его вставляли.
1. Скачайте и установите WD Align от Acronis (взять тут).
2. Запустите дополнительную утилиту «Мастер создания загрузочных носителей WD Align» и создайте загрузочный диск.
3. Чтобы потом WD Align увидела жесткий диск, необходимо его инициализировать и создать на нем разделы (форматировать можно быстрым форматированием).
4. Загрузитесь с созданного загрузочного диска и произведите выравнивание разделов (теперь утилита должна определить диск как WD Advanced Format).
5. Перезагрузутесь в Win2003. Для проверки можно запустить WD Align, напротив разделов должна висеть иконка «Оптимально выровненный раздел». Напротив привода останется иконка «Не является диском формата Western Digital Advanced Format», но с этим глюком ничего не поделать.
Сервисы Microsoft
Hyper-V
Несмотря на то, что диски 512E поддерживаются в Windows Server 2008 и 2008 R2 (см. в таблице требования по установленным KB), в Hyper-V появляется проблема: формат файлов виртуальных дисков VHD использует 512-байтные структуры для динамических («тонких») и дифференциальных VHD, что, естественно приводит к регулярным read-modify-write. Ситуация усугубляется тем, что для гостевой ОС виртуальный диск выглядит как имеющий физические сектора 512 байт. Используйте фиксированные VHD, но по-возможности не используйте диски 512E для размещения VHD-файлов.
В Windows Server 2012 появился формат VHDX, который не имеет вышеописанных проблем (его можно создать в любом виде — 512N/512E/4KN).
Exchange Server
- Все диски, используемые в группе обеспечения доступности (Database Availability Group, DAG) Exchange для хранения баз и логов, должны использовать одинаковый физический размер сектора.
- Диски 4KN не поддерживаются
- Диски 512E поддерживаются начиная с Exchange 2010 Service Pack 2
SQL Server
Ситуация та же, что и для Exchange Server — в отказоустойчивых конфигурациях для баз и логов на всех узлах должы использоваться диски с одинаковым физическим размером сектора.
При использовании Storage Spaces возникает интересная ситуация: презентуемый размер физического сектора оказывается равным 4КиБ вне зависимости от того, из каких дисков собран Storage Spaces (том Storage Spaces можно создать из разных дисков — 512N и 512E, смешивать с 4KN, естественно, нельзя, кроме случаев использования tiering'а с SSD). Формат VHDX (виртуальный диск) по умолчанию создаётся как 512E. В этом можно убедиться, запустив fsutil fsinfo ntfsinfo :
При использовании VHDX на томе Storage Spaces (или аппаратном RAID), состоящем из 4KN дисков, сам VHDX тоже желательно сделать 4KN:
Безопасно ли это для SQL и других приложений, использующих синхронную запись? Ответ — да, так как большая гранулярность хранения не нарушает целостности данных, на производительность это тоже не влияет, так как 4096 делится на 512.
Сервисы, использующие ESENT
Не совсем актуальная проблема в Windows Server 2008. Сервисы, использующие в работе Extensible Storage Engine API (AD, WINS, DHCP) могут упасть при изменении размера физического сектора (например, при миграции с 512N-диска на 512E). Подробное описание и хотфикс смотрите тут.
Все вроде бы радужно. Но есть ли подводные камни?
При столь «медовых» характеристиках не обошлось и без ложки дегтя, в данном случае это не только возросшая на электронику диска нагрузка, но и еще один, куда более важный нюанс: дело в том, что с самого начала компьютерного века, все компоненты IBM-совместимых ПК рассчитаны на работу с секторами по 512 байт. Это и операционные системы, и материнские платы, и контроллеры. По какой-то причине Microsoft в своих операционных системах для разметки диска использовала отступ, резервируя первые 63 сектора на диске при установке ОС. Помня о возможной несовместимости с такими системами, инженеры компании Western Digital выбрали следующий формат для новых дисков: физически HDD размечен секторами по 4 кб, однако диск рапортует системе о том, что способен работать с секторами по 512 байт. То есть большие физические сектора на диске имеют по восемь логических 512-байтных секторов – те самые 4 кб.
Таким образом, в новых дисках указанный выше 63-й сектор располагается ровно на восьмом логическом восьмого физического сектора, что приводит к несоответствию кластеров файловой системы секторам, размеченным на жестком диске. Казалось бы, для выравнивания достаточно сместить логическую структуру накопителя на один сектор, но в этом случае весь диск должен быть размечен под один раздел. В случае же нескольких разделов ситуация серьезно усложняется. Таким образом, если с возросшими требованиями к производительности электронной части диска бороться относительно просто – те же диски WD давно уже оснащаются двуядерным контроллером – то со вторым фактором все несколько сложнее. Первый шаг на всеобщем и неотвратимом пути к LDS (Long Data Sector) компания Microsoft уже сделала – её последние операционные системы Windows Vista и Windows 7 уже поддерживают диски с большими секторами – используя новые ОС, можно не волноваться о совместимости с новыми дисками. Также поддержку Advanced Format можно найти и в последних RAID-контроллерах. Да и на уровне BIOS материнских плат постепенно вводится поддержка LDS. Однако стопроцентно утверждать о том, что именно ваша система на 100% поддерживает Advanced Format пока еще рано. Безусловно, новый компьютер будет избавлен от проблем совместимости, но вот более старый ПК может преподнести неприятный сюрприз. То есть, как вы понимаете, для использования диска с увеличенным сектором требуется установка операционной системы Windows Vista или Windows 7 как минимум, а также желательно иметь современную материнскую плату или RAID-контроллер с последней версией прошивки. Однако и использование старых комплектующих и операционных систем вполне возможно. Дело в том, что Western Digital в своих накопителях, так сказать, подготовила пути отступления на случай, если у кого-то возникнет необходимость использования Windows XP и ниже на новых дисках. Вариантов приведения диска в режим, понятный старым операционным системам, два:
1. Использование перемычки на панели контактов жесткого диска. Перемычка, соединяющая восьмой и седьмой контакты, заставляет диск «сдвинуть» логическую структуру на один сектор, в результате 63-й сектор, по мнению операционной системы, станет на самом деле 64-м, что дает полное совпадение файловой системы и логической структуры диска. Все операции по «смещению» в данном случае выполняются электроникой диска. Но и, конечно, как вы поняли из сказанного выше, применение перемычки позволяет отформатировать диск только под один раздел, если же вы собираетесь использовать несколько разделов, то придется воспользоваться следующим способом.
Операционные системы
На первый взгляд кажется, что использование эмуляции 512-байтного сектора снимает все проблемы с совместимостью, но это не так. Во-первых, сразу же возникает проблема с производительностью. Что произойдет при записи блока размером 512 байт на диск с размером сектора 4096 байт (пусть и эмулирующий наличие секторов 512 байт)? Произойдёт классический процесс read-modify-write, вместо одной операции понадобится две: прочитать сектор 4096 байт, поменять в нём 512 байт (записываемый блок) и записать 4096 байт обратно. Аналогичная проблема проявляется и при отсутствии выравнивания, когда записываемый блок данных может быть достаточно большим и даже кратным 4096 байт, но при этом сдвинут относительно границ реальных секторов:
В современных условиях операции записи блоками меньше 4096 байт встречаются крайне редко, а вот проблема с выравниванием остаётся. Например, в старых Windows (до Windows Server 2008) при установке загрузочный раздел создаётся со смещением в 63 сектора. Так уж исторически сложилось с тех времён, когда BIOS использовал реальную геометрию диска вместо LBA. Разумеется, смещение в 63x512 не делится на 4096, что приводит к нарушению выравнивания для всех последующих разделов и снижению производительности. Впервые на данную проблему обратили внимание в связи с использованием RAID-контроллеров и необходимостью выравнивания разделов по границам страйпа и она была решена в Windows Vista/ Windows Server 2008 (и примерно в то же время — в других ОС) введением выравнивания по границам в 1024КиБ (1МиБ), т.е. первый раздел создается со смещением в 2048 512-байтных секторов.
Почему именно 1МиБ, если подойдёт меньшее смещение (главное — чтобы делилось на 4096 байт)? Просто потому, что нужен запас, ведь помимо физического диска в качестве блочного устройства могут выступать тома на RAID-контроллерах (с размером страйпа по умолчанию, например, у Adaptec в 256КиБ), SSD (с большим размером страниц) или образы дисков при использовании виртуализации, рекомендуемый размер NTFS-кластера для SQL или Exchange равен 64КиБ и т.д.
Проблема номер два — возможная потеря данных для сценариев с синхронной записью. Для ситуаций с записью блока меньше 4096 байт или невыравненного блока синхронной записи по факту не получится. Остаётся «научить» ОС не использовать при записи блоки меньше 4096 байт на диски 512E, но с этим есть определённые проблемы.
Microsoft
- Windows 8, 8.1
- Windows Server 2012, 2012 R2
- Windows 7 w/ MS KB 982018
- Windows 7 SP1
- Windows Server 2008 R2 w/ MS KB 982018
- Windows Server 2008 R2 SP1
- Windows Vista w/ MS KB 2553708
- Windows Server 2008 w/ MS KB 2553708
- Windows 8, 8.1
- Windows Server 2012, 2012 R2
Проверить выравнивание существующих разделов и задать смещение для новых разделов в Windows можно при помощи diskpart. Пример (раздел на диске 0 со смещением в 1024КиБ или 2048 512-байтных секторов):
Проверить проще всего через WMI (пример):
В колонке StartingOffset должно быть 1024КиБ для первого раздела, для остальных — должно делиться на 1024КиБ, это означает, что и на 4096 байт и все другие «хорошие числа» (размеры страйпов и NTFS-кластеров) всё будет делиться.
Напомню, что в современных Windows смещение в 1024КиБ и так используется по умолчанию, так что проверять/выставлять его вручную нужно лишь для ОС из «63-секторной» эпохи. При автоматическом создании GPT-разметки (через Disk Management) на 512N или 512E диске вы увидите смещение для первого раздела в 17КиБ. Это не повод для тревоги, так как это служебный раздел MSR. Первый стандартный раздел будет создан со смещением в 135266304 байт (129МиБ) — прекрасно делится на любое из наших «хороших чисел».
Linux
- RHEL 6.1
- SLES 11 SP2
- Ubuntu 13.10
- Ubuntu 12.04.4
- RHEL 6.1
- SLES 11 SP2
- Ubuntu 13.10
- Ubuntu 12.04.4
Посмотреть размеры физического и логического блоков можно в /sys/block/sdX/queue/physical_block_size и в /sys/block/sdX/queue/logical_block_size соответственно.
GNU Fdisk будет автоматически использовать смещение в 1МиБ при запуске с ключами -c и -u (отключить режим совместимости с DOS и использовать сектор в качестве единицы измерения). Обычный Fdisk не умеет работать с GPT, так что он бесполезен для дисков >2ТиБ, и нужно использовать Parted или GPT Fdisk. Последний по умолчанию использует для 512N/512E дисков нужное нам смещение в 2048 секторов:
Пример для GNU Parted (для 512N/512E дисков):
В LVM всё хорошо: смещение по умолчанию равно 1МиБ и размер PE (physical extent) кратен 1МиБ.
VMware
Статья в базе знаний VMware утверждает, что ни 512E, ни 4KN диски не поддерживаются. Поддержка дисков 4KN заявлена в vSphere 6.0.
С появлением VMFS-5 мы получили единый размер блока — 1МиБ и правильное 1МиБ-смещение для первого раздела. Раньше использовалось не всегда подходящее смещение в 64КиБ. Но всё это не отменяет заявления VMware о том, что 512E диски не поддерживаются. Видимо, это связано с тем, что формат VMDK хранит данные с гранулярностью 512 байт.
Прочие ОС
Mac OSX поддерживает Advanced Format начиная с Tiger. Остаются ещё FreeBSD и прочие *BSD, Oracle Solaris и множество других ОС, но детальное рассмотрение ситуации с Advanced Format дисками в них выходит за рамки данной статьи.
Что такое Advanced Format
Увеличение размера сектора в 8 раз связано с необходимостью повышения эффективности размещения данных на современных дисках. Накладные расходы, связанные с 512-байтной разметкой, начинают мешать дальнейшему увеличению ёмкости HDD. Помимо служебных полей в каждом 512-байтном секторе присутствует поле с кодом коррекции ошибок (ECC) длиной в 50 байт. В 4096-байтном секторе длина ECC-поля составляет 100 байт. Общее эффективность хранения данных удалось улучшить примерно на 10%.
Естественно, поддержка нестандартных секторов требуется со стороны дисковых контроллеров и операционных систем. Для решения проблем с совместимостью был ввёден дополнительный стандарт 512E, который обозначает диски с физическим размером сектора 4096 байт, но при этом эмулирующие обычный размер сектора в 512 байт. Advanced Format диски без эмуляции обозначаются 4KN. Таким образом, сейчас существует три варианта разметки:
Формат | Логический размер сектора | Физический размер сектора |
| 512 байт | 512 байт |
| 512 байт | 4096 байт (4КиБ) |
| 4096 байт (4КиБ) | 4096 байт (4КиБ) |
Прочее ПО
-
. поддерживает диски Advanced Format (512E и 4KN) начиная с версии 2012 revision 1798 Service Pack 2. Более ранние выпуски могут работать с дисками 512E, но Symantec утверждает, что подобное сочетание не поддерживается официально. не поддерживает диски 4KN.
Совместимость
Контроллеры
- Диски 4KN и 512N/512E смешивать в одном массиве нельзя.
- У контроллеров Adaptec и LSI метаданные размещаются в конце диска, пользовательское пространство доступно с LBA0. Это означает, что проблем с выравниванием для 512E дисков не будет.
- Массив из 4KN дисков так же будет иметь физический/логический размер сектора 4КиБ, т.е. для загрузки с них нужны GPT и UEFI.
- Не забывайте вместе с прошивкой обновлять утилиты управления и драйверы.
- Как будет презентоваться LUN, созданный на 512E дисках — 512N или 512E? Из того, что удалось проверить: контроллеры LSI 9260, Adaptec 6-й серии, СХД Infortrend ESDS сообщают 512N (логический/физический блоки 512 байт), т.е. проблема с синхронной записью остаётся. Обязательно используйте write-back кэш (естественно, с защитой) и UPS. Причём не исключено, что при смене прошивки СХД и контроллер могут внезапно повести себя «правильно», и LUN'ы превратятся в 512E со всеми вытекающими последствиями для совместимости.
Adaptec by PMC
- SAS HBA серий 5 и 6: поддерживают 512E, не поддерживают 4KN
- SAS HBA серий 6H и 7H: поддерживают 512E, 4KN — начиная с прошивки 10467.
- RAID контроллеры серий 7 и 8: поддерживают 512E, 4KN — начиная с прошивки 30862.
LSI/Avago
Это свойство как раз и отвечает за презентуемые хосту размеры блоков:
Default (0): при наличии в томе дисков 512E он презентуется как 512E. Если все диски — 512N, тогда том презентуется как 512N
Disabled (1): Том всегда презентуется как 512N несмотря на наличие дисков 512E
Forced (2): Том всегда презентуется как 512E даже при отсутствии дисков 512E
Emulation Type был портирован и на SAS2 контроллеры (LSI 2108/2208), но без значения Forced (2).
Программный RAID в чипсетах Intel (RST/RSTe)
4KN не поддерживается совсем, Intel RST на дисках 512E требует свежих драйверов.
Advanced Format – что это?
Технология Advanced Format – это «всего лишь» небольшое изменение в структуре разметки диска. Сам ларчик открывается просто – производители увеличивают размер сектора на диске. Как известно, логическая структура жесткого диска включает в себя определенное число цилиндров и секторов, которые подобно решетке, закрученной вокруг оси диска, делят поверхность пластин на так называемые кластеры, объединяющие несколько секторов. Именно в каждый кластер и записываются данные на диск. Стандартный размер сектора, принятый до сих пор, составляет 512 байт – этот размер используется, можно так сказать, испокон веков. Однако у всего есть предел. Еще в 1998 году появилась идея увеличить размер сектора, однако лишь в 2007 году отраслевая организация IDEMA LDS-Committee (International Disk Drive Equipment and Materials Association) «легализовала» идею выпуском документа «Hard Disk Drive Long Data Sector White Paper», где были описаны все основные нюансы новой разметки диска. Чуть позже компания Samsung выпустила пару жестких дисков малого форм-фактора 2.5 дюйма – модели Spinpoint M7E и портативный S1 Mini – в которых была применена технология увеличенного кластера. Western Digital пошла еще дальше, запустив в производство целую линейку дисков с технологией, которую назвали Advanced Format. Что же дает увеличенный сектор? Идея проста: отказ от малых секторов 512 байт в пользу длинных секторов 4 Кб дает не только увеличение объема диска для записи данных, но и увеличение производительности накопителя за счет более оптимизированного расположения данных на диске.
Увеличение объема достигается тем, что вместо восьми секторов по 512 байт вводится один сектор 4 Кб. В результате из структуры накопителя просто исчезают «лишние» блоки синхронизации Sync/DAM, блоки с данными ECC (коррекции ошибок), которые обязательно находятся в структуре каждого сектора на любом диске, а также межсекторные промежутки (которые тоже, понятное дело, неотъемлемая часть разметки любого накопителя). То есть, как вы понимаете, уменьшение количества секторов делает возможным увеличение рабочего пространства диска – именно потому, что уменьшает количество служебной информации, правда область ECC в структуре типа Advanced Format несколько расширена (по сравнению с коротким сектором), но ненамного. Вы спросите, для чего же все это нужно? Нельзя не отметить тот факт, что современные диски в погоне за максимальным объемом оснащаются все более высокой плотностью записи – дорожки мельчают, считывать информацию головкам становится все труднее. Поэтому увеличение сектора вкупе с более широкой зоной ECC дает выигрыш не только в скорости доступа к данным, но и позволяет достичь возникновения меньшего количества ошибок при чтении. Об увеличении рабочей области для хранения данных мы уже сказали выше, остается только уточнить, что прирост по сравнению с привычной структурой диска составляет не более 10-12%, но все же это достаточно внушительная величина, чтобы говорить о выигрыше в объеме всерьез. Наконец, увеличивающаяся при введении нового размера секторов плотность записи позволяет достичь и увеличения линейной скорости чтения, не говоря уже про оптимизацию поиска.
Читайте также: