Sas кабель supermicro подключение
Начнем с основ. Как же работают устройства на технологи SCSI? В стандарте SCSI все построено на концепции клиент/сервер.
Клиент, называемый инициатором (англ. initiator), отправляет разные команды и дожидается их результатов. Чаще всего, разумеется, в роли клиента выступает SAS контроллер. Сегодня SAS контроллеры — это HBA и RAID-контроллеры, а также контроллеры СХД, стоящие внутри внешних систем хранения данных.
Сервер называется целевым устройством (англ. target), его задача — принять запрос инициатора, обработать его и вернуть данные или подтверждение выполнения команды обратно. В роли целевого устройства может выступать и отдельный диск, и целый дисковый массив. В этом случае SAS HBA внутри дискового массива (так называемая внешняя система хранения данных), предназначенный для подключения к нему серверов, работает в режиме Target. Каждому целевому устройству (“таргету”) присваивается отдельный идентификатор SCSI Target ID.
Для связи клиентов с сервером используется подсистема доставки данных (англ. Service Delivery Subsystem), в большинстве случаев, это хитрое название скрывает за собой просто кабели. Кабели бывают как для внешних подключений, так и для подключений внутри серверов. Кабели меняются от поколения к поколению SAS. На сегодня имеется три поколения SAS:
— SAS-1 или 3Gbit SAS
— SAS-2 или 6Gbit SAS
— SAS-3 или 12 Gbit SAS – готовится к выходу в середине 2013 года
Внутренние и внешние кабели SAS
Инициатор, соединенный с целевым устройством системой доставки данных, называют доменом. Любое SCSI устройство содержит как минимум один порт, который может быть портом инициатора, целевого устройства или совмещать обе функции. Портам могут присваиваться идентификаторы (PID).
Целевые устройства состоят из как минимум одного логического номера устройства (Logical Unit Number или LUN). Именно LUN и идентифицирует с каким из дисков или разделов данного целевого устройства будет работать инициатор. Иногда говорят, что target предоставляет инициатору LUN. Таким образом, для полной адресации к нужному хранилищу используется пара SCSI Target ID + LUN.
Как в известном анекдоте («Я не даю в долг, а Первый Национальный Банк не торгует семечками») — целевое устройство обычно не выступает в роли «посылающего команды», а инициатор — не предоставляет LUN. Хотя стоит отметить, что стандарт допускает тот факт, что одно устройство может быть одновременно и инициатором и целью, но на практике это используют мало.
Для «общения» устройств в SAS существует протокол, по «доброй традиции» и по рекомендации OSI, разделенный на несколько слоев (сверху вниз): Application, Transport, Link, PHY, Architecture и Physical.
SAS включает в себя три транспортных протокола. Serial SCSI Protocol (SSP) — используется для работы со SCSI устройствами. Serial ATA Tunneling Protocol (STP) — для взаимодействия с дисками SATA. Serial Management Protocol (SMP) — для управления SAS-фабрикой. Благодаря STP мы можем подключать диски SATA к контроллерам SAS. Благодаря SMP мы можем строить большие (до 1000 дисковых/SSD-устройств в одном домене) системы, а также использовать зонирование SAS (подробнее об этом в статье про SAS-коммутатор).
Уровень связей служит для управления соединениями и передачи фреймов. Уровень PHY — используется для таких вещей как установка скорости соединения и кодировки. На архитектурном уровне находятся вопросы расширителей и топологии. Физический уровень определяет напряжение, форму сигналов соединения и т.д.
Все взаимодействие в SCSI строится на основании команд, которые инициатор посылает целевому устройству и ожидает их результата. Команды эти посылаются в виде блоков описания команды (Command Description Block или CDB). Блок состоит из одного байта кода команды и ее параметров. Первым параметром почти всегда выступает LUN. CDB может иметь длину от 6 до 32 байт, хотя последние версии SCSI допускают CDB переменной длины.
После получения команды целевое устройство возвращает код подтверждения. 00h означает что команда принята успешно, 02h обозначает ошибку, 08h — занятое устройство.
Команды делятся на 4 большие категории. N, от английского «non-data», предназначены для операций, не относящихся к непосредственно обмену данными. W, от «write» — запись данных, полученных целевым устройством от инициатора. R, как не сложно догадаться от слова «read» используется для чтения. Наконец В — для двустороннего обмена данными.
Команд SCSI существует достаточно много, поэтому перечислим только наиболее часто используемые.
А теперь рассмотрим несколько типичных примеров организации хранения данных на SAS.
Пример первый, сервер хранения данных.
Дата-центр одной из российских Web 2.0-компаний
Процессоры и память в таких серверах задействуются не сильно. Второе – в мире Web 2.0, информация хранится географически распределено, несколько копий на различных серверах. Хранится 2-3 копии информации. Иногда, если она запрашивается часто, хранят больше копий для балансировки нагрузки. Ну и третье, исходя из первого и второго, чем дешевле – тем лучше. В большинстве случаев все вышесказанное приводит к тому, что используются Nearline SAS или SATA диски высокой емкости. Как правило, Enterprise-уровня. Это значит, что такие диски предназначены для работы 24x7 и стоят значительно дороже своих собратьев, использующихся в настольных PC. Корпус обычно выбирают такой, куда можно вставить побольше дисков. Если это 3.5’’, то 12 дисков в 2U.
Типичный 2U-сервер хранения данных
16-портовый SAS HBA
Пример второй, почтовый сервер Exchange. А также MDaemon, Notes и другие подобные сервера.
SSD- кэширующий RAID-контроллер Nytro MegaRAID
Пример третий, внешняя система хранения данных своими руками.
Итак, самое серьезное знание SAS, конечно же, требуется тем, кто производит системы хранения данных или хочет их сделать своими руками. Мы остановимся на достаточно простой СХД, программное обеспечение для которой производится компанией Open-E. Конечно же, можно делать СХД и на Windows Storage Server, и на Nexenta, и на AVRORAID, и на Open NAS, и на любом другом подходящем для этих целей софте. Я просто обозначил основные направления, а дальше вам помогут сайты производителей. Итак, если это внешняя система, то мы почти никогда не знаем, сколько же дисков потребуется конечному пользователю. Мы должны быть гибкими. Для этого есть так называемые JBOD – внешние полки для дисков. В их состав входит один или два экспандера, каждый из которых имеет вход (4-х портовый разъем SAS), выход на следующий экспандер, остальные порты разведены на разъемы, предназначенные для подключения дисков. Причем, в двухэкспандерных системах первый порт диска разведен на первый экспандер, второй порт – на второй экспандер. Это позволяет строить отказоустойчивые цепочки JBOD-ов. Головной сервер может иметь внутренние диски в своем составе, либо не иметь их совсем. В этом случае используются «внешние» контроллеры SAS. То есть контроллеры с портами «наружу». Выбор между SAS RAID-контроллером или SAS HBA зависит от управляющего ПО, которое вы выбираете. В случае Open-E, это RAID-контроллер. Можно позаботиться и об опции кэширования на SSD. Если ваша СХД будет иметь очень много дисков, то решение Daisy Chain (когда каждый последующий JBOD подключается к предыдущему, либо к головному серверу) в силу многих причин не подходит. В этом случае головной сервер либо оснащается несколькими контроллерами, либо используется устройство, которое называется SAS-коммутатор. Он позволяет подключать один или несколько серверов к одному или нескольким JBOD. Подробнее SAS-коммутаторы мы разберем в следующих статьях. Для внешних систем хранения данных настоятельно рекомендуется использовать диски только SAS (в том числе NearLine) в силу повышенных требований к отказоустойчивости. Дело в том, что протокол SAS имеет в своем составе гораздо больше функций, чем SATA. Например, контроль записываемых-считываемых данных на всем пути с помощью проверочных сумм (T.10 End-to-End protection). А путь, как мы уже знаем, бывает очень длинным.
Напоследок, хочется поделиться некоторыми сведениями о текущей адаптации SAS мировыми производителями оборудования. SAS сегодня – это стандарт де-факто для серверных систем и профессиональных рабочих станций. Серверные системы подавляющего большинства как A- так и B- брендов имеют в составе контроллеры SAS, как HBA, так и RAID. В области внешних систем хранения данных, основные производители оборудования (HP, EMC, NetApp, IBM) уже несколько лет как перевели внутренние архитектуры своих систем на SAS. Таким образом, диски Fibre Channel стали за последние пару лет настоящей экзотикой. Fibre Channel продолжает жить и развиваться, в основном, как способ подключения серверов к системам хранения данных, хотя в области Low-End, Mid-Range и профессиональных систем, SAS отвоевывает все большую долю.
На этом наш экскурс в мир истории и теории SCSI вообще и SAS в частности подошел к концу, и в следующий раз я расскажу вам более подробно о применении SAS в реальной жизни.
Всем привет, сегодня у нас маленький эксперимент по подключению SAS дисков к обычному персональному компьютеру. Обычно в компьютер можно установить только SATA диски, так как на материнской плате есть встроенный SATA контроллер. А SAS диски в обычный ПК не вставишь.
Дело в том, что SATA контроллер поддерживает только SATA диски. А SAS контроллер может поддерживать и SAS диски и SATA диски. SAS обратно совместим с интерфейсом SATA: устройства 3 Гбит/с и 6 Гбит/с SATA могут быть подключены к контроллеру SAS, но не наоборот.
SATA (Serial ATA) — последовательный компьютерный интерфейс обмена данными с накопителями информации. Предназначен для настольных ПК.
- SATA Revision 1.0 — до 1,5 Гбит/с
- SATA Revision 2.0 — до 3 Гбит/с
- SATA Revision 3.0 — до 6 Гбит/с
SAS (Serial Attached SCSI) — последовательный компьютерный интерфейс, разработанный для подключения различных устройств хранения данных, например, жёстких дисков и ленточных накопителей. Последняя реализация SAS обеспечивает передачу данных со скоростью до 12 Гбит/с на одну линию. Предназначен для серверов.
SAS не предназначен для настольных ПК, но иногда очень надо. Мне, например, по работе требуется иногда работать с SAS дисками. Подключаем SAS диск к ПК.
Что нужно для подключения SAS диска к ПК
Потребуется обычный ПК. Поскольку SAS контроллера на обычном ПК нет, то нам потребуется такой контроллер. Я попробую два варианта:
-
— это полноценный RAID контроллер, позволяющий объединять диски в RAID массивы. — это простой адаптер HBA, он не умеет объединять диски в RAID массивы. Вернее умеет, но со специальной прошивкой и не так хорошо как нормальный RAID контроллер.
Для подключения дисков к контроллеру без использования корзины потребуется кабель переходник. Купил такой:
Переходник позволяет подключить 4 HDD с интерфейсом SAS или SATA к контроллеру с разъемом SFF-8643. Питание подаётся на каждый диск через 4-pin Molex.
Переход от UIO к WIO
- Райзеры WIO нельзя установить в материнские платы, рассчитанные на UIO (например, X8DTU-F).
- Райзеры UIO нельзя установить в новые платы, рассчитанные на WIO.
- Существуют райзеры под WIO (на материнской плате), имеющие слот UIO для карточек. На тот случай, если у вас остались UIO контроллеры. Они используются в платформах под Socket B2 (6027B-URF, 1027B-URF, 6017B-URF).
- Новых контроллеров в форм-факторе UIO появляться не будет. Например, контроллер USAS2LP-H8iR на чипе LSI 2108 будет последним, LSI 2208 под UIO не будет - только обычный MD2 с PCI-E x8.
Контроллеры PCI-E
В данный момент актуальными являются три разновидности: RAID контроллеры на базе LSI 2108/2208 и HBA на базе LSI 2308. Существует еще загадочный SAS2 HBA AOC-SAS2LP-MV8 на чипе Marvel 9480, но о нем писать из-за его экзотичности. Большинство случаев применения внутренних SAS HBA - это СХД с ZFS под FreeBSD и различными разновидностями Solaris. Благодаря отсутствию проблем с поддержкой в этих ОС выбор в 100% случаев падает на LSI 2008/2308.
LSI 2108
Помимо UIO'шного AOC-USAS2LP-H8iR, который упомянут в предыдущем обзоре добавились еще два контроллера:
AOC-SAS2LP-H8iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512МБ кэш, 8 внутренних портов (2 разъема SFF-8087). Является аналогом контроллера LSI 9260-8i, но произведен Supermicro, есть мелкие различия в разводке платы, цена на $40-50 ниже LSI. Поддерживаются все дополнительные опции LSI: активация Recovery, FastPath и CacheCade 2.0, батарейная защита кэша - LSIiBBU07 и LSIiBBU08 (сейчас предпочтительнее использовать BBU08, у него расширен температурный диапазон и в комплекте идет кабель для удаленного монтажа).
Несмотря на появление более производительных контроллеров на базе LSI 2208, LSI 2108 все еще остается актуальным благодаря снижению цены. Производительности с обычными HDD хватает в любых сценариях, предел по IOPS для работы с SSD - 150000, что для большинства бюджетных решений более чем достаточно.
AOC-SAS2LP-H4iR
LSI 2108, SAS2 RAID 0/1/5/6/10/50/60, 512МБ кэш, 4 внутренних + 4 внешних порта. Является аналогом контроллера LSI 9280-4i4e. Удобен для использования в экспандерных корпусах, т.к. не придется выводить выход с экспандера наружу для подключения дополнительных JBOD'ов, или в 1U корпусах на 4 диска при необходимости обеспечить возможность наращивания числа дисков. Поддерживает те же BBU и ключи активации.
LSI 2208
AOC-S2208L-H8iR
LSI 2208, SAS2 RAID 0/1/5/6/10/50/60, 1024МБ кэш, 8 внутренних портов (2 разъема SFF-8087). Является аналогом контроллера LSI 9271-8i. LSI 2208 - это дальнейшее развитие LSI 2108. Процессор стал двухъядерным, что позволило поднять предел производительности по IOPS'ам аж до 465000. Добавилась поддержка PCI-E 3.0 и увеличился до 1ГБ кэш.
Контроллер поддерживает батарейную защиту кэша BBU09 и флеш-защиту CacheVault. Supermicro поставляет их под партномерами BTR-0022L-LSI00279 и BTR-0024L-LSI00297, но у нас проще приобрести через канал продаж LSI (вторая часть партномеров - это и есть родные партномера LSI). Ключи активации MegaRAID Advanced Software Options тоже поддерживаются, партномера: AOC-SAS2-FSPT-ESW (FastPath) и AOCCHCD-PRO2-KEY (CacheCade Pro 2.0).
LSI 2308 (HBA)
AOC-S2308L-L8i и AOC-S2308L-L8e
LSI 2308, SAS2 HBA (с IR прошивкой - RAID 0/1/1E), 8 внутренних портов (2 разъема SFF-8087). Это один и тот же контроллер, поставляется с разными прошивками. AOC-S2308L-L8e - IT firmware (чистый HBA), AOC-S2308L-L8i - IR firmware (с поддержкой RAID 0/1/1E). Разница в том, что L8i может работать с IR и IT прошивками, L8e - только с IT, прошивка в IR заблокирована. Является аналогом контроллера LSI 9207-8i. Отличия от LSI 2008: побыстрее чип (800Мгц, как следствие - поднялся лимит по IOPS до 650тыс.), появилась поддержка PCI-E 3.0. Применение: программные RAID'ы (ZFS, например), бюджетные серверы.
На базе этого чипа не будет дешевых контроллеров с поддержкой RAID-5 (iMR стек, из готовых контроллеров - LSI 9240).
Что такое SAS-экспандер?
SAS-экспандер - это коммутирующее устройство, обеспечивающее подключение к общей топологии нескольких SAS-инициаторов и таргетов. Экспандер хранит таблицу маршрутизации с WWN-адресами подключенных к SAS-домену узлов и обменивается данными о маршрутизации и зонировании (начиная с SAS-2) с другими экспандерами в домене. Обычно экспандер обеспечивает через встроенный SMP-таргет мониторинг: показания термодатчиков, скорость вращения вентиляторов, состояние блоков питания.
Подключение SAS диска через RAID контроллер Avago MegaRAID SAS 9380-8i8e
Готовим корпус ПК.
Устанавливаем контроллер в PCIe слот.
Подключаем диск через переходник.
RAID контроллер определился. Видим, что диск SAMSUNG тоже определился.
Для доступа в конфигурационную утилиту MegaRAID Configuration Utility нажимаем Ctrl+R.
Можем посмотреть настройки контроллера.
Можем посмотреть физические диски. Я подключал только один диск, он определился. Обратите внимание, что состояние диска UG — Unconfigured Good.
RAID контроллер по умолчанию показывает операционной системе не физические диски а RAID массивы. Я же хочу просто пробросить диск. Для этого необходимо RAID контроллер переключить в режим HBA.
В настройках контроллера меняем режим на JBOD-Mode. Применяем изменения и перезагружаем компьютер.
При загрузке уже 1 JBOD найден и handled by BIOS, это уже хорошо. Для проверки снова зайдем в настройки контроллера.
Однажды один из клиентов компании-интегратора, где я работал, попросил оперативно нарисовать проект небольшой системы хранения данных. Как назло, специальный человек по SAN оказался недоступен и задачу поручили мне. На тот момент мои знания по СХД сводились к непробиваемой идее "Fibre Channel – это круто, а iSCSI – не очень".
Для всех тех, кто попал в похожую ситуацию или немного интересуется темой SAN, мы подготовили цикл материалов в формате "конспект". Сегодняшняя статья посвящена технологиям хранения для небольших и средних организаций. Постараюсь не занудствовать с теорией и использовать побольше примеров.
Если инженер не особенно знаком с сетями хранения данных (СХД), то выбор подходящего устройства часто начинается с изучения рынка в преломлении собственных стереотипов. Например, я в свое время обычно останавливался на простых DAS-системах, что удивительно дополняло своей нелогичностью тезис про "крутость" Fibre Channel. Зато DAS был понятным и не требовал чтения длинных руководств администратора и погружения в темный мир сетей хранения.
Если в организации просто заканчивается место на общем сетевом диске, то хватит и недорогого сервера с относительно высокой плотностью дисков, в качестве задела на будущее. Из специализированных систем неплохо подойдет сетевое файловое хранилище (NAS), вроде Synology DS414 SLim. На нем и общие папки создавать удобно, и права гибко настраиваются, и с Active Directory интеграция есть.
Чем мне нравятся хранилища Synology, так это удобным интерфейсом с множеством плагинов на любые сценарии использования. Но поведение у них бывает весьма странным. Например, у одного заказчика был Synology DS411+II. Работал прекрасно до очередной перезагрузки, после которой не включился. Не спрашивайте, как я до этого дошел, но алгоритм запуска после сбоя был следующий:
1. Вынуть все диски, включить устройство, выключить устройство;
2. Воткнуть один диск, включить устройство, выключить устройство;
3. Воткнуть второй диск, включить устройство, выключить устройство;
4. Повторить для третьего и четвертого диска. После установки четвертого диска, устройство включается и работает.
Способ был опубликован на форуме Synology и оказалось, что я не один такой везучий. С тех пор предпочитаю небольшие серверы с GNU\Linux на борту, у них хотя бы с диагностикой проще.
Из сборок для NAS могу порекомендовать Openmediavault.
Все усложняется когда нужно нарастить дисковый объем имеющихся серверов или появляются мысли о высокой доступности. Тут-то и возникает соблазн построить полноценную NAS или впасть в другую крайность, ограничившись простой дисковой полкой DAS.
SAN, Storage Area Network – архитектурное решение для подключения по сети внешних устройств хранения данных, вроде дисковых массивов и ленточных библиотек. Причем, подключить на блочном уровне, чтобы клиент работал с ними так же, как с обыкновенными локальными дисками. В русскоязычной литературе используется аббревиатура СХД (Сеть Хранения Данных) – не путайте с Системой Хранения Данных, которой может считаться любая дисковая полка.
В этой статье я не буду касаться программных реализаций, вроде Storage Spaces в среде Windows, а ограничусь железными и архитектурными нюансами СХД.
Начнем с типовых решений для хранения данных, которые предполагают использование специальных сетей и интерфейсов, так как с ними больше всего вопросов.
Самым недорогим способом организации SAN является интерфейс Serial Attached SCSI (SAS). Тот самый, с помощью которого подключаются диски в любом современном сервере. Используют SAS и для прямого подключения внешнего дискового массива к серверу.
Для массива DAS возможна организация отказоустойчивого подключения к нескольким серверам. Делается это с помощью Multipath, технологии коммутации клиента и СХД по нескольким маршрутам. Но большей популярностью пользуется разделение дисков между серверами, которые уже самостоятельно собирают из них группы RAID и делят на тома. Подобная схема называется "Разделяемый JBOD".
Для подключение к серверу используются адаптеры (HBA) под конкретный интерфейс, которые просто позволяют ОС увидеть готовые дисковые тома.
Стоит отметить, что SAS поддерживает три стандарта:
SAS-1, со скоростью 3 Гб/с на устройство;
SAS-2, со скоростью 6 Гб/с;
При планировании архитектуры стоит также иметь в виду отличия в разъемах SAS, что часто приводит к путанице при заказе кабелей. Самыми популярными при подключении внешнего оборудования являются SFF-8088 (mini-SAS) и SFF-8644 (mini-SAS HD).
Являясь частностью SCSI, SAS поддерживает экспандеры, что позволяет подключать до 65 535 устройств к одному контроллеру и порту. Конечно, цифра скорее теоретическая и не учитывает различные накладные расходы. Чаще всего встречаются контроллеры с реальным ограничением в 128 дисков, но масштабировать подобный SAN для двух и более серверов простыми экспандерами уже не так удобно. В качестве более адекватной альтернативы можно использовать коммутаторы SAS. По сути, это те же экспандеры, но с поддержкой распределения ресурсов по серверам, т.н "зонирование". Например, для стандарта SAS-2 наибольшей популярностью пользуется LSI 6160.
С помощью коммутаторов SAS возможна реализация отказоустойчивых схем для нескольких серверов без единой точки отказа.
Из плюсов использования SAS можно отметить:
Низкую стоимость решения;
Высокую пропускную способность – даже при использовании SAS-2 получится 24 Гб/с на каждый порт контроллера;
Не обошлось и без минусов:
Отсутствуют механизмы репликации средствами дискового массива;
В качестве типового решения для малых и средних организаций разберем создание небольшого отказоустойчивого кластера виртуальных машин. Под кластер выделим два узла с единственным дисковым массивом. В качестве условного среднего объема дискового тома выберем 1 ТБ.
Замечу, что программными решениями вроде StarWind Native SAN можно получить такой же кластер без отдельного дискового массива, или же с простыми JBOD. Кроме того, большинство гипервизоров поддерживают в качестве хранилищ сетевые ресурсы NFS или SMB 3.0. Но в программных реализациях больше нюансов и «слабых звеньев» из-за большей сложности системы. Да и производительность обычно ниже.
Для сборки такой системы понадобится:
HBA для серверов;
Дисковый массив возьмем для примера HP MSA 2040 с двенадцатью отсеками под HDD. Для подключения будем использовать SAS 3.0 на скорости 12 Гб/с. Посчитаем первым попавшимся
Каждый сервер будет соединятся с каждым контроллером СХД для Multipathing.
На мой взгляд, SAS 3.0 оптимален, если не нужны распределенные SAN-сети и не требуется детальное разграничение прав доступа к СХД. Для небольшой организации так можно достичь отличного баланса цены и производительности.
После приобретения второго массива в будущем станет возможным соединение каждого сервера с контроллером каждой дисковой полки, но при росте числа клиентов это серьезно усложнит архитектуру. Для большего числа клиентов лучше приобрести один SAS коммутатор. Или два, для построения отказоустойчивого решения.
Традиционным выбором для построения SAN является Fibre Channel (FC) – интерфейс, связующий узлы сети по оптическому волокну.
FC поддерживает несколько скоростей: от 1 до 128 Гб/с (стандарт 128GFC вышел как раз в 2016). В основном используются 4GFC, 8GFC и 16GFC.
Существенные различия по сравнению с SAS-системами проявляются при проектировании крупных SAN:
Расширение производится не за счет экспандеров, а возможностями топологии сети;
В небольших организациях обычно применяют структуру с одним коммутатором (single-switch), когда один сервер через один коммутатор подключается к дисковому массиву. Такая схема составляет основу остальных топологий: каскад (cascade), решетка (mesh) и кольцо (ring).
Наиболее масштабируемая и отказоустойчивая схема называется "центрально-распределенная" (core-edge). Она напоминает известную всем сетевую топологию “звезда”, но только в середине два центральных коммутатора, распределяющих трафик по периферийным. Частным случаем этой схемы является “коммутируемая архитектура” (switched fabric), без периферийных коммутаторов.
При проектировании стоит обратить внимание на разные типы трансиверов. Это специальные модули, которые преобразуют цифровой сигнал в оптический, для чего используются светодиоды или лазерные излучатели. Трансиверы поддерживают разные длины волны и разные оптические кабели, что влияет на протяженность сегмента.
Есть два типа трансиверов:
Коротковолновые (Short Wave, SW, SX) – подходят только для многомодовых волокон;
К обоим типам кабель подключается разъемом LC, а вот SC-разъемы встречаются довольно редко.
Типичный HBA c двумя портами FC
При выборе оборудования для SAN не лишним будет проверить все компоненты по таблицам совместимости производителя железа. Активное сетевое оборудование всегда лучше выбирать одного бренда, чтобы избежать проблем совместимости даже в теории – это стандартная практика для подобных систем.
К плюсам решений на FC можно отнести:
Возможность построения территориально распределенной SAN;
Высокая скорость передачи данных;
На другой чаше весов традиционно лежит стоимость.
Системы хранения из раздела про SAS можно построить и на 16GFC, заменив лишь HBA и контроллер дисковой полки. Стоимость при этом вырастет уже до 1 845 790 ₽.
В своей практике я встречал у заказчика даже построенный на FC массив DAS, заполненным дисками менее, чем наполовину. Почему не использовали SAS? Самый оригинальный ответ был такой: «а что, можно было?».
В более сложной инфраструктуре FC становится структурно более похож на TCP\IP. У протокола также описаны уровни, как и у стека TCP\IP, существуют маршрутизаторы и коммутаторы, описано даже "тегирование" для изоляции сегментов на манер VLAN. Кроме того, на FC-коммутаторах исполняются службы разрешения имен и обнаружения устройств.
Не буду углубляться в тонкости, ведь на тему FC написано уже немало хороших статей. Обращу внимание лишь на то, что при выборе коммутаторов и маршрутизаторов для SAN нужно обращать внимание на логические типы портов. В разных моделях поддерживаются разные сочетания основных типов из таблицы:
Тип Устройства | Наименование | Описание |
Сервер | N_Port (Node port) | Используется для подключения к коммутатору или конечному устройству. |
NL_Port (Node Loop port) | Порт с поддержкой топологии «петля». | |
Коммутатор\ Маршрутизатор | F_Port (Fabric port | Для подключения N_Port, «петля» не поддерживается. |
FL_Port (Fabric Loop port), | Порт с поддержкой «петли». | |
E_Port (Expansion port | Порт для соединения коммутаторов. | |
EX_port | Порт для соединения коммутатора и маршрутизатора. | |
TE_port (Trunking Expansion port) | E-port с поддержкой VSAN. | |
Общие | L_Port (Loop port) | Любой порт с поддержкой петли (NL_port или FL_port). |
G_port (Generic port) | Любой незанятый порт устройства с авто определением. |
Статья была бы неполной без упоминания варианта построения SAN на InfiniBand. Этот протокол позволяет достичь действительно высоких скоростей передачи данных, но по стоимости выходит далеко за рамки SMB.
Можно обойтись и без изучения новых видов сетей, используя старый добрый Ethernet.
Популярный протокол для создания SAN в Ethernet-сетях называется Internet Small Computer Systems Interface (iSCSI). Строится он поверх TCP\IP, и основной его плюс в приличной работе по обычной гигабитной сети. В обиходе такие решения часто называют "бесплатный SAN". Разумеется, гигабита под серьезные задачи не хватит, и к вашим услугам сети 10 Гб/с.
К безусловным плюсам можно отнести низкую стоимость базового оборудования. Так как iSCSI реализуется программно, можно установить соответствующие приложения на обычные серверы. Большинство NAS класса SOHO поддерживают этот протокол изначально.
У заказчика однажды остро встал вопрос перемещения Exchange 2003 с умирающего сервера. Решили виртуализировать его с минимальным простоем. Для этого подняли iSCSI-target на том самом NAS Synology DS411 из первой части статьи и подключили к Exchange. Далее перенесли туда БД и мигрировали на MS Virtual Server 2005 c помощью disk2vhd. После успешной миграции перенесли базу обратно. Позже такие операции проводились при переходе с MS Virtual Server на VMware.
Разумеется, для построения SAN на iSCSI, даже если для задач хватает и гигабитной сети, не стоит "выпускать" его в общий LAN. Работать оно будет, но широковещательные запросы и прочий служебный трафик непременно скажутся на скорости и создадут помехи пользователям. Лучше построить отдельную изолированную сеть со своим оборудованием. Или, в крайнем случае, хотя бы выделить подсеть с iSCSI в отдельный VLAN. Стоит отметить, что для достижения максимальной производительности таких систем необходимо включать поддержку Jumbo Frames на всем пути следования пакетов.
В качестве меры экономии бюджета может возникнуть мысль об объединении гигабитных портов при помощи агрегации каналов (LACP). Но, как правильно заметил VitalKoshalew в комментариях, реальной балансировки между отдельным сервером и хранилищем с помощью LACP не получится. Более правильным бюджетным решением будет использование технологий Multipath на верхних уровнях модели OSI.
К слову, совсем правильное iSCSI-решение на базе 10 Гб сети, с поддерживающими аппаратное ускорение iSCSI сетевыми картами и соответствующими коммутаторами приближается по стоимости к FC.
Подобная схема сети возможна благодаря тому, что iSCSI работает поверх TCP\IP.
Из интересных решений на базе iSCSI можно отметить работу тонких клиентов без сервера терминалов – вместо локальных дисков используется том iSCSI. Гигабитной сети вполне достаточно для такой работы, а реализовать что-либо подобное другими средствами не так просто.
Возможность построения территориально распределенной сети;
Задержки при обращении к данным могут быть существенными, особенно при работе с пулом виртуальных машин;
Есть и более "взрослая" альтернатива iSCSI. Можно использовать ту же сеть Ethernet, но протокол хранения завернуть непосредственно в кадры Ethernet, минуя TCP\IP. Протокол называется Fibre Channel over Ethernet (FCoE) и для работы использует Ethernet 10 Гб. Помимо традиционной оптики, можно использовать специальные медные кабели или витую пару категории 6a.
Важное отличие от FC в том, что порт Ethernet можно использовать совместно с TCP\IP. Для этого нужны специальные сетевые адаптеры, так называемые Converged Network Adapter (CNA) с поддержкой FC и FCoE, хотя есть и программные решения. Поскольку протокол работает ниже уровня TCP\IP, то простой коммутатор не подойдет. Кроме того, обязательно должна быть поддержка Jumbo Frames и Data Center Bridging (DCB, иногда встречается Data Center Ethernet). Подобные решения обычно стоят дороже (например, Cisco серии Nexus).
В теории, FCoE можно запустить и в гигабитной сети без использования DCB, но это весьма неординарное решение, для которого я не встречал рассказов об успешных запусках.
Если вернуться к нашему маленькому, но гордому кластеру виртуализации, то для него решения на 10 Гб/с iSCSI и FCoE будут практически одинаковыми по стоимости, но в случае с iSCSI можно использовать дешевые гигабитные сети.
Также стоит упомянуть и довольно экзотичный протокол ATA over Ethernet (AoE), схожий по своей работе с FCoE. Дисковые массивы с ним – редкость, обычно используются программные решения.
Выбор конкретной реализации системы хранения требует вдумчивого изучения конкретной ситуации. Не стоит подключать дисковый массив с помощью FC просто потому, что "оптика" звучит гордо. Решение на SAS даст аналогичную или даже большую производительность там, где оно архитектурно уместно. Если не брать в расчет стоимость и сложности обслуживания, то существенным отличием между всеми описанными технологиями подключения СХД будет дистанция соединений. Эту мысль хорошо иллюстрирует один из кадров презентации SNIA:
Если после прочтения статьи хотите подробнее изучить самобытный мир SAN, могу порекомендовать следующие бестселлеры:
Мы раздумываем над публикацией других статей по серверным технологиям в формате "ликбез", поэтому было бы здорово получить от вас обратную связь в виде оценки этого материала. Если какие-то темы вам особенно интересны – обязательно расскажите о них в комментариях.
Корпуса Supermicro xxxBE16/xxxBE26
Еще одна тема, имеющая прямое отношение к контроллерам - это модернизация корпусов с экспандерными бэкплейнами. Появились разновидности с дополнительной корзиной на два 2,5" диска, расположенной на задней панели корпуса. Назначение - выделенный диск (или зеркало) под загрузку системы. Конечно, систему можно грузить, выделив небольшой том от другой дисковой группы или с дополнительных дисков, закрепленных внутри корпуса (в 846-х корпусах можно установить дополнительный крепеж для одного 3,5" или двух 2,5" дисков), но обновленные модификации гораздо удобнее:
Причем эти дополнительные диски необязательно подключать именно к чипсетному SATA контроллеру. При помощи кабеля SFF8087->4xSATA можно подключиться к основному SAS контроллеру через выход SAS экспандера.
P.S. Надеюсь, что информация была полезной. Не забывайте, что наиболее полную информацию и техническую поддержку по продукции Supermicro, LSI, Adaptec by PMC и других вендоров вы можете получить в компании True System.
SAS-экспандеры в продуктах Supermicro
Корпуса с SAS-экспандерами. Развновидностей много: от 2U до 4U, с SAS-1 или SAS-2 экспандерами, с одним или с двумя экспандерами, под SFF и LFF диски, с обычным и двухсторонним размещением дисков.
- 2U корпуса (и 4U с двухсторонним размещением дисков) имеют разновидности "LP" и "U" (например, SC216E26-R1200LPB и SC216E26-R1200UB). Первая предназначена для обычный плат размером до E-ATX, платы расширения - только низкопрофильные, устанавливаются напрямую, без райзера. Вторая - для системных плат форм-фактора UIO (с вырезом для размещения платы в нижний слот райзера) и позволяет устанавливать до 4-х плат полной высоты + 3-х низкопрофильных плат.
- Большинство экспандерных бэкплейнов Supermicro имеют один вход и два выхода (с разъемами 4x SAS SFF-8087) для удобства каскадирования: последовательное подключение более 6-ти экспандеров LSI крайне не желательно, а два выхода позволяют построить топологию с ответвлениями. Вот пример топологии с каскадом из двух 2-экспандерных бэкплейнов на чипе LSI SAS2X36 (12 phy экспандера - на вход и выходы, оставшиеся 24 - для подключения дисков):
И еще есть отдельные дисковые корзины на 8 SFF дисков CSE-M28E1 и CSE-M28E2. Занимают 3 отсека 5.25", имеют съемный вентилятор на задней стенке и 1 или 2 экспандера LSI SASX12. Интересной особенностью является подключение при помощи обычный SATA разъемов (по 4 на экспандера) и использованием нестандартных "перекрестных" кабелей 4xSAS->4 SATA. Сделано это потому, что два из четырех phy можно использовать не только на вход, но и на выход - для каскадирования. В комплекте идут два кабеля: с современными SFF-8087 разъемом и старым широким SFF-8484. Проблема номер один - кабели длиной 50см, такой длины хватает не всегда. Проблема номер два - несовместмость с SAS2 контроллерами, о чем уже упоминалось выше.
Альтернативой является корзина M28SAB с обычным бэкплейном без экспандера.
Вот и все. Задавайте дополнительные вопросы по почте и в комментариях, а за продукцией Supermicro, LSI и Adaptec обращайтесь в компанию True System.
Предыдущая попытка навести порядок в большом ассортименте SAS контроллеров, используемых Supermicro, состоялась два года назад. Пришло время обновить информацию.
За два года изменений накопилось немного:
- Supermicro отказывается от проприетарного "перевернутого" форм-фактора UIO для контроллеров. Подробности будут ниже.
- LSI 2108 (SAS2 RAID с 512МБ кэша) и LSI 2008 (SAS2 HBA с опциональной поддержкой RAID) по-прежнему в строю. Продукты на этих чипах, как производства LSI, так и от OEM партнеров, достаточно хорошо отлажены и по-прежнему актуальны.
- Появились LSI 2208 (тот же SAS2 RAID со стеком LSI MegaRAID, только с двухъядерным процессором и 1024МБ кэша) и LSI 2308 (усовершенствованная версия LSI 2008 с более быстрым процессором и поддержкой PCI-E 3.0).
Контроллеры в Twin и FatTwin платформах
Что нужно для подключения SAS диска к ПК
Потребуется обычный ПК. Поскольку SAS контроллера на обычном ПК нет, то нам потребуется такой контроллер. Я попробую два варианта:
-
— это полноценный RAID контроллер, позволяющий объединять диски в RAID массивы. — это простой адаптер HBA, он не умеет объединять диски в RAID массивы. Вернее умеет, но со специальной прошивкой и не так хорошо как нормальный RAID контроллер.
Для подключения дисков к контроллеру без использования корзины потребуется кабель переходник. Купил такой:
Переходник позволяет подключить 4 HDD с интерфейсом SAS или SATA к контроллеру с разъемом SFF-8643. Питание подаётся на каждый диск через 4-pin Molex.
Набортные контроллеры
Применение SAS-экспандеров
Использование двух экспандеров, подключенных к разным портам дисков, позволяет получить port-failover (защиту от выхода из строя phy диска и/или контроллера) или controller-failover - дополнительную защиту от выхода из строя контроллера, в случае использования специализированных внешних SAS СХД или специальных программных решений (например, Nexenta-HA на платформе Supermicro SBB).
Читайте также: