Set boot drive raid что это
Внешний вид
Мы выбрали решения Adaptec от компании Microsemi. Это RAID-контроллеры, зарекомендовавшие себя удобством использования и высокой производительностью. Их мы устанавливаем, если наш клиент решил заказать сервер произвольной или фиксированной конфигурации.
Для подключения дисков используются специальные интерфейсные кабели. Со стороны контроллера используются разъемы SFF8643. Каждый кабель позволяет подключить до 4-х дисков SAS или SATA (в зависимости от модели). Помимо этого интерфейсный кабель еще имеет восьмипиновый разъем SFF-8485 для шины SGPIO, о назначении которой поговорим чуть позже.
Помимо самого RAID-контроллера существует еще два дополнительных устройства, позволяющих увеличить надежность:
-
BBU (Battery Backup Unit) — модуль расширения с литий-ионной батареей, позволяющий поддерживать напряжение на энергозависимой микросхеме кэша. В случае внезапного обесточивания сервера его использование позволяет временно сохранить содержимое кэша, которое еще не было записано на диски.
Это особенно важно, когда включен режим отложенной записи кэша (Writeback). При пропадании электропитания содержимое кэша не будет сброшено на диски, что приведет к потере данных и, как следствие, штатная работа дискового массива будет нарушена.
С аппаратным RAID
Прежде чем сервер сможет использовать единое дисковое пространство RAID-массива, необходимо выполнить базовую настройку контроллера и логических дисков. Сделать это можно двумя способами:
- при помощи внутренней утилиты контроллера,
- утилитой из операционной системы.
Утилита позволяет не только управлять настройками контроллера, но и логическими устройствами. Инициализируем физические диски (вся информация на дисках при инициализации будет уничтожена) и создадим массив RAID-10 с помощью раздела Create Array. При создании система запросит желаемый размер страйпа, то есть размер блока данных за одну I/O-операцию:
- больший размер страйпа идеален для работы с файлами большого размера;
- меньший размер страйпа подойдет для обработки большого количества файлов небольшого размера.
Важно — размер страйпа задается только один раз (при создании массива) и это значение в дальнейшем изменить нельзя.
Сразу после того, как контроллеру отдана команда создания массива, также, как и с программным RAID, начинается процесс перестроения данных на дисках. Этот процесс работает в фоновом режиме, при этом логический диск становится сразу доступен для BIOS. Производительность дисковой подсистемы будет также снижена до завершения процесса. В случае, если было создано несколько массивов, то необходимо определить загрузочный массив с помощью сочетания клавиш Ctrl + B.
После того как статус массива изменился на Optimal, мы установили Bitrix24 и провели точно такой же тест. Результат теста:
Сразу становится понятно, что аппаратный RAID-контроллер ускоряет операции чтения и записи на дисковый носитель за счет использования кэша, что позволяет быстрее обрабатывать массовые обращения пользователей.
С программным RAID
Несомненное преимущество программного RAID — простота использования. Массив в ОС Linux создается с помощью штатной утилиты mdadm. При установке операционной системы чаще всего создание массива предусмотрено непосредственно из установщика. В случае, когда такой возможности установщик не предоставляет, достаточно всего лишь перейти в соседнюю консоль с помощью сочетания клавиш Ctrl+Alt+F2 (где номер функциональной клавиши — это номер вызываемой tty).
Создать массив очень просто. Командой fdisk -l смотрим, какие диски присутствуют в системе. В нашем случае это 4 диска:
Проверяем, чтобы на дисках не было метаданных, например, от предыдущего массива:
В случае, если на одном или нескольких дисках будут метаданные, удалить их можно следующим образом (где sdX — требуемый диск):
Создадим на каждом диске разделы для будущего массива c помощью fdisk. В качестве типа раздела следует указать fd (Linux RAID autodetect).
Собираем массив RAID 10 из созданных разделов с помощью команды:
Сразу после этого будет создан массив /dev/md0 и будет запущен процесс перестроения данных на дисках. Для отслеживания текущего статуса процесса введите:
Пока процесс перестроения данных не будет завершен, скорость работы дискового массива будет снижена.
После установки операционной системы и Bitrix24 на созданный массив мы запустили стандартный тест и получили следующие результаты:
Создание RAID массивов LSI
Заходим в утилиту Raid контроллера в моем случае это было CTRL+H при загрузке сервера. На первом экране у вас будет список всех ваших контроллеров, выберите нужный и нажмите "Start"
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-01
Видим наши диски.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-02
Выбираем пункт "Configuration Wizard. Nwe Configuration" это мастер создания новой конфигурации.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-03
Если у вас как и у меня до этого была уже конфигурация она уничтожиться, жмем Yes.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-04
Выбираем создать вручную (Manual Configuration)
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-05
В левой части вы теперь наблюдаете ваши HDD, которые можно добавить в нужный Array (Массив).
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-06
Если выбрать все или больше 3, то можно создать raid 0, raid 5, raid 6.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-07
После того как все нужное выделили жмем Add to Array.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-08
Дальше жмем reclaim и у вас получится первая "Drive Group"
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-09
В левой части видим нужу созданную группу дисков, жмем Add to Span.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-10
Нужная группа добавляет в правую область.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-11
Видим, какие типы raid мы можем создать на LSI MegaRAID SAS PCI Express ROMB.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-12
Теперь как создать Raid10, 50, 60.
Идем на пункт меню где создаем новую конфигурацию. У меня 8 дисков на сервере, для того чтобы создать нужные raid нам надо создать две группы с равным количеством дисков, этим и займемся. Выбираем 4 диска и жмемAdd to Array.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-13
Выбираем 3 и более дисков.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-14
Создаем вторую группу тоже из 4 дисков
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-15
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-16
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-17
Теперь добавляем наши две группы нажимая Add to Span
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-18
Добавляем в правую область.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-19
Видим что теперь доступно Raid 10, 50, 60.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-20
Выбираем для примера RAid 10. Настраиваем и жмем Next.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-21
я создал два луна один 100гб второй все остальное.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-22
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-23
Save this configuration. Сохраняем все и выходим.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-24
Вас предупредят, что все данные будут безвозвратно потеряны.
Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB-25
Не забудьте пометить Lun на который вы будите ставить меткой Set Boot Drive.
Популярные Похожие записи:
Управление контроллером
Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:
- Debian,
- Ubuntu,
- Red Hat Linux,
- Fedora,
- SuSE Linux,
- FreeBSD,
- Solaris,
- Microsoft Windows,
- Citrix XenServer,
- VMware ESXi.
С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.
Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.
Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.
Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.
Делается это очень просто:
-
Запрашивается список подключенных дисков к контроллеру:
Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.
Алгоритм создания RAID массивов в MSM
Логинимся в MegaRAID Storage Manager, для примера в моем тестовом окружении есть 4 SSD диска по 500 гб объема.
Переходим на вкладку Logical. Щелкаем правым кликом и выбираем Create Virtual Drive.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-01
Выбираем simple (Базовый метод)
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-02
На данном окне можно выбрать нужные вам рейды. RAID5 строится минимум из 3 ssd формула n-1
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-03
RAID6 строится минимум из 4 ssd формула n-2
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-06
При выборе дисков вы можете сразу видеть полезный объем массива.
RAID0 строится минимум из 2 ssd формула объединяет все диски
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-12
RAID1 строится минимум из 2 ssd формула n/2
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-11
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-13
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-04
Видим, что все успешно создано.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-05
В результате у вас создастся virtual drive с нужным raid. Для удаления данного virtual drive щелкните правым кликом и выберите delete.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-09
Соглашаемся с удалением виртуального диска.
Теперь давайте разберемся как создать RAID10, для этого нужно зайти в Advanced режим.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-15
Как видите среди уже вами созданных RAID есть и 10.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-16
Создадим его. Перемещаем два ssd вправо кнопкой ADD>> и нажимаем Create Span
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-19
Добавляем оставшиеся два ssd вправо и создаем новый Span.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-20
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-21
Жмем Create Drive Groupe
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-22
Выбираем при необходимости нужную политику кэширования, размер страйпа.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-23
Если все настройки нас устраиваю, то нажимаем кнопку "Create virtual drive"
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-24
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-25
Для завершения настройки нажимаем кнопку "Finish"
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-26
Наш RAID массив успешно создан.
Как создать RAID на контроллере LSI MegaRAID через утилиту MegaRAID Storage Manager-27
Скорость работы
Для того чтобы продемонстрировать, как наличие аппаратного RAID-контроллера способствует увеличению скорости работы сервера, мы решили собрать тестовый стенд со следующей конфигурацией:
- CPU Intel Xeon E3-1230v5;
- RAM 16 Gb DDR4 2133 ECC;
- 4 HDD емкостью по 1 ТБ.
Затем в этот же стенд поставим RAID-контроллер Adaptec ASR 7805 с модулем защиты кэша AFM-700, подключим к нему эти же жесткие диски и выполним точно такое же тестирование.
Прошивка
Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе.
Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.
Важно — не следует выполнять перепрошивку самостоятельно, поскольку любая ошибка может привести к потере данных!
Температура
Вначале хотелось бы затронуть такую важную вещь, как температурный режим аппаратных RAID-контроллеров Adaptec. Все они оснащены небольшими пассивными радиаторами, что может вызвать ложное представление о небольшом тепловыделении.
Производитель контроллера приводит в качестве рекомендуемого значения воздушного потока — 200 LFM (linear feet per minute), что соответствует показателю 8,24 литра в секунду (или 1,02 метра в секунду). Рассчитаны такие контроллеры исключительно на установку в rackmount-корпусы, где такой воздушный поток создается скоростными штатными кулерами.
От 0°C до 40-55°C — рабочая температура большинства RAID-контроллеров Adaptec (в зависимости от наличия установленных модулей), рекомендованная производителем. Максимальная рабочая температура чипа составляет 100°C. Функционирование контроллера при повышенной температуре (более 85°C) может вывести его из строя. Удобства ради приводим под спойлером табличку рекомендуемых температур для разных серий контроллеров Adaptec.
Series 2 (2405, 2045, 2805) and 2405Q | 55°C без модулей |
Series 5 (5405, 5445, 5085, 5805, 51245, 51645, 52445) | 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800 |
Series 5Z (5405Z, 5445Z, 5805Z, 5805ZQ) | 50°C с модулем ZMCP |
Series 5Q (5805Q) | 55°C без батарейного модуля, 40°C с батарейным модулем ABM-800 |
Series 6E (6405E, 6805E) | 55°C без модулей |
Series 6/6T (6405, 6445, 6805, 6405T, 6805T) | 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-600 |
Series 6Q (6805Q, 6805TQ) | 50°C с ZMCP модулем AFM-600 |
Series 7E (71605E) | 55°C без модулей |
Series 7 (7805, 71605, 71685, 78165, 72405) | 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700 |
Series 7Q (7805Q, 71605Q) | 50°C с ZMCP модулем AFM-700 |
Series 8E (8405E, 8805E) | 55°C без модулей |
Series 8 (8405, 8805, 8885) | 55°C без ZMCP модуля, 50°C с ZMCP модулем AFM-700 |
Series 8Q (8885Q, 81605Z, 81605ZQ) | 50°C с ZMCP модулем AFM-700 |
Нашим клиентам не приходится беспокоиться о перегреве контроллеров, поскольку в наших дата-центрах поддерживается постоянный температурный режим, а сборка серверов произвольной конфигурации происходит с учетом особенностей таких комплектующих (о чем мы упоминали в нашей предыдущей статье).
Заключение
Использование аппаратного RAID-контроллера оправдано в большинстве случаев, когда требуется высокая скорость и надежность работы дисковой подсистемы.
Системные инженеры Selectel бесплатно выполнят базовую настройку дискового массива на аппаратном RAID-контроллере при заказе сервера произвольной конфигурации. В случае, если потребуется дополнительная помощь с настройкой, мы будем рады помочь в рамках нашей услуги администрирования. Также мы подготовили для наших читателей небольшую памятку по командам утилиты arcconf.
Технические характеристики
Настройка кэширования
Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.
Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.
Важно — при использовании Write Back настоятельно рекомендуется использовать BBU или ZMCP-модуль, поскольку без него при внезапном отключении электричества часть данных может быть утеряна.
Настройка мониторинга
Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями.
Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.
3 Responses to Как создать raid10, raid50, raid60, raid5 на контроллере LSI MegaRAID SAS PCI Express ROMB
Вопрос: есть контролёр, который везде отображается как «LSI MegaRAID SAS PCI Express ROMB». Наверное у него должен быть более точный цифро-буквенный номер вроде 2280 или 9260-i8, например. Как узнать без разбора самого сервера? И MegaCLI и MegaRAID Storage Manager говорят только что привёл. И ещё — что у этих контролёров с поддержкой TRIM?
Попробуйте установить утилиту LSA LSI, посмотрите что она покажет
Привет Иван. Нужна помощь.
Зайду издалека — есть сервер microstar Supermicro 6026T-3RF на материнке Supermicro X8DT3/X8DTi.
На ней развернут RAID 0 массив на LSI Megaraid 1068e (при загрузке показывает что физ диски есть и предлагает зайти в пестрое сине-красное меню Ctrl+M, для конфига массивов). Был массив, но, после успешного умерщвления (потери данных), я поставил linux систему на него на 1 физ диск сделал вирт. диск VD0 как RAID 0. Но меня эта ситуация не устраивает (многие причины, утилиты для резервного копирования не видят массив, а мне проще образ физ. диска сделать для резервной копии).
Сейчас нужна windows-система для разворачивания wsus сервера. Хочу поставить ее по-человечески на физ. диск, без плясок с RAID — он мне совсем не нужен на сервере.
Подскажи пожалуйста, я уже даже в Супермикро написал — как отключить поганый RAID массив, чтобы при установке ОС, система видела диски как физические (non-RAID)как на обычном компьютере? Уже все зубы обломал — нигде не могу найти внятного объяснения как отключить массив (и джамперы переключал, ничего не помогает, даже бэкплейн крутил, вернул все перемычки назад, как было). Американцы пишут — что удали массив, т.е. все VD-шки в LSI утилите, и будет тебе счастье, но при установке той же ос windows инсталлятор в упор не видит физ. диски с удаленным RAID. Это вообще реально сделать?
И да, пробовал ковырять в БИОСЕ режимы ACHI, IDE и RAID. На самой материнской плате есть гнезда под SATA (но у меня бэкплейн с SAS дисками, подключается к RAID контроллеру). Как быть?
Чем отличаются типы массивов и вообще, что такое RAID рассказывается здесь.
Типичная задача — создать системный раздел, массив RAID1 из двух дисков.
1. Параметр работы контроллера поменять с SATA на RAID.
Configure SATA as -> RAID
После перезагрузки утилита выведет список доступных физических дисков
2. Нажать CTRL+M или Enter для продолжения конфигурации
3. В разделе Configure -> Easy Configuration -> пробелом выбрать нужные диски.
4. Сконфигурировать массив:
- тип RAID: 1
- DWC: off
- RA: off
- сохранить конфигурацию — Esc -> Save Configuration -> Yes
- Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
- Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
- Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.
5. Проинициализировать вновь созданный виртуальный диск — пункт меню Initialize.
5. Клавишей INSERT выбрать физические диски, после выбора нажать ENTER.
6. Выбрать типа массива: RAID1 (Mirror)
7. В поле Array Label опционально задать метку (название) виртуального диска
8. В поле Create RAID via, выбрать тип инициализации Quick Init
9. Согласиться с предупреждением
После перезагрузки, убедиться, что виртуальный (логический) диск появился, можно устанавливать операционную систему и работать.
Дополнительные опции меню контроллера Adaptec:
Disk Utilities — проверка и форматирование дисков
Array Configuration Utility -> Manage Array — управление параметрами созданных массивов.
CTRL + R сделать перестроение массива,
CTRL + B выбрать загрузочный виртуальный диск, если их больше двух,
CTRL + W включить или выключить Write Cache.
Подменю Add/Delete HotSpare — управление так называемым диском “горячей замены”
Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.
Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.
Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:
Читайте также: