Proxmox не видит raid
Столкнулся с проблемой, создаю аппаратно зеркальный рейд (жесткие диски два одинаковых размера и одинаковой фирмы), все нормально, рейд создан! После чего, устанавливаю с диска Proxmox. После установки Проксмокса, пишет что статус рейд degraded, захожу в настройки рейда, пересобираю, уже статус Rebuilt! Пытаюсь загрузить сам проксмокс, а мне пишет disk boot failure! В чем может быть проблема? Что не правильно делаю?
А пингует ли виртуальная машина хост? Или хост-система - виртуальную машину? » |
В том то и дело что не пингует.
Обычно рекомендуется выделять свободное место, в нём создавать группу LVM и уже затем "нарезать" в нём логические разделы (каждый раздел - отдельный диск виртуальной машины). » |
Думаю это не зависит от сети. тут как по мне какая-то другая проблема. Скорее всего где-то нужно прописать руками какие-то сетевые настройки. Еще такой нюанс, если в настройках сети виртуальной машины я выбираю NAT mode, то сеть видит, но получает динамический ип. а меня так не устраивает. если прописіваю руками, то опять все валится.
Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.
Добрый день, появился вопрос по установке proxmox 5, сервер supermicro RAID контроллер adaptec 6805e, проблема как и у начавшего тему. Создаю рейд массив raid 1, прохмох при установке видит не рейд диск а два диска, при выборе первого разваливает рэйд. ставится, работает но без рейда. почитав форумы задумался, а нельзя ли в установочник прох моха подпихнуть дрова для этого рэйд контроллера, дрова есть на сайте adadptec. ПРобовал ставить голый дебиан 9 , но он тоже не видит рейд диска, ставится только на один. программный рейд создавать не хочу. (не верю я им, и работать плохо с ними умею). На сайте прохмоха прочитал что после установки его можно вкатить утилитину которая позволяет общаться прохмоху с рейдконтроллером, но не очень себе представляю как это работает, не получу ли я в итоге тот же самый програмный рейд. пробовать утилитину пока не пробовал. очень геморно, но если других путей не останется буду пытаться. Просьба помогите советом и по возможности, если знаете решение с командами.
ИО Капитана Очевидности
программный рейд создавать не хочу. (не верю я им, и работать плохо с ними умею) » |
А в чём проблема с MDADM? Нормально работает. Особенно с учётом того, что 6805 - базовая модель без всяких наворотов.
Опять же можно установить Webmin, который настраивает программные массивы в два клика.
На сайте прохмоха прочитал что после установки его можно вкатить утилитину которая позволяет общаться прохмоху с рейдконтроллером, но не очень себе представляю как это работает, не получу ли я в итоге тот же самый програмный рейд. » |
1. Установить систему (Proxmox или чистый Debian) на флэшку в раздел LVM (создаётся на этапе установки системы)
2. Установить драйвера, убедиться что система распознаёт RAID, как единое дисковое устройство.
3. Добавить RAID в LVM и перенести все разделы LVM с флэшки в RAID
4. PROFIT.
-------
Самое совершенное оружие, которым забиты арсеналы богатых и процветающих наций, может легко уничтожить необразованного, больного, бедного и голодного. Но оно не может уничтожить невежество, болезнь, нищету и голод. (Фидель Кастро)
Почему всех осужденных за измену Родине при Сталине реабилитировали при Горбачёве по отсутствию состава преступления? Потому что при Горбачёве измену Родине перестали считать преступлением.
You are using an out of date browser. It may not display this or other websites correctly.
You should upgrade or use an alternative browser.
optimistic
New Member
I have two HDD 2TB each.
I configured RAID1 in my BIOS.
I checked if RAID is ok. Ubuntu installation see my RAID.
But Proxmox installation don't see my RAID, proxmox see 2 different HDD.
I use this iso of Proxmox.
Can Proxmox be installed in hardware RAID1?
How to install Proxmox on hardware RAID1?
janos
Active Member
THis is not hardware raid, this is a software based raid solution, what require its own drivers. Dont use this, create softraid in Linux.
r.jochum
Active Member
optimistic
New Member
Why this is software raid? Are you sure?
I made this raid in BIOS, my mother board have RAID, please check specification (in google: fujitsu e900 e90 pdf, I can't post a link)
This is your suggestions, right?
1. Dissable RAID in BIOS
2. Install Debian with software RAID1
3. Install Proxmox
janos
Active Member
I prefer this way, yes, but as r.jochum mentioned, you can also use ZFS Raid1.
r.jochum
Active Member
Theres a reason why we don't support mdraid in Proxmox
The reason for this is that we have seen Data corruption with Qemu VM's and O_DIRECT. So please just don't use Fake Raid/Software Raid.
Jota V.
Active Member
What about with a server with only 8 GB Ram and 2 x 1 TB SATA 7.2k drives?? ZFS Raid 1 and limit RAM used by ZFS?.
Purpose is run only a VM and make backups with Proxmox to NFS Share and can move to other cluster if we need run maintenance tasks on physical node.
janos
Active Member
Theres a reason why we don't support mdraid in Proxmox
The reason for this is that we have seen Data corruption with Qemu VM's and O_DIRECT. So please just don't use Fake Raid/Software Raid.
Is there a documentation how possible to reproducate it?
We managing ~15 server (each in single mode) with local mdraid in RAID1, without any issue.
r.jochum
Active Member
jim.bond.9862
Well-Known Member
hi optimistic,
as people pointed out already BIOS raid is not a real raid.
there are only a handful of MB with a real hardware raid controller on board. most of the MB have so called fake raid which is not supported my most OSes. and it will create a headache for you if something go wrong later on or if drive fails and need to be replaced.
you have 2 options:
option 1 : if you really want real hardware raid, you will need to search for a real good quality controller sported by Debian/Proxmox. you can ask on the forum and someone will give you models that work. but be ready for sticker shock.
option 2 : use ZFS mirror (raid1) mode instead as this is the only one I know works with Proxmox.
or you can load Core Debian using mdadm raid and try to install Proxmox on it. not sure if it works though.
You are using an out of date browser. It may not display this or other websites correctly.
You should upgrade or use an alternative browser.
ressel
Active Member
im trying to install proxmox with hardware raid on my server, but it doesn't fint my 1+0 raid.
When I have to choose harddrive to install proxmox on it finds the single 1,5 TB discs, not raid made from my 4 x 1,5 tb
it only finds following discs /dev/sda /dev/sdb /dev/sdc /dev/sdd
my raid controller is a sil 3124
jcanodk
Member
ressel
Active Member
Raid Controller Leaf LC3124i Rev 6.0
following distributions encludes already the driver: Archlinux, Centos, Debian, Frugalware, Gentoo, knoppix, RedHat, Suse, Ubuntu
jcanodk
Member
Yes, the controller is widely supported, but it's NOT real RAID. It's using software raid, in linux you can use the controllers soft/fake RAID with the "dmraid" package.
You would be better off using linux native software raid. (The software in the very small flash area of the very small controller does probably not perform as well as a full blown package in linux.)
Anyway, none of the mentioned methods are supported in PROXMOX. You're just out of luck!
ressel
Active Member
are there some cheap preferred raid controller with 4 SATA ports that can run raid 10?
And that works with Proxmox?
Famous Member
are there some cheap preferred raid controller with 4 SATA ports that can run raid 10?
And that works with Proxmox?
Works well with Proxmox - performance (with 4 wd-raptor raid10):
But perhaps someone else know a cheap good raid-controller?
ressel
Active Member
If it will work, I will buy it now, and maybe invest in faster card later.
Famous Member
Hi,
AFAIK is this also an fake raid. Save the money for a real raidcontroller. If you spend money you will get something back, not 4 sata ports and raid-software (this can you get better with 4 ports on the motherboard and linux dmraid-software).
ressel
Active Member
I found another one, this one is a bit more expensive.
Promise Fasttrack TX4310 SATA RAID Controller
Famous Member
I found another one, this one is a bit more expensive.
Promise Fasttrack TX4310 SATA RAID Controller
Guest
If cost is an issue try using software raid(mdadm), use on-board controller because third party drivers just complicate things. I been using software raid on many machines and it works great, I did not see one that did not work but its slower than hardware raid.
ressel
Active Member
I think im going to buy either
INTEL SASWT41 RAID SAS Controller PCIe (SASWT4I) or a Adaptec RAID 2405
edwards
New Member
Proxmox Staff Member
Now, I did a speed test on drives and for me not looking good.
Best regards,
Tom
Do you already have a Commercial Support Subscription? - If not, Buy now and read the documentation
edwards
New Member
I expected higher BUFFERED READS. I don't know why. but I did.
Anyway, if the Master said is ok, I will take that. Thank you.
Second issue/question which I have is related to LVM. After I create the LVM (raid10) - /dev/sdb - name "xxl" , I want to add that to the system(not only storage), so I can get use of it, not only for KVM, I want to use it for openVZ too. so when I create a VM, I want to choose the large storage which is "xxl". Do I need for that to format the LVM and mount it and create a Directory on LVM and use the web-interface --> Add Directory?
Famous Member
How much disks do you have as raid-10, and what kind of disks?
Is the host calm (IO) during test?
Perhaps the raid-controller aren't hi-performance.
Anyway, if the Master said is ok, I will take that. Thank you.
Second issue/question which I have is related to LVM. After I create the LVM (raid10) - /dev/sdb - name "xxl" , I want to add that to the system(not only storage), so I can get use of it, not only for KVM, I want to use it for openVZ too. so when I create a VM, I want to choose the large storage which is "xxl". Do I need for that to format the LVM and mount it and create a Directory on LVM and use the web-interface --> Add Directory?
Please advise. Thanks.
You can create a logical volume on your xxl (lvcreate -n openvz -L 100G xxl), create a filesystem on it (mkfs.ext3 /dev/xxl/openvz) and change the fstab to mount this to /var/lib/vz (save first the content of /var/lib/vz to the new filesystem).
Начиная с версии 3.6 в установщике Proxmox появилась опция установки на различные варианты ZFS Raid, но так и не появилась, используемая многими, конфигурация с расположением корня и области хранения дисков виртуальных машин на программном рейд массиве.
На хабре и в сети есть множество аналогичных статей, но они актуальны для версии 3,6, а в версии 4.0 появилось несколько интересных нюансов. Кроме это в данной инструкции я подойду к решению этой задачи совершенно другим путем.
Нюансы
Ставим Debian 8
Я думаю с установкой Debian 8 minimal с neinst диска вы справитесь.
Все настройки делаем как вам надо, рассмотрим только разбивку дисков:
— диски у меня с таблицей разделов в GPT
— выделяем раздел 1 Мб и отмечаем его как bios boot
— выделяем оставшееся место в раздел под массив
— собираем массив md0
— поверх массива пускаем LVM
— создаем LV под корень и своп
Проверяем баг — выдергиваем любой из дисков, членов массива, и загружаемся. Вернее не загружаемся, потому-как загрузчик не может найти LVM с корневым разделом, потому что не собрался массив на котором этот самый LVM и лежит.
UPD в Debian 8.5 баг уже починили и накладывать патч не нужно (вернее починили может и раньше, но проверялось на 8.5)
Чиним сборку массива при загрузке
Я ставил grub на оба раздела при установке, если вы этого не сделали:
Внимание: если вы будете проверять как работает патч и загружаться с выдернутым диском — на забудьте потом его вернуть обратно в массив:
Ставим Proxmox
Приводим /etc/hosts к виду:
Добавляем в /etc/apt/sources.list
Добавляем цифровую подпись:
При установке в /etc/apt/sources.list.d/pve-enterprise.list пропишется коммерческий репозиторий, если нет подписки — закомментируем его.
Добрый день, друзья. Сегодня я бы хотел поделиться своим личным опытом по настройке Proxmox на soft-Raid 10.
- Сервер HP ProLiant DL120 G6 (10 GB ОЗУ)
- 4x1000Gb SATA винчестера – без физического RAID контроллера на борту
- Флешка с PROXMOX 4.3 (об этом ниже)
- Получить инсталляцию PROXMOX 4.3 установленную полностью на S-RAID 10 GPT, что бы при отказе любого диска система продолжала работу.
- Получить уведомление об отказе сбойного диска на почту.
- Устанавливаем PROXMOX 4.3
- Поднимаем и тестируем RAID10
- Настраиваем уведомления на почту
Первый момент:
Подключил флешку – если вкратце — не найден установочный диск. Не могу смонтироваться.
Не стал разбираться что да как, да почему. Записал образ на CD-диск и подключил USB CDROM (благо он был рядом)
Второй момент:
Подключил к серверу CDROM и клавиатуру в передние порты сервера (их у него два) – первое что увидел, на первом приветственном скрине proxmox нельзя ничего нажать без мышки. То есть прееключение Tab-ом по управляющим кнопкам не происходит. Т.к. сервер был в стойке и залазить сзади было проблематично, начал по очереди втыкать клаву и мышку. Мышкой щелкаю «далее», клавой — ввожу данные.
Установка состоит из нескольких шагов:
- Согласится с их требованиями
- Выбрать винчестер, куда система установится.
- Выбрать страну и часовой пояс
- Указать имя сервера, адресацию
- И собственно немного подождать развертки образа на сервер.
Это не дело. Покупать пока лицензию на поддержку не планирую. Меняю официальную подписку на их «бесплатный» репозиторий.
И снова обновляюсь и ставлю обновки системы:
Теперь всё обновилось без запинки и система в новейшем состоянии. Ставлю пакеты для работы с рейдом:
Теперь определим точный размер первого диска, он нам пригодится в дальнейшем:
Видим что ровно 1000GB – запомним. Размечаем остальные разделы под наш массив. Первым делом очищаем таблицу разделов на трех пустых дисках и размечаем диски под GPT:
Теперь воссоздаем разделы так же как на оригинальном первом диске:
Вот тут нам пригодится знание размера оригинального первого диска.
Все эти четыре шага проделываем для всех наших дисков: sdb, sdc, sdd. Вот что у меня получилось:
А это второй, третий и четвертый (с разницей в букве диска).
Далее надо уточнить – если вы первый раз играете с этим кейсом и до этого на сервере, а главное на винчестерах, не было даже понятия RAID – можно пропустить этот пункт. Если же что-то не получилось, значит RAID уже возможно был установлен и на винчестерах есть суперблоки которые нужно удалять.
Проверить нужно все четыре диска.
Теперь настроим mdadm
Создаем конфиг на основе примера:
Вводим и сохраняем:
Почту пока оставим как есть, потом к ней еще вернемся.
Теперь поднимаем наши RAID в режиме деградации (пропуская первый рабочий винчестер).
- В /dev/md0 – у меня будет /boot
- В /dev/md1 – VML раздел с системой
Тут надо пояснить по ключам:
- --level=10 – говорит что наш RAID будет именно 10
- --chunk=2048 – размер кластера на разделе
- --raid-devices=4 – в рейде будут принимать участие четыре устройства
- missing /dev/sd[bcd]2 – первый рабочий раздел пока помечаем отсутствующим, остальные три добавляем в рейд
То есть верная команда на создание должна выглядеть вот так:
Теперь нам нужно действующий LVM массив перенести на три пустых диска. Для начала создаем в рейде md1 — LVM-раздел:
И добавляем его в группу pve:
Теперь переносим данные с оригинального LVM на новосозданный:
Процесс долгий. У меня занял порядка 10 часов. Интересно, что запустил я его по привычке будучи подключенным по SSH и на 1,3% понял что сидеть столько времени с ноутом на работе как минимум не удобно. Отменил операцию через CTRL+C, подошел к физическому серверу и попробовал запустить команду переноса там, но умная железяка отписалась, что процесс уже идет и команда второй раз выполнятся не будет, и начала рисовать проценты переноса на реальном экране. Как минимум спасибо :)
Процесс завершился два раза написав 100%. Убираем из LVM первый диск:
Переносим загрузочный /boot в наш новый рейд /md0, но для начала форматируем и монтируем сам рейд.
Создаем директорию и монтируем туда рейд:
Копируем содержимое живого /boot:
Отмонтируем рейд и удаляем временную директорию:
Определим UUID раздела рейда, где хранится /boot – это нужно, что бы правильно записать его в таблицу /etc/fstab:
/dev/md0: UUID=«6b75c86a-0501-447c-8ef5-386224e48538» TYPE=«ext4»
Откроем таблицу и пропишем в ее конец данные загрузки /boot:
Прописываем и сохраняем:
Теперь монтируем /boot:
Разрешим ОС загружаться, даже если состояние BOOT_DEGRADED (то есть рейд деградирован по причине выхода из строя дисков):
Прописываем загрузку ramfs:
Графический режим загрузчика отключаем:
Инсталируем загрузчик на все три диска:
Теперь очень важный момент. Мы берем за основу второй диск /dev/sdb, на котором система, загрузчик и grub и переносим всё это на первый диск /dev/sda, что бы в последствии сделать его так же частью нашего рейда. Для этого рассматриваем первый диск как чистый и размечаем так же, как другие в начале этой статьи
Занулим и пометим как GPT:
Разбиваем его по разделам в точности как другие три:
Тут нам снова понадобиться точное знание размера диска. Напомню, получили мы его командой, которую в данном случае надо применять к диску /dev/sdb:
Так как диски у нас одинаковые, то размер не изменился – 1000Gb. Размечаем основной раздел:
Должно получится так:
Осталось добавить этот диск в общий массив. Второй раздел соответственно в /md0, а третий в /md1:
Данная команда в реальном времени показывает процесс синхронизации:
И если первый рейд с /boot синхронизировался сразу, то для синхронизации второго понадобилось терпение (в районе 5 часов).
Осталось установить загрузчик на добавленный диск (тут нужно понимать, что делать это нужно только после того, как диски полностью синхронизировались).
Пару раз нажимаем Enter ничего не меняя и на последнем шаге отмечаем галками все 4 диска
md0/md1 не трогаем!
Осталось перезагрузить систему и проверить, что все в порядке:
Система загрузилась нормально (я даже несколько раз менял в BIOS порядок загрузки винтов — грузится одинаково правильно).
По четыре подковы в каждом рейде говорят о том, что все четыре диска в работе. Смотрим информацию по массивам (на примере первого, точнее нулевого).
Видим, что массив типа RAID10, все диски на месте, активные и синхронизированы.
Теперь можно было бы поиграться с отключением дисков, изменении диска-загрузчика в BIOS, но перед этим давайте настроим уведомление администратора при сбоях в работе дисков, а значит и самого рейда. Без уведомления рейд будет умирать медленно и мучительно, а никто не будет об этом знать.
В Proxmox по умолчанию уже стоит postfix, удалять его я не стал, хоть и сознательно понимаю что другие MTA было бы проще настроить.
Ставим SASL библиотеку (мне она нужна, что бы работать с нашим внешним почтовым сервером):
Создаем файл с данными от которых будем авторизовываться на нашем удаленном почтовом сервере:
Там прописываем строчку:
Теперь создаем транспортный файл:
Тут пишем (обозначаем от кого будет отправляться почта):
Создаем sender_relay (по сути, маршрут до внешнего сервера):
В файле /etc/postfix/main.cf у меня получилась вот такая рабочая конфигурация:
alias_maps = hash:/etc/aliases
alias_database = hash:/etc/aliases
mydestination = $myhostname, localhost.$mydomain, localhost
mynetworks = 127.0.0.0/8,192.168.1.0/24
inet_interfaces = loopback-only
recipient_delimiter = +
smtp_tls_loglevel = 1
smtp_tls_session_cache_database = btree:/var/lib/postfix/smtp_tls_session_cache
smtp_use_tls = no
tls_random_source = dev:/dev/urandom
Перезапускаем mdadm, что бы перечитать настройки:
Проверяем через консоль тестирование рейда и отправку письма:
У меня пришло два письма с информацией по обоим созданным мною рейдам. Осталось добавить задачу тестирования в крон и убрать ключ –test. Чтобы письма приходили только тогда, когда что-то произошло:
Добавляем задачу (не забудьте после строки нажать на Enter и перевести курсор вниз, что бы появилась пустая строка):
Каждое утро в 5 утра будет производится тестирование и если возникнут проблемы, произойдет отправка почты.
На этом всё. Возможно перемудрил с конфигом postfix – пока пытался добиться нормальной отправки через наш внешний сервер, много чего надобавлял. Буду признателен, если поправите (упростите).
В следующей статье я хочу поделиться опытом переезда виртуальных машин с нашего гипервизора Esxi-6 на этот новый Proxmox. Думаю будет интересно.
UPD.
Стоит отдельно отменить момент с физическим местом на разделе /dev/data – это основной раздел созданный как LVM-Thin
Когда ставился Proxmox, он автоматически разметил /dev/sda с тем учетом, что на /root раздел где хранится система, ISO, дампы и темплеи контейнеров, он выделил 10% емкости от раздела, а именно 100Gb. На оставшемся месте он создал LVM-Thin раздел, который по сути никуда не монтируется (это еще одна тонкость версии >4.2, после перевода дисков в GPT). И как вы понимаете этот раздел стал размером 900Gb. Когда мы подняли RAID10 из 4х дисков по 1Tb – мы получили емкость (с учетом резерва RAID1+0) – 2Tb
Но когда копировали LVM в рейд – копировали его как контейнер, с его размером в 900Gb.
При первом заходе в админку Proxmox внимательный зритель может заметить, что тыкая на раздел local-lvm(pve1) – мы и наблюдаем эти с копейками 800Gb
Так вот что бы расширить LVM-Thin на весь размер в 1,9TB нам потребуется выполнить все одну команду:
После этого систему не нужно даже перезапускать.
Не нужно делать resize2fs – и это скорее даже невозможно, потому как система начнет ругаться на
И правильно начнет – этот раздел у нас не подмонтирован через fstab
В общем пока я пытался понять, как расширить диск и читал форум Proxmox – система тем временем уже во всю показывала новый размер, как в таблице, так и на шкале.
Читайте также: