Rescan for datastores vmware что делает
Файловая помойка в нашей организации крутится на виртуальной машине VMware ESXi 6 под Windows Server 2016. И это не просто помойка. Это сервер файлового обмена между структурными подразделениями: тут и совместная работа, и проектная документация, и папки с сетевых сканеров. В общем, тут вся производственная жизнь.
Я впал в изумление и решил сходить в отпуск. Пока я был в отпуске — у помойки не было ни одного зависания. А когда в понедельник вышел первый день на работу — помойка висела. Вытерпела полное резервное копирование и аккурат по его окончании повисла. Такая теплая встреча из отпуска подтолкнула меня к решению физически перетащить диски с гостевой машиной в другой хост.
И, хотя давно известно, что в первый день после отпуска нельзя делать ничего серьезного, хотя я всю дорогу на работу настраивал себя не работать, мое возмущение очередным зависанием выбило из головы и настрой, и зароки…
По окончании мастера свежий Datastore появился в списке… а вместе с ним и Datastores с остальных физических дисков.
Чтобы развеять сомнения, по-быстрому установил на пробу свежий ESXi, взял левый диск и, уже вчитываясь, прошелся по шагам мастера. Да. При добавлении Datastore с помощью мастера происходит потеря всех данных на диске без возможности отката операции и восстановления данных. Позже я прочитал на одном из форумов оценку такого дизайна мастера: shitsome crap. И прямо вот очень согласился.
Начиная с шестой — мысли потекли в более конструктивном русле. Ладно. Инициализация занимает считанные секунды даже для 3Tb-диска. Значит, это высокоуровневое форматирование. Значит, просто была переписана таблица разделов. Значит, данные все еще там. Значит, сейчас поищем какой-нибудь unformat и voila.
Гружу машину с загрузочного образа Strelec… И выясняю, что программы восстановления разделов знают все, кроме VMFS. Разметку разделов Synology, например, знают, а вот VMFS — нет.
Перебор программ не утешителен: в лучшем случае GetDataBack и R.Saver находят NTFS-разделы с живой структурой каталогов и живыми именами файлов. Но меня это не устраивает. Мне нужны два vmdk-файла: с диском системы и диском файлов помойки.
И тут я понимаю, что, похоже, сейчас буду ставить винду и раскатываться из файлового бэкапа. И одновременно с этим вспоминаю, что у меня там был корень DFS. А еще совершенно дикая по объему и разветвленности система прав доступа к папкам подразделений. Не вариант. Единственный приемлемый по времени вариант — восстановление состояния системы и диска с данными и всеми правами.
Снова гуглинг, форумы, KB'шки и снова плач Ярославны: VMware ESXi не предусматривает механизма восстановления данных. Все ветки обсуждений имеют два финала: кто-то восстановился с помощью не дешевой DiskInternals VMFS Recovery или кому-то помог активно продвигающий свои услуги специалист по vmfs-tools и dd. Вариант с покупкой лицензии DiskInternals VMFS Recovery за $700 — не вариант. Допуск постороннего лица с «территории потенциального противника» к корпоративным данным — тоже не вариант. Зато было нагуглено, что VMFS разделы умеет читать так же еще UFS Explorer.
Подпишись на комментарии
Комментарии
Комментарии
Посты по email
DiskInternals VMFS Recovery
Была скачана и установлена триальная версия. Программа успешно увидела пустой VMFS раздел:
В режиме Undelete (Fast Scan) так же нашла и потертый Datastore c папками виртуальных машин с дисками внутри:
Предпросмотр показал, что файлы живые:
Монтирование раздела в систему было успешным, но по непонятной причине во всех трех папках была одна и та же виртуалка. Конечно, по закону подлости — не та, что требуется.
Предпринятая попытка бессовестно запиратить софтину закончилась провалом. Зато запиратился UFS Explorer.
Я крайне отрицательно отношусь к воровству ПО. Ни в коем случае не призываю к использованию средств обхода защиты от нелицензированного использования.
Популярные посты за все время
Хе хе. Я тут овладел новым джедайством (Денис, спасибо за наводку). Посмотрите на эту картинку: На первый взгляд скриншо.
Intel купил McAfee. по рассказам знающих тему все было вот так: - Так. Нам нужен антивирус. Купите кто-нибудь McAfee. Вечером: .
В двойку лидеров по известности среди продуктов VMware входит программа VMware Workstation. Это весьма эффективное средство создания вир.
В vSphere 5 появилась такая штука как Web Client – по сути, старый добрый web-интерфейс, но слегка в новом обличии. Если в тройке и четве.
VMFS recovery
Извините, что отвлекаю, но можно один вопрос по виртуализации vmware esxi.
Имеется host под vmware esxi 4.1, к нему посредством FC подключена SAN.
На SAN'е создан раздел 5Тб и ранее подключен к хосту как datastore “SAN”, но с размером 2Тб vmfs (тоесть не полный размер LUN'а).
По великой случайности его удалили с хоста из Datastore…
Существует ли какая либо возможность его восстановить (подмонтировать, подключить)?
Так как при стандартных средствах ESXi считает что данный раздел is blank и предлагает его форматировать…, а там же данные.
. некие манипуляции
На хосте из под vsphere client “Rescan storage” и, о чудо J, раздел SAN как и был ранее уже отобразился без запуска мастера создания datastore.
Всё, делаем browse datastore, видим свой vmdk файлик, грузим виртуалку с подмапленным datastore, проверяем данные, все на месте.
Думаю, нам просто с этим очень сильно повезло. Повезло, что на самом сторадже был всего один LUN, был всего один раздел, раздел был создан на максимум 2Тб и начинался с начала стораджа.
Не повезло только, что пароль root'а знали все админы, и которым знать его не нужно J
Так что тут просто перевод, но эти действия я у себя опробовал, и успешно.
Допустим, у нас есть VMFS-хранилище, на котором расположены файлы ВМ (рис.1):
Рис.1. Пока все хорошо |
Что делать? Как восстановить удаленный VMFS, и вернуть расположенные на нем виртуальные машины?
13.04.2022
itpro
VMWare, Виртуализация
комментария 2
Рассмотрим гипотетическую проблему потери или повреждения VMFS хранилища, подключенное к ESXi хосту/vSphere. Например, из-за человеческой ошибки, когда администратор VMware случайно удалил VMFS хранилище, или когда диск/LUN с VMFS был отключен/потерян из-за ошибок на устройстве хранения/резервного копирования. В этой статье мы покажем, как вручную восстановить таблицу разделов на диске, где находилось VMFS хранилище.
Допустим администратор VMware, случайно выбрал Delete вместо Unmount и удалил VMFS хранилище.
В первую очередь, не паникуйте. Не надо пересоздавать VMFS датастору из интерфейса vSphere, и не делайте других действий, которые перезапишут данные старого vmfs разделе на диске (LUN).
Откройте интерфейс клиента vCenter, перейдите в раздел Storage -> Devices и найдите в списке диск (LUN) с ранее подключенным vmfs datastore. Нужно получить полный путь к диску (с идентификатором naa). На моем скриншоте это:
Включите SSH доступ на хосте ESXi, с которого доступен удаленный LUN и подключитесь к нему с помощью ssh клиента (я использую встроенный ssh клиент Windows)
Проверьте осталась ли таблица разделов на этом устройстве:
partedUtil getptbl /vmfs/devices/disks/naa.60003ff44dc75adc87daa4e08f467565 Команда вернула, что на указанном диске/LUN есть таблица разделов GPT
Теперь нужно получить начальный и конечный блок раздела удаленного VMFS на диске.
Чтобы вывести суммарную информацию о всех разделах, доступных с ESXi хоста, и найти начальный блок удаленного VMFS раздела, выполните такой скрипт:
В данном примере вывела информацию о нашем удаленном разделе (testVMFS) и мы получили номер начального блока 2048 этого раздела.
Теперь нужно получить конечный блок VMFS раздела на диске:
partedUtil getUsableSectors /vmfs/devices/disks/naa.60003ff44dc75adc87daa4e08f467565
В нашем примере это 20971486.
Если эта команда вернет ошибку “Unknown partition table on disk”, нужно руками прописать метку GPT раздела:
partedUtil mklabel /vmfs/devices/disks/naa.60003ff44dc75adc87daa4e08f467565 gpt
Теперь нужно узнать GUID таблицы разделов для VMFS. Это всегда AA31E02A400F11DB9590000C2911D1B8.
Вы можете вывести все возможные GUID таблиц разделов с помощью команды:
Итак, мы получили следующие данные:
- LUN ID — naa.60003ff44dc75adc87daa4e08f467565
- Start Block – 2048
- End Block – 2097148
- GPT GUID – AA31E02A400F11DB9590000C2911D1B8
Теперь создайте таблицу разделов на вашем диске используя полученные вами данные:
partedUtil setptbl /vmfs/devices/disks/naa.60003ff44dc75adc87daa4e08f467565 gpt "1 2048 20971486 AA31E02A400F11DB9590000C2911D1B8 0"
Еще раз проверим разделы на диске, и убедимся, что теперь на нем виден VMFS раздел:
partedUtil getptbl /vmfs/devices/disks/naa.60003ff44dc75adc87daa4e08f467565
Теперь нужно смонтировать данное VMFS хранилище:
vmkfstools -V
esxcli storage core adapter rescan --all
Откройте клиент vSphere, убедитесь что удаленное VMFS хранилище появилось. Смонтируйте его.
На VMFS хранилище сохранились все файлы, в том числе iso образы и файлы виртуальных машин.
13.04.2022
Alex Kornev
VMWare
Один комментарий
Справочный список полезных консольных команд VMWare ESXi (в том числе ESXCLI), которые часто используется при траблшутинге и тонкой настройке гипервизора. По мере необходимости список команд будет расширяться и обновляется.
Доступные команды консоли ESXi можно посмотреть в каталоге /usr/sbin.
Полный список команд esxcli можно вывести с помощью команды:
esxcli esxcli command list
Для начала команды ESXi, которые вы можете выполнять через ssh доступ.
- reboot — перезагрузить хост
- poweroff — выключить хост
- esxcli system version get — узнать версию (номер) инсталлированной версии VMware ESXi
- uname -a — так же узнать версию VMware ESXi
- vmware –vl – и еще один способ узнать версию и релиз VMware ESXi
- esxcli hardware pci list | more — полная информация об установленных PCI устройствах
- lspci — краткая информация обо всех установленных PCI устройствах
- esxtop — диспетчер процессов top для vmware esxi (быстрые клавиши для переключения дисплея: c :cpu, i :interrupt, m :memory, n :network, d :disk adapter, u :disk device, v :disk VM, p :power mgmt)
- vmkerrcode -l — расшифровка кодов ошибок
- esxcfg-nics -l — информация о сетевых картах
- esxcfg-vswitch -l — информация о виртуальных коммутаторах
- find . -name libstorelib.so — найти файл libstorelib.so
- dcui — работа с консолью сервера через ssh сессию
- chkconfig -l — статус работы демонов
- esxcli hardware memory get — размер установленной памяти
- esxcli software vib list — список установленных vib-пакетов
- esxcli network ip connection list — состояние активных соединений (аналог netstat)
- esxcli storage vmfs extent list — информация о примонтированных/подключенных томах VMFS
- esxcli hardware clock (get/set) — отображение/установка времени esxi-хоста
- cd - Смена текущей директории;
- cp - Копирование файла.cp [файл 1] [файл2];
- find - Поиск файлов по критериям;
- ls - Список файлов и директорий в текущей или явно указанной директории.ls /vmfs/volumes/ ключи: -l подробная информация -a отображение скрытых файлов;
- mkdir — Создание директории;
- mv — Перемещение файла. Переименование файла.mv [путь и имя файла] [путь, куда перемещать];
- ps — Информация о запущенных процессах. ps -ef;
- rm - Удаление файлов;
- shutdown — Выключение или перезагрузка сервера shutdown nowshutdown –r now;
- vi — Текстовый редактор;
- nano — Дружелюбный к новичкам текстовый редактор, отсутствует на ESXi;
- cat — Вывод содержимого файла на экран. cat /etc/hosts;
- more — Вывод содержимого файла на экран, по странице за раз. more /etc/hosts;
- man — Справка по командам man , для некоторых команд помощь выводится при запуске самой команды без параметров;
- useradd — Создание пользователя. useradd ;
- passwd - Задание пароля пользователю passwd ;
- esxcli storage nfs list — список подключеных nfs- хранлилищ на хосте
Команды для работы с виртуальными машинами:
- vim-cmd vmsvc/getallvms — вывод информации обо всех VM
- vim-cmd vmsvc/power.getstate 1 — включена/выключена VM с Vmid 1
- vim-cmd vmsvc/power.on 1 — включить VM с Vmid 1
- vim-cmd vmsvc/power.off 1 — выключить (по питанию) VM с Vmid 1
- vim-cmd vmsvc/power.reset 1 — перезагрузка (аналогично нажатию клавиши RESET на реальном сервере) VM с Vmid 1
- vim-cmd vmsvc/power.shutdown 1 — корректное выключение VM с Vmid 1. Действует только, если установлены VMware Tools!
- vim-cmd vmsvc/power.reboot 1 — перезагрузка VM с Vmid 1. Действует только, если установлены VMware Tools!
- vim-cmd vmsvc/get.summary 1 — получение полной информации о VM с Vmid 1.
- vim-cmd vmsvc/get.summary 1 | egrep ‘(name|power|ip)’ — получение отфильтрованной информации о VM с Vmid 1. Выводится имя, состояние питания, IP-адрес
Набрав эту команду, вы увидите все возможные варианты ее использования. Ниже список команд, которые мне показались полезными:
Популярные посты за месяц
Хе хе. Я тут овладел новым джедайством (Денис, спасибо за наводку). Посмотрите на эту картинку: На первый взгляд скриншо.
Intel купил McAfee. по рассказам знающих тему все было вот так: - Так. Нам нужен антивирус. Купите кто-нибудь McAfee. Вечером: .
Как многие уже слышали, VMware объявила об относительно скором релизе пятой вСферы - в третьем квартале этого года. Уже стали известны по.
С радостью я констатирую тот факт, что практически каждый день мне пишут про мою книгу. В основном - "Где ее можно купить?" С о.
DiskInternals VMFS Recovery
Была скачана и установлена триальная версия. Программа успешно увидела пустой VMFS раздел:
В режиме Undelete (Fast Scan) так же нашла и потертый Datastore c папками виртуальных машин с дисками внутри:
Предпросмотр показал, что файлы живые:
Монтирование раздела в систему было успешным, но по непонятной причине во всех трех папках была одна и та же виртуалка. Конечно, по закону подлости — не та, что требуется.
Предпринятая попытка бессовестно запиратить софтину закончилась провалом. Зато запиратился UFS Explorer.
Я крайне отрицательно отношусь к воровству ПО. Ни в коем случае не призываю к использованию средств обхода защиты от нелицензированного использования.
Последние комментарии
Подпишись на обновления по RSS
Архив блога
Рекомендую
Ярлыки
суббота, 2 апреля 2011 г.
UFS Explorer
Сканирование диска показало наличие 7 нод. Количество нод «удивительным образом» совпало с количеством *-flat.vmdk файлов, обнаруженных VMFS Recovery:
Сравнение размеров файлов и размеров нод показало так же совпадение до байта. Заодно были восстановлены имена *-flat.vmdk файлов и, соответственно, принадлежность их к виртуальным машинам.
Спустя 4 часа выгрузки 2,5Тб нода из UFS Explorer'a и 20 часов загрузки в Datastore гипервизора грохнутые файлы дисков были подключены к свеже-созданной виртуальной машине. Диски подхватились. Потери данных замечено не было.
The Storage Discovery process performs rescan of the whole storage system or selected volumes. It can be performed against the following nodes in the storage system hierarchy:
- Vendor
- Storage system
- Storage volume
In case you have limited rescan scope, storage discovery will be performed only for the specified volumes. For details, see Limiting Rescan Scope .
If only Veeam Agents backup processing is selected for a storage system, storage volumes are not displayed and rescan of the specified volumes is not available.
Stages of Rescan
- [For VMware, NAS, Veeam Agent integration] General infrastructure
Receiving storage system information.
- Defining the storage system data hierarchy (volumes, shares, LUNs, snapshots).
- Getting the information about each volume added to rescan scope (name, ID, size, SCSI Unique ID for LUNs, local paths for shares).
- Defining basic information about storage snapshots (name, id, creation time).
- Getting information about storage adapters (targets).
- Receiving other relevant information.
- [For VMware, NAS, Veeam Agent integration] Availability from backup proxies
Verifying the possibility of using proxies for backup/rescan/data transmission directly from the storage systems.
- Analyzing the selected proxies and checking iSCSI/NFS/CIFS servers availability from these proxies.
- Matching proxies with available servers. The LUNs/share files available from these servers are considered available from the relevant proxies.
Availability through Fibre Channel is not checked. If a proxy is added to a storage system list, the access is considered set.
- [For VMware integration] vCenter/ESXi rescan
- Identifying the list of vCenter/ESXi datastores added to Veeam Backup & Replication .
- Matching the vCenter/ESXi datastores with volumes (LUNs/share files) added to Veeam Backup & Replication . Making the list of VMs located on datastores.
- Creating/updating information files for the VMs in the snapshots of relevant volumes.
If the VMFS/NFS rescan has not been executed for a volume earlier, we assume that all the snapshots of the volume are for those VMs that have been in the datastore at the moment of rescan.
If the VMFS/NFS rescan has been executed for a volume earlier, Veeam Backup & Replication skips the next step (updating the VMware hosts information for each VM).
- Updating the VMware hosts information for each VM.
- [For VMware integration] VMFS/NFS rescan
Scanning the snapshot file system.
If a storage system can export snapshots directly to a proxy, snapshot clones are not created.
- Exporting storage snapshot clones to the proxy.
- Identifying the snapshot file system type.
- If the snapshot file system type corresponds with VMFS or NFS, Veeam Backup & Replication searches for the VMX files located in the snapshots.
Thus the system identifies the VMs located in the snapshots. If this stage has not been performed for these snapshots earlier, the snapshot content shown in Veeam Backup & Replication may be changed on this stage: some VMs may be added or deleted.
- Defining the VMs size.
- Removing the storage snapshot clones from the proxy.
- Deleting the storage snapshot clones.
The following actions and processes initiate the Storage Discovery process:
The Storage Monitor process runs in the background. Every 10 minutes the process checks:
- Appearance or removal of snapshots in the supervised volumes,
- Changes in the snapshot names in the supervised volumes,
- Changes in the name of the supervised volume itself,
- Appearance or removal of volumes (including changes due to alteration in the rescan scope Volumes to scan).
If changes are detected, the Storage Monitor initiates the rescan of the container entity, including all rescan stages:
- Alteration in a snapshot starts rescan of the volume,
- Alteration in a volume starts rescan of the storage system.
If more than 30% of the volumes need to be rescanned, the Storage Monitor starts rescan of the whole storage system.
Rescan of all storage systems, including all rescan stages, starts once a week.
Rescan of all storage systems without VMFS/NFS Rescan.
Rescan of all storage systems without vCenter/ESXi and VMFS/NFS Rescan.
Complete rescan of all storage systems.
Rescan of storage systems with NAS integration.
- Selecting Run the storage infrastructure rescan when I click Finish check box in a storage system adding wizard
Rescan of the added storage system, all stages included.
If necessary, you can start the Storage Discovery process manually. Storage discovery can be performed against the following nodes in the storage system hierarchy: vendor, storage system or storage volume.
To manually start storage discovery:
- Open the Storage Infrastructure view.
- In the inventory pane, expand the storage system tree.
- Select a node in the storage system hierarchy: vendor, storage system or volume.
- Click Rescan on the ribbon or right-click the node in the hierarchy and select Rescan storage or Rescan volume .
The rescan operation is performed only for volumes included in the rescan scope. For information how to change the rescan scope, see Limiting Rescan Scope .
Тут собираю интересное по интересующей меня теме виртуализации.
- Главная страница
- Книга по vSphere
- Performance - как правильно мониторить
- VMware Certification
- Курсы VMware
- Подборка важных материалов
Обо мне
Все высказанное здесь представлено “как есть” и не предоставляет каких-либо гарантий и прав. Позиция автора может не совпадать с позицией работодателя. Просмотреть профиль
Читайте также: