Вы можете подключить к кластеру сетевое LVM-хранилище. Перед этим настройте сеть хранения данных (SAN) и подключите хранилище к узлам кластера в качестве блочного устройства. Подробнее см. в статье Предварительная настройка SAN.
Краткая информация об LVM
LVM (Logical Volume Manager) — подсистема, позволяющая использовать разные области одного жёсткого диска и/или области с разных жёстких дисков, как один логический том. Размер файловых систем логических томов не ограничивается одним диском, так как том может располагаться на разных дисках и разделах.
Основные обозначения LVM:
- физические тома (PV, Physical Volume) — разделы дисков или целые "неразбитые" диски;
- группа томов (VG, Volume Group) — набор физических томов PV, объединённый в группу, которая составляет единый диск;
- логические разделы (LV, Logical Volume) — разделы, созданные на физическом пространстве группы томов VG.
LVM-хранилище поддерживает один формат образа виртуальных дисков — RAW. Подробнее об LVM см. в официальной документации.
В VMmanager LVM-хранилище используется только для хранения дисков виртуальных машин (ВМ). Каждый диск хранится в отдельном LV с именем формата "<vm_id>_<vm_name>".
Настройка multipath
Multipath — это технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку. Multipath-устройства объединяются в одно с помощью специализированного программного обеспечения.
Чтобы настроить multipath:
-
Установите ПО multipath-tools:
Ubuntu, Astra Linuxapt install -y multipath-tools
AlmaLinuxdnf install device-mapper-multipath
-
В конфигурационном файле /etc/multipath.conf измените значение user_friendly_names на no:
user_friendly_names no
-
Перезапустите сервис multipathd:
systemctl restart multipathd
-
На каждом узле хранилища объедините все подключения диска в одно мультиканальное:
multipath /dev/sdX
Пояснения к команде -
Команда multipath сгруппирует все пути в одно маппер-устройство. Чтобы посмотреть список сгруппированных устройств, выполните команду:
multipath -ll
Это устройство будет иметь одинаковый идентификатор на всех узлах.
Пример выводаroot@node1:~# multipath -ll 36589cfc0000008af95b3633c714c5c57 dm-0 TrueNAS,iSCSI Disk size=550G features='0' hwhandler='1 alua' wp=rw `-+- policy='service-time 0' prio=50 status=active `- 2:0:0:0 sda 8:0 active ready running
-
На каждом узле хранилища добавьте в конфигурационный файл LVM /etc/lvm/lvm.conf в блок
devices {...}
фильтр:filter = [ "a|/dev/mapper/.*|", "r|.*|" ]
ПоясненияЕсли системный диск использует LVM, добавьте его в фильтр:
Пример конфигурации для /dev/sdafilter = [ "a|/dev/mapper/.*|", "a|/dev/sda|", "r|.*|" ]
-
Проверьте корректность фильтра и конфигурации командой:
Если всё настроено правильно, список VG в выводе команды не должен содержать ошибок.vgs
Подключение хранилища
Чтобы подключить хранилище, перейдите в Кластеры → выберите кластер → Меню → Сетевые хранилища:
- Нажмите Добавить хранилище → Добавить сетевое хранилище → SAN.
- Укажите его настройки:
- Название.
- Теги хранилища. Подробнее см. в статье Выбор хранилища для дисков ВМ.
-
Путь до блочного устройства. Например, /dev/sdb.
Если при настройке SAN вы использовали UUID или WWID для подключения таргета, то в качестве пути к блочному устройству укажите:
- для UUID:
/dev/disk/by-uuid/
; - для WWID:
/dev/disk/by-id/
.
Если вы использовали multipath, укажите путь вида
/dev/mapper/
. - для UUID:
- Нажмите Добавить.
VMmanager автоматически настроит LVM-хранилище на блочном устройстве: создаcт PV и VG. Если на блочном устройстве была создана VG, хранилище не будет подключено.