VMmanager

Подключение сетевого LVM-хранилища

Вы можете подключить к кластеру сетевое LVM-хранилище. Перед этим настройте сеть хранения данных (SAN) и подключите хранилище к узлам кластера в качестве блочного устройства. Подробнее см. в статье Предварительная настройка SAN.

Краткая информация об LVM

LVM (Logical Volume Manager) — подсистема, позволяющая использовать разные области одного жёсткого диска и/или области с разных жёстких дисков, как один логический том. Размер файловых систем логических томов не ограничивается одним диском, так как том может располагаться на разных дисках и разделах.

Основные обозначения LVM:

  • физические тома (PV, Physical Volume) — разделы дисков или целые "неразбитые" диски;
  • группа томов (VG, Volume Group) — набор физических томов PV, объединённый в группу, которая составляет единый диск;
  • логические разделы (LV, Logical Volume) — разделы, созданные на физическом пространстве группы томов VG.

LVM-хранилище поддерживает один формат образа виртуальных дисков — RAW. Подробнее об LVM см. в официальной документации.

В VMmanager LVM-хранилище используется только для хранения дисков виртуальных машин (ВМ). Каждый диск хранится в отдельном LV с именем формата "<vm_id>_<vm_name>".

Настройка multipath

Multipath — это технология подключения узлов сети хранения данных с использованием нескольких маршрутов. В случае отказа одного из контроллеров, операционная система будет использовать другой для доступа к устройству. Это повышает отказоустойчивость системы и позволяет распределять нагрузку. Multipath-устройства объединяются в одно с помощью специализированного программного обеспечения.

Чтобы настроить multipath:

  1. Установите ПО multipath-tools:

    Ubuntu, Astra Linux
    apt install -y multipath-tools
    
    AlmaLinux
    dnf install device-mapper-multipath
  2. В конфигурационном файле /etc/multipath.conf измените значение user_friendly_names на no:

    user_friendly_names no
    
  3. Перезапустите сервис multipathd:

    systemctl restart multipathd
    
  4. На каждом узле хранилища объедините все подключения диска в одно мультиканальное:

    multipath /dev/sdX
    
    Пояснения к команде
  5. Команда multipath сгруппирует все пути в одно маппер-устройство. Чтобы посмотреть список сгруппированных устройств, выполните команду:

    multipath -ll
    

    Это устройство будет иметь одинаковый идентификатор на всех узлах.

    Пример вывода
    root@node1:~# multipath -ll
    36589cfc0000008af95b3633c714c5c57 dm-0 TrueNAS,iSCSI Disk
    size=550G features='0' hwhandler='1 alua' wp=rw
    `-+- policy='service-time 0' prio=50 status=active
      `- 2:0:0:0 sda 8:0 active ready running
  6. На каждом узле хранилища добавьте в конфигурационный файл LVM /etc/lvm/lvm.conf в блок devices {...} фильтр:

    filter = [ "a|/dev/mapper/.*|", "r|.*|" ]
    
    Пояснения

    Если системный диск использует LVM, добавьте его в фильтр:

    Пример конфигурации для /dev/sda
    filter = [ "a|/dev/mapper/.*|", "a|/dev/sda|", "r|.*|" ]
    
  7. Проверьте корректность фильтра и конфигурации командой:

    vgs
    
    Если всё настроено правильно, список VG в выводе команды не должен содержать ошибок.

Подключение хранилища

Чтобы подключить хранилище, перейдите в Кластеры → выберите кластер → Меню →  Сетевые хранилища:

  1. Нажмите Добавить хранилищеДобавить сетевое хранилище SAN.
  2. Укажите его настройки:
    1. Название.
    2. Теги хранилища. Подробнее см. в статье Выбор хранилища для дисков ВМ.
    3. Путь до блочного устройства. Например, /dev/sdb

      Если при настройке SAN вы использовали UUID или WWID для подключения таргета, то в качестве пути к блочному устройству укажите:

      • для UUID: /dev/disk/by-uuid/;
      • для WWID: /dev/disk/by-id/.

      Если вы использовали multipath, укажите путь вида /dev/mapper/.

  3. Нажмите Добавить.

VMmanager автоматически настроит LVM-хранилище на блочном устройстве: создаcт PV и VG. Если на блочном устройстве была создана VG, хранилище не будет подключено.

Подключение одного хранилища к разным кластерам может привести к повреждению ВМ. 
Может быть полезно