Это документация VMmanager 6 для редакций Hosting и Infrastructure. Документация VMmanager для редакции ФСТЭК находится в разделе VMmanager 6 ФСТЭК.
Отказоустойчивый кластер (кластер высокой доступности, High Availability cluster, HA-кластер) — группа узлов, которая при отказе части из них автоматически перезапускает защищённые виртуальные машины (ВМ) на узлах работоспособной группы. Такой кластер может состоять из двух и более узлов. Для хранения ВМ можно использовать сетевые хранилища и Direct LUN. Локальные хранилища в отказоустойчивом кластере поддерживаются, но ВМ на локальных хранилищах не защищаются.
Администратор может менять большинство параметров кластера без его остановки, переводить узлы в режим обслуживания и следить за состоянием узлов и журналом событий.
Отказоустойчивый кластер позволяет:
- сохранить работоспособность кластера при отказе части узлов;
- обслуживать узлы без остановки работающих ВМ;
- снизить риск повреждения данных при потере связи между узлами.
Требования к отказоустойчивому кластеру
Вы можете создать отказоустойчивый кластер при следующих условиях:
- тип виртуализации — KVM;
- тип сетевых настроек — "Коммутация";
-
типы хранилищ:
- для версии Hosting — SAN;
-
для версии Infrastructure — SAN и NAS в любых сочетаниях;
Вы также можете использовать хранилище Ceph. Для этого создайте гиперконвергентный кластер или добавьте в существующий кластер Ceph сервер метаданных (MDS).Хранилища других типов могут быть подключены к отказоустойчивому кластеру, но ВМ в них не будут защищены.
- при использовании SAN или внешних хранилищ iSCSI и Fibre Channel все узлы кластера должны быть исправны и подключены к сетевому хранилищу;
- ОС на узлах кластера — поддерживаемая версия ОС AlmaLinux или Astra Linux Special Edition;
- количество узлов — 2 и более;
- системное время на всех узлах синхронизировано. Для синхронизации времени используйте ПО chrony.
Рекомендации по использованию
- Перед включением отказоустойчивости убедитесь в надёжной работе сетевых хранилищ и каналов связи с ними.
- Не рекомендуется добавлять в кластер проблемные узлы — серверы, которые склонны к аварийным ситуациям из-за проблем с ОС, дисками, сетью и т.д.
- Не рекомендуется устанавливать коэффициент оверселлинга RAM на узлах более 0,9. Подробнее см. в статье Оверселлинг.
- Обеспечьте запас ресурсов, достаточный для запуска всех защищаемых ВМ при аварии одного узла.
- Используйте отказоустойчивый кластер для тех ВМ, к которым важно восстановить доступ в случае аварии.
При несоблюдении рекомендаций возможны риски:
- увеличение числа отказов;
- нехватка ресурсов;
- сбои в работе ПО, приводящие к остановке и перераспределению ВМ в кластере;
- сбои в перемещении ВМ при аварии узла;
- утрата работоспособности у отдельных ВМ в кластере.
Логика работы
Узлы кластера
Один из узлов отказоустойчивого кластера назначается мастером. Мастер подтверждает подключение узлов, собирает их статусы и запускает необходимые действия при аварии. Остальные узлы работают как участники. При подключении узла:
- На узле устанавливается служба ha-daemon.
- Узел добавляется в конфигурацию отказоустойчивости.
- Служба ha-service передаёт обновлённую конфигурацию мастеру.
Узлы выбирают мастера при включении отказоустойчивости и при сбое действующего мастера. На время выборов кластер показывает переходное состояние в статусах. Добавление нового узла не запускает перевыборы.
Агент
На каждом узле отказоустойчивого кластера работает специальный сервис — агент. Агент:
- определяет состояние узла и сохраняет его в хранилище кластера;
- выполняет решения мастера;
- изолирует узел при аварии;
- останавливает и запускает ВМ.
Агенты обмениваются статусами и выбирают мастер-узел. Решения при аварии принимает мастер. Администратор только задаёт режим работы и параметры защиты.
Режим работы и статус
Состояние кластера описывают:
- режим работы — целевое состояние, которое задаёт администратор. Кластер не меняет режим работы сам. Например, администратор выбирает обычный режим или режим обслуживания;
- статус — фактическое состояние узла, которое определяется мастером. Администратор не задаёт статус: он видит его в интерфейсе и использует для диагностики. Статус может отличаться от режима работы. Узел может работать в обычном режиме, но иметь статус деградации или изоляции.
Мастер отслеживает статусы всех узлов, остальные узлы отслеживают статус мастера. Переходные статусы показывают, что кластер выполняет действие. По ним видно, на каком этапе находится восстановление.
Состояние ВМ описывают:
- политика защиты — целевое состояние, которое задаёт администратор: какие ВМ нужно защищать;
- статус защиты — фактическое состояние защиты, определяемое кластером.
Агенты записывают события в журнал событий.
Качество узла и целостность конфигурации
Для каждого узла определяется его качество по следующим параметрам:
- доступ к кластерной конфигурации — служебной области на основном хранилище, через которую узлы передают конфигурацию и статусы, а также хранят журналы событий;
- доступ к наблюдаемому IP-адресу, по которому узел проверяет внешнюю сеть. Необязательный параметр, общий для всех узлов кластера; Обычно в качестве наблюдаемого IP-адреса указывают адрес вышестоящего маршрутизатора или коммутатора. Узел проверяет его доступность и определяет, есть ли у него связь с внешней сетью.
- размер группы — количество узлов с одинаковым качеством кластерных ресурсов. Кластерные ресурсы — это наличие доступа к основному хранилищу, к наблюдаемым сетевым хранилищам и Direct LUN, к наблюдаемому IP-адресу.
- версия кластерной конфигурации.
Если качество узлов различается, то кластер делится на группы. В каждую группу входят узлы одинакового качества. Одновременно в кластере работает только одна из групп.
Конфигурация считается целостной, если все узлы группы используют одну версию конфигурации и видят одинаковый набор ресурсов. Узлы с другой версией или другим качеством в группу не попадают.
Сплит-брейн
Сплит-брейн (split-brain) — ситуация, когда узлы одинакового качества теряют связь друг с другом и образуют две или более независимые группы. Каждая группа считает себя рабочей. Если обе группы продолжат запускать ВМ на общем хранилище, данные ВМ могут повредиться.
Чтобы решить проблему сплит-брейна, кластер:
- Определяет группу с самым высоким качеством. Если качество у нескольких групп одинаковое, выбирает группу большего размера. Если группы одинакового размера, активной остаётся та группа, в которой находится мастер. Критерии оценки от высшей к низшей:
- Все ресурсы кластера в группе доступны.
- Размер группы меньше полного состава кластера, наблюдаемый IP-адрес доступен.
- Наблюдаемый IP-адрес недоступен, размер группы совпадает с полным составом кластера.
- Наблюдаемый IP-адрес недоступен, размер группы меньше полного состава кластера.
- Переводит оставшиеся группы в режим изоляции — узлы этих групп не запускают ВМ и не работают с общим хранилищем.
Например, пять узлов разделились на две группы: по два и три узла. В первой группе доступен наблюдаемый IP-адрес, а во второй — нет. Поэтому кластер продолжает работать с первой группой, хотя в ней и меньше узлов.
Фенсинг и возврат узла
Фенсинг (fencing) — механизм изоляции аварийного узла. Его задача — гарантировать, что ВМ на этом узле остановятся и не будут работать с общим хранилищем, пока их копии запускаются на других узлах. Без фенсинга возможны сплит-брейн и повреждение данных. Фенсинг может быть жёстким и мягким:
- жёсткий фенсинг перезагружает узел. Это гарантирует изоляцию за заданное время, но ВМ завершаются аварийно, и данные внутри гостевой ОС могут потеряться;
- мягкий фенсинг сначала пытается штатно выключить ВМ, а после успешного выключения сообщает об изоляции без перезагрузки узла. Это снижает риск потери данных, но не гарантирует изоляцию: ВМ может не успеть выключиться за отведённое время.
Фейлбэк (failback) — возврат узла в кластер после аварии. Политика фейлбэка определяет, вернётся узел автоматически или будет ждать команды администратора. При автоматическом возврате узел проверяет свои ресурсы и запрашивает мастера вернуть его в группу. При ручном возврате узел остаётся изолированным до команды администратора. Кластер не возвращает ВМ на узел автоматически: они остаются на узлах, где были запущены.
Политики фенсинга и фейлбэка администратор выбирает в настройках отказоустойчивости.
Порядок включения отказоустойчивости
- Администратор выбирает:
- ВМ для защиты (или включает политику защиты всех ВМ, в том числе новых).
- Основное и дополнительные хранилища.
- Наблюдаемый IP-адрес.
- Политики фейлбэка и фенсинга.
Подробнее о настройках см. в статье Настройка отказоустойчивости.
- Платформа устанавливает и запускает агентов на выбранных узлах. Установка занимает примерно от 1 до 10 минут и зависит, в первую очередь, от количества узлов и типа основного хранилища.
- Узлы кластера проверяют своё качество, формируют группы и выбирают мастера.
- ВМ получают статус защиты.
- Кластер запускает мониторинг ВМ.
Диагностика
Основные компоненты
Логи
Чтобы изменить уровень логирования службы ha-daemon, выполните команду:
/opt/ispsystem/ha-daemon/bin/ha-daemon --log-level=<level> --save && systemctl restart ha-daemonПояснения к команде:
<level>— требуемый уровень логирования. Возможные варианты:trace— детальная информация о каждой операции;debug— детальная отладочная информация;info— основные события, отражающие работу системы;notice— важные события;warn— предупреждения о потенциальных проблемах;err— информация об ошибках.