Продолжаем рубрику «Лучшие практики SpaceVM 6.5.9». В этой статье мы расскажем о настройке GFS2 с использованием Fibre Channel (FC).
Схемы инфраструктуры для КТ GFS2
Общая информация
При построении кластера SpaceVM с использованием разделяемого хранилища GFS2 и внешней системы хранения данных (СХД), подключённой через протокол FC, рекомендуется организовать изолированные сети для различных типов трафика:
-
Встроенная сеть управления mgmt — для администрирования и мониторинга кластера.
-
Кластерный транспорт GFS2 — для обеспечения работы файловой системы и синхронизации данных между узлами кластера.
-
Сеть для переноса виртуальных машин (ВМ) и копирования дисков — для операций, связанных с миграцией ВМ и управлением данными.
-
Сеть СХД (FC) — для подключения к внешней системе хранения данных через протокол FC.
Представленная сегментация сетей позволяет повысить надёжность и производительность кластера, а также обеспечить безопасность данных.
Внимание
Категорически не рекомендуется использование HDD-дисков для разделяемого хранилища GFS2. GFS2 создаёт высокую нагрузку при записи служебных данных (журналирование, метаданные, блокировки DLM для восстановлений при сбоях). HDD-диски очень медленно выполняют подобные операции из-за высоких задержек, что приводит к резкому падению производительности.
Для корректной работы хранилища GFS2 и поддерживания высокой производительности необходимо использовать твердотельные накопители (SSD).
Для всех сетей рекомендуется дублирование коммутаторов, чтобы обеспечить бесперебойную работу в случае отказов оборудования или потери связности каналов. Для сетей внутри SpaceVM (mgmt, перенос ВМ и дисков, кластерный транспорт GFS2) дублирование должно выполняться с использованием агрегированных интерфейсов типа Active-Backup средствами SpaceVM.
Использование механизмов LACP/LAGG на уровне коммутаторов не рекомендуется, поскольку это может вызывать конфликты в работе кластерного транспорта GFS2.
Для сетей СХД рекомендуется использование технологии Multipath.
Для обеспечения корректной и надёжной работы кластера SpaceVM с разделяемым хранилищем GFS2, которое базируется на внешней СХД, подключённой через протокол FC, необходимо создать отказоустойчивую сетевую инфраструктуру. Это позволит минимизировать риски сбоев и обеспечить непрерывность работы кластера.
Схемы инфраструктуры с использованием FC
Примечание
На схемах IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами.
Необходимо производить настройку в соответствии с существующей инфраструктурой.
1. Рекомендованная схема
Рекомендованная схема инфраструктуры

Типы портов FC
Подробнее ознакомиться с информацией о типах портов FC можно по ссылке.
2. Схема без дублирования коммутаторов
Схема без дублирования коммутаторов

Риски отсутствия дублирования коммутатора
-
Отсутствие резервирования делает коммутатор единственной точкой отказа для всей сетевой инфраструктуры, объединяющей узлы кластера и систему хранения данных.
-
Выход коммутатора «из строя» приведет к потере всеми узлами кластера доступа к общему хранилищу, что вызовет немедленное прекращение работы файловой системы GFS2. Это может стать причиной потери данных, нарушения целостности файловой системы и недоступности сервисов.
-
Обслуживание или обновление единственного коммутатора потребует полного отключения сети между кластером и СХД. В высокодоступных средах важно поддерживать работоспособность сервисов даже при техническом обслуживании. Наличие нескольких коммутаторов позволит обновлять оборудование последовательно, сохраняя непрерывность сетевого соединения.
3. Не рекомендованная схема с подключением FC напрямую к СХД
Не рекомендованная схема с подключением FC напрямую к СХД

Риски использования FC напрямую без FC-коммутатора
-
Могут возникать трудности с обнаружением устройств и LUN, так как вендоры не проверяют все возможные конфигурации прямого подключения. Поддержка таких сценариев ограничена.
-
Несоответствие поддерживаемых максимальных скоростей при прямом подключении может стать причиной нестабильной работы соединения и ошибок передачи данных.
-
Использование разных FC-адаптеров (модели или производители) может привести к несовместимости и нестабильной работе соединения из-за конфликтов поддерживаемых скоростей, протоколов или функций.
-
Могут быть ограничены или недоступны ключевые функции fabric: зонирование, многопутевое резервирование и автоматическое переключение при отказе канала (failover).
-
Могут не поддерживаться продвинутые технологии NPIV, VSAN и QoS, что снижает отказоустойчивость, безопасность и управляемость СХД.
Разделение сетей и QoS
Рекомендуется разделять трафик по VLAN и настраивать механизм QoS для приоритизации передачи данных на каждой сети.
Риски отсутствия разделения по коммутаторам, VLAN и QoS
-
Потери или задержки в трафике FC могут привести к ошибкам записи в файловую систему GFS2 («грязная запись»). Это может вызвать:
-
срабатывание защитной функции (перезапуск узлов);
-
повреждение файловой системы с риском утраты данных.
-
-
Задержки в трафике сети mgmt могут нарушить доступность узлов для контроллера управления, что может привести к их перезапуску.
-
Проблемы в кластерном транспорте могут вызвать потерю кворума кластера GFS2, что также приведет к перезагрузке узлов.
-
Потеря или задержки в сети для переноса дисков или ВМ могут остановить важные сервисы во время выполнения операции «живой» миграции.
Варианты построения инфраструктуры с использованием FC
1. Вариант с четырьмя коммутаторами
Вариант с четырьмя коммутаторами основан на рекомендованной схеме.
Предлагаемый вариант включает использование двух Ethernet-коммутаторов 1G и двух коммутаторов Fibre Channel:
-
Два дублирующих коммутатора для сети FC (Fibre Channel).
-
Два коммутатора 1G для следующих сетей:
-
mgmt + перенос ВМ и дисков.
Первый порт каждого серверного узла подключается к первому коммутатору в режиме Active, а второй — ко второму коммутатору в резервном режиме Backup. Агрегация каналов осуществляется средствами SpaceVM в режиме Active-backup, и не требует специальной настройки коммутаторов.
Коммутаторы должны быть соединены между собой.
-
Кластерный транспорт GFS2.
Каждый узел подключается к отдельному порту первого коммутатора. Подключение к узлам на втором коммутаторе не требуется.
В случае сбоя первого коммутатора сеть автоматически переключится в совмещенный режим с сетью управления mgmt и переноса ВМ/дисков. Переключение обеспечивается средствами SpaceVM и протоколом SCTP.
-
2. Альтернативный вариант с двумя коммутаторами (1G и FC)
Примечание
Возможно построить кластер SpaceVM с разделяемым хранилищем GFS2 на базе внешней СХД, подключенной по протоколу FC, используя всего два коммутатора: один Ethernet 1G и один FC. Этот подход экономичнее предыдущего, однако менее отказоустойчив.
Вариант с одним коммутатором 1G и одним FC основан на схеме без дублирования коммутаторов.
Описание схемы:
-
Коммутатор 1G используется для следующих целей:
-
mgmt + перенос ВМ и копирование дисков.
-
Кластерный транспорт GFS2.
Рекомендуется выделять отдельные порты на каждом узле либо создавать отдельный VLAN.
-
-
Коммутатор FC предназначен исключительно для работы с сетью хранения данных Fibre Channel.
Подготовка инфраструктуры для КТ GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
-
Создать bond для сети mgmt, выполнив в CLI следующие команды на всех узлах:
net conf ports set-default-bond -n bond_mgmt -i eno1 eno2 -m active-backup -l offnet conf vlan set -i bond_mgmt -m trunk -
Создать на контроллере внешнюю сеть
GFS2для кластерного транспорта с указанием подсети 10.0.17.0/24.-
Перейти в Web-интерфейс SpaceVM в раздел основного меню Сети — Внешние сети.
-
Нажать кнопку Создать.
-
На первом этапе создания сети указать название сети
GFS2и адрес10.0.17.0/24. -
На втором этапе создания сети поочередно добавить необходимые серверы.
-
На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.
-
На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.
Внимание
Необходимо обеспечение стабильности канала в сети кластерного транспорта. Для этого необходимо исключить неприоритетный трафик, который может негативно влиять на функционирование системы, и гарантировать неизменную пропускную способность канала.
-
-
Создать для каждого сервера внутренний интерфейс во внешней сети
GFS2.-
Перейти на вкладку Подключённые серверы созданной сети
GFS2. -
Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой
Окно создания внутреннего интерфейса сети GFS2
Созданная сеть GFS2

-
Создание файловой системы GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Подключение блочного хранилища FC
Для подключения нового блочного хранилища к SpaceVM необходимо перейти в пункт основного меню Серверы — — Хранилища — Блочные хранилища и нажать кнопку Сканировать.
Интерфейс меню Блочные хранилища
При открытии вкладки основного меню Хранилища — Сетевые хранилища — Блочные — — Информация в блоке Серверы будет отображен список серверов, на которых подключено данное Блочное сетевое устройство.
При сканировании Блочное хранилище добавляется ко всем серверам, которые физически подключены к нему.
В пункте меню LUNs отображаются доступные LUN. В случае необходимости возможно произвести повторное сканирование LUN нажатием кнопки Сканировать.
Создание GFS2
Создание GFS2 возможно двумя способами:
-
Самостоятельное создание КТ и пула данных GFS2.
-
Создание КТ и пула данных GFS2 из единого интерфейса.
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Самостоятельное создание КТ и пула данных GFS2
Для создания кластерного транспорта необходимо:
-
Перейти в пункт основного меню Хранилища — Кластерные хранилища — Кластерные транспорты.
Интерфейс меню Кластерные транспорты

-
Нажать кнопку Создать.
Кнопка создания Кластерного транспорта

-
Заполнить следующие поля:
-
Название.
-
Тип.
Необходимо указать тип файловой системы
GFS2.
Внимание
В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.
Создание Кластерного транспорта



-
После создания кластерного транспорта следует создать пул данных GFS2. Для этого необходимо:
-
Перейти в пункт основного меню Хранилища — Пулы данных и нажать кнопку Добавить пул.
-
В открывшемся окне заполнить следующие поля:
-
Выбрать тип пула.
Установить значение:
gfs2. -
Выбрать пул ресурсов.
-
Название пула данных.
-
Выбрать LUN.
Пул данных будет создан на выбранном LUN.
Допускается использование только LUN с файловой системой GFS2. Если тип ФС иной, то необходимо отформатировать LUN в ФС GFS2 самостоятельно.
-
Название каталога.
Название каталога для пула данных.
-
-
Нажать кнопку ОК.
Создание КТ и пула данных GFS2 из единого интерфейса
Единый интерфейс создания КТ и пула данных GFS2 доступен с версии SpaceVM 6.5.4 и выше.
Для создания кластерного транспорта и пула данных GFS2 из единого интерфейса необходимо:
-
Перейти в раздел Хранилища — Пулы данных.
-
Нажать кнопку Добавить пул.
-
В открывшемся окне заполнить следующие поля:
-
Выбрать тип пула.
Установить значение:
gfs2. -
Выбрать кластер.
Необходимо выбрать кластер, на котором ранее был создан кластерный транспорт.
-
Выбрать пул ресурсов.
-
Кластерный транспорт.
Если был выбран необходимый кластер, то данное поле будет заполнено автоматически.
-
Название пула данных.
-
Выбрать LUN.
Необходимо выбрать LUN ранее подключенного Блочного хранилища.
-
Название каталога.
Название каталога для пула данных.
-
Выбрать внешнюю сеть.
Необходимо выбрать ранее созданную внешнюю сеть
GFS2. -
Форматировать LUN.
При активной опции Форматировать LUN выбранный LUN будет отформатирован в файловую систему GFS2.
Если опция Форматировать LUN не активна, на диске обнаружена ФС GFS2 и на данном LUN обнаружены ранее созданные пулы данных, то все найденные пулы будут также добавлены в список пулов данных.
Внимание
Форматирование LUN удалит все данные на нем.
-
-
Нажать кнопку ОК.
Диагностика GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
Проверка состояния ФС
Групповой запрос
Указанные ниже команды можно выполнять групповым запросом, используя команду node nodes-cli .
Проверка состояния ФС GFS2 производится с помощью команд CLI:
-
Вывод состояния кластерного транспорта, кворума и службы блокировок:
storage gfs2Вывод команды storage gfs2

Вывод не должен содержать ошибок.
-
Конфигурация службы блокировок DLM:
storage dlm-confЭталонный вывод команды storage dlm-conf

-
Вывод файла
hostsдля сопоставления узлов с именем узла:hostsНа всех узлах, объединенных в Кластерный транспорт, в файле
hostsдолжны быть внесены описания «ip имя узла» всех задействованных узлов Кластерного транспорта трафика управления и трафика данных. -
Вывод информации о подключенных и доступных LUNs:
storage multipath -
Вывод доступных FC LUNs:
storage fc-luns -
Сканирование доступных ФС и блочных хранилищ:
storage discovery
Проверка состояния служб
Для проверки состояния служб, связанных с работой GFS2, необходимо перейти в командную строку подсистемы. Для этого необходимо выполнить команду CLI:
shell
Проверка служб осуществляется с помощью следующих команд:
systemctl status corosync.service
Вывод команды systemctl status corosync.service при корректно работающей службе corosync
systemctl status dlm.service
Вывод команды systemctl status dlm.service при корректно работающей службе dlm
systemctl status storage-gfs2-gfs2_.mount
Вывод команды systemctl status storage-gfs2-gfs2_.mount при корректно смонтированном LUN
Каждому примонтированному LUN соответствует одна служба. Для проверки всех LUNs необходимо последовательно выполнять указанную команду, поочередно указывая примонтированных LUNs.
В некоторых случаях значение lockspace может не совпадать c именем директории точки монтирования.
systemctl status sbd.service
Вывод команды systemctl status sbd.service при корректно работающей службе sbd
Диагностика проблем и выявление инцидентов
Первичная диагностика состояния ФС GFS2 проводится в CLI с помощью команд, описанных в разделе Проверка состояния служб.
Ниже приведены возможные ошибки, причины их возникновения, а также действия, которые необходимо произвести для их исправления.
Возможные ошибки
Сбой в работе DLM, вызванный отсутствием/затиранием файла конфигурации
-
Обнаружение ошибки:
Зафиксирована ошибка в выводе команды shell:
dmesg -TВывод команды dmesg -T

-
Причина возникновения ошибки:
Отсутствие данных в файле конфигурации.
Просмотр файла конфигурации

-
Исправление:
-
Внести изменение в файл конфигурации
/etc/dlm/dlm.confсогласно эталону.Эталонный вариант корректного файла конфигурации

-
Перезагрузить систему.
-
Сбой при установлении соединения corosync и отказа на узле
-
Обнаружение ошибки:
-
Зафиксирована ошибка в статусе
corosync.serviceили log-файле/var/log/corosync/corosync.log.Вывод команды systemctl status corosync.service

-
Зафиксирована ошибка в выводе команды
journalctl -u corosyncилиjournalctl --no-pager | grep corosync.Вывод команды journalctl -u corosync

-
-
Диагностика ошибки на узлах:
Информация на каждом из узлов должна содержать информацию о всех узлах для корректного функционирования GFS2.
Команда CLI:
node nodes-cli 'hosts' -
Причина возникновения ошибки:
Несоответствие файла
hosts. Отсутствие записей, необходимых для функционирования связи между узлами. -
Исправление:
Внести изменение в файл
/etc/hostsсогласно данным, расположенным на Контроллере. Для этого необходимо:-
Перейти в shell:
shell -
Открыть на редактирование файл
/etc/hosts:nano /etc/hosts -
Внести изменения.
-
Сбой при монтировании ФС GFS2 в результате повреждения ФС, вызванного сбоем
Внимание
При срабатывании ограждения необходимо поочередно произвести размонтирование примонтированных ФС.
Не допускается использование кнопки Размонтировать. В случае ограждения все узлы, на которых была примонтирована ФС, будут немедленно перезагружены.
-
Обнаружение ошибки:
-
Команда CLI для получения статусов кластерного хранилища GFS2 на любом из узлов:
node nodes-cli 'storage gfs2'Вывод команды node nodes-cli ‘storage gfs2’

-
-
Исправление:
-
Если сбой произошел не на всех узлах, необходимо остановить или перенести все ВМ и виртуальные диски, расположенные на данном хранилище.
-
Поочередно на каждом из узлов:
-
Остановить или перенести все ВМ и виртуальные диски, задействованные на узле на другие совместные пулы данных.
-
Удалить запись монтирования поврежденной ФС из
/etc/fstabна узле. -
Размонтировать ФС на узле (не допускается использование кнопки Размонтировать).
-
В случае, если ограждение узла не произошло, необходимо произвести перезагрузку.
-
-
После перезагрузки всех узлов необходимо запустить команду для исправления ФС, используя команду shell любого из узлов:
fsck.gfs2 -yПример ввода fsck.gfs2 -y
fsck.gfs2 -y /dev/mapper/3600143801259dcf30000b00000220000 -
После завершения исправления ФС необходимо поочередно примонтировать ФС на узлах, используя кнопки управления, расположенные напротив серверов в разделе основного меню Хранилища — LUNs — .
-
Размонтирование LUNs и удаление КТ GFS2
Примечание
Все IP-адреса, подсети, номера VLAN и наименования интерфейсов являются примерами. Необходимо производить настройку в соответствии с инфраструктурой.
-
Освободить пулы данных GFS2, используемые в удаляемом кластерном транспорте, от ВМ и виртуальных дисков.
-
Перейти к выбранным пулам данных и нажать Извлечь для сохранения данных на LUN и его удаления или Удалить для удаления пула данных вместе с данными.
-
Открыть пункт основного меню Хранилища — LUNs.
Интерфейс меню LUNs

-
Поочередно открыть LUNs, относящиеся к ФС GFS2, которые расположены на отключаемом Кластерном транспорте/FC-хранилище.
Информация о LUN

-
На SpaceVM версии 6.5.0 и ниже нажать кнопку Размонтировать для размонтирования ФС на узлах, на которых подключен данный LUN.
Размонтирование LUN на SpaceVM 6.5.0 и ниже

На SpaceVM версии 6.5.1 и выше нажать кнопку

для размонтирования ФС на узлах, на которых подключен данный LUN.
Размонтирование LUN на SpaceVM 6.5.1 и выше

После выполнения операции размонтирования статусы напротив серверов изменятся на не примонтирован.
Внимание
Перед выполнением следующего шага в системе должны быть:
-
Выключены все виртуальные машины.
-
Отключены все виртуальные диски, расположенные на связанных пулах данных.
-
Отключены все связанные пулы данных.
-
-
Отключить все сервера от LUN с помощью кнопки
Отключение серверов от LUN
-
Опционально. После завершения операции отключения серверов необходимо нажать кнопку Удалить для удаления LUN из системы.
Удаление LUN


-
Перейти в пункт основного меню Сетевые хранилища — Блочные.
-
Открыть Блочное хранилище, на котором расположен ранее отключенный LUN.
Окно информации о Блочном хранилище

-
Отключить все сервера от хранилища, на котором располагался LUN с помощью кнопки
Отключение серверов от Блочного хранилища
-
Опционально. Нажать кнопку Удалить для удаления хранилища из системы.
-
Перейти в пункт основного меню Хранилища — Кластерные хранилища — Кластерные транспорты.
Список Кластерых транспортов

-
Выбрать Кластерный транспорт ФС GFS2, который был настроен для использования LUN ранее удаленного блочного хранилища.
Окно информации о Кластерном транспорте

-
Нажать кнопку Удалить для удаления кластерного транспорта из системы.
Удаление Кластерного транспорта




По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.
Следите за обновлениями: впереди новые практические руководства по работе со SpaceVM.
Источник: habr.com