Настройка Gluster

Процедура развертывания высокодоступного распределённого хранилища

В данной статье описана процедура развертывания высокодоступного распределённого хранилища для хранения дисков, ISO-образов и резервных копий виртуальных машин на локальных накопителях серверов с использованием кластерной файловой системы GlusterFS в инфраструктуре SpaceVM.

Предлагаемое техническое решение обеспечивает устойчивость к одновременному отказу отдельного сервера в кластере, одиночного жесткого диска внутри репликационного блока («брика») на отдельном узле, а также одного сетевого коммутатора без риска утраты данных и прерывания функционирования виртуальных машин в кластере.

Приведенный пример демонстрирует создание пула данных с доступным объемом около 3,5 Гбайт. В реальных условиях объем можно масштабировать, например, до 3,5 Тбайт полезного пространства.

Планирование серверов и дисков

Организация узлов и дисков в кластере

Данное решение предназначено для функционирования в кластере от трёх узлов. Один или два сервера могут выступать в роли Controller+Node. При настройке репликации назначение ролей Master и Slave контроллеру выполняется в соответствии с разделом.

Для организации хранилища потребуется следующее оборудование:

  • По десять одинаковых SSD-дисков объёмом от 1 ТБайт каждый — предназначены для хранения данных виртуальных машин.

  • Два SSD-диска от 128 ГБайт — предназначены для хранения метаданных (для раздела арбитра).

При этом пять дисков подключаются к каждому из двух произвольных узлов кластера, а оставшиеся два диска — к третьему произвольно выбранному узлу.

Планирование сетевой инфраструктуры

Организация сетевой инфраструктуры

В файловой системе GlusterFS одна и та же сеть применяется одновременно для передачи служебной информации, обмена данными между блоками (bricks) тома и доступа клиентов (например, виртуальных машин), если клиентские машины расположены на другом физическом сервере относительно самого хранилища.

Общие рекомендации

  1. Пропускная способность сети для повышения производительности кластера — от 10 Гбит/с.

  2. Два от 10G-коммутатора:

    • основной;

    • резервный.

  3. Два от 1G-коммутатора:

    • для встроенной сети управления mgmt SpaceVM;

    • резервный.

  4. Дополнительно на основном от 1G-коммутаторе создать:

    • внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;

    • внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.

Рекомендуемая схема сетевой инфраструктурыimg

Использование двух 10G-коммутаторов

Возможно использование только двух 10G-коммутаторов (основного и резервного). Но при этом необходимо создать следующие сети:

  • встроенную сеть управления mgmt в отдельном VLAN;

  • внешнюю сеть для КТ Gluster в отдельном VLAN;

  • внешнюю сеть для переноса ВМ и дисков в отдельном VLAN;

  • внешнюю сеть для трафика ВМ и дисков в отдельном VLAN.

Cоздание агрегированных интерфейсов и внешней сети

Порядок действий

  1. Создать на контроллере внешнюю сеть gluster для подключения кластерного хранилища с указанием подсети 10.0.20.0/24 и агрегированного интерфейса:

    • Перейти в раздел основного меню Сети — Внешние сети Web-интерфейса SpaceVM.

    • Нажать кнопку Создать.

    • На первом этапе создания сети указать название сети gluster и адрес 10.0.20.0/24.

    • На втором этапе создания сети поочередно добавить необходимые серверы, а также добавить каждому из них агрегированный интерфейс.

      Второй этап создания внешней сетиimg

    • На третьем этапе создания сети настроить VLAN, MTU, а также при необходимости настроить резервирование адресов.

    • На четвертом этапе создания сети проверить корректность параметров создаваемой сети и нажать кнопку ОК.

  2. Создать для каждого сервера внутренний интерфейс во внешней сети gluster:

    • Перейти на вкладку Подключённые серверы созданной сети gluster.

    • Поочередно выбрать каждый сервер и добавить внутренний интерфейс кнопкой

      imgОкно создания внутреннего интерфейса внешней сетиimg

Созданная внешняя сетьimg

Cоздание кластерного транспорта Gluster

Порядок действий

Для создания кластерного транспорта необходимо:

  1. Перейти в раздел основного меню Хранилища — Кластерные хранилища — Кластерные транспорты Web-интерфейса SpaceVM.

    Кластерные транспортыimg

  2. Нажать кнопку Создать.

    Создание кластерного транспортаimg

  3. В открывшемся окне заполнить следующие поля:

    • Название.

    • Тип.

      Указать тип файловой системы: Gluster.

    Внимание

    В случае, если для кластерного транспорта настроена внешняя сеть, необходимо активировать опцию Выбрать внешнюю сеть и указать ее.

    Создание КТ Glusterimg

  4. В меню Хранилища — Кластерные хранилища — Кластерные транспорты проверить правильность создания КТ.

    Информация о КТimg

Создание zfs-бриков

Порядок действий

На трех узлах необходимо создать три репликационного блока (брика, brick).

Два брика — для полезных данных и один брик — арбитр.

  1. Перейти в раздел основного меню Хранилища — ZFS Web-интерфейса SpaceVM, нажать кнопку Добавить ZFS и создать брик для арбитра zfs_arbiter на первом узле (два диска типа mirror с полной избыточностью; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать первый узел.

    • Выбрать тип пула.

      Установить значение: mirror.

    • Выбрать локальные устройства.

    • Ввести название.

      Название арбитра: zfs_arbiter.

    • Нажать кнопку ОК.

    Пример создания zfs_arbiterimage

  2. Нажать кнопку Добавить ZFS и создать основной брик полезных данных zfs_brick_1 на втором узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать второй узел.

    • Выбрать тип пула.

      Установить значение: raidz1.

    • Выбрать локальные устройства.

    • Ввести название.

      Название брика: zfs_brick_1.

    • Нажать кнопку ОК.

    Пример создания zfs_brick_1image

  3. Нажать кнопку Добавить ZFS и создать дополнительный брик полезных данных для зеркала zfs_brick_2 на третьем узле (два диска типа raidz1 по схеме 4+1; отказ одного диска не приведет к отказу брика).

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать сервер.

      Указать третий узел.

    • Выбрать тип пула.

      Установить значение: raidz1.

    • Выбрать локальные устройства.

    • Ввести название.

      Название брика: zfs_brick_2.

    • Нажать кнопку ОК.

    Пример создания zfs_brick_2

  4. Перейти в раздел основного меню Хранилища — ZFS и проверить правильность создания zfs-бриков.

    Информация о zfs-бриках

Создание gluster-тома (на примере реплики с арбитром)

Порядок действий

Внимание

Не рекомендуется использование томов типа Dispersed и Distributed Dispersed в связи с потенциальной возможностью потери данных при ограждении узлов SpaceVM.

  1. Перейти в раздел основного меню Хранилища — Кластерные хранилища — Тома Web-интерфейса SpaceVM, нажать кнопку Создать и создать gluster-том.

    В открывшемся окне заполнить поля следующим образом:

    • Выбрать тип тома.

      Установить значение: Реплицированный.

    • Разделы (ZFS пулы).

      Выбрать два брика, на которых будут храниться полезные данные. Брик-арбитр не участвует.

    • Размер записи.

      Установить значение: 128 Кбайт.

    • Значение репликации тома.

      Установить значение: 2.

    • Нажать кнопку ОК.

      Пример создания томаimage

    Внимание

    Фактически занятое на томе место зависит от типа zpool-бриков, входящих в том, и размера записи тома. Особое внимание требуется при выборе малых размеров записи во время создания томов из бриков (или содержащих хотя бы один брик) с типом raidz, raidz2 (пример в табице ниже).

    raidz1, raidz2 из 4 дисков:

    Размер записи, Кбайт

    Объём полезных данных, Мбайт

    Занятый объём, Мбайт

    8

    500

    760

    16

    500

    757

    32

    500

    574

    64

    500

    574

    128

    500

    528

  2. В разделе основного меню Хранилища — Кластерные хранилища — Тома выбрать созданный том и проверить, что он состоит из двух бриков с репликацией 2.

    Информация о томеimgИнформация о брикахimg

  3. Во вкладке Разделы (ZFS пулы) добавить третий брик на третьем узле в качестве арбитра, нажав кнопку
    Добавить раздел.

    В открывшемся окне заполнить поля следующим образом:

    • Значение репликации тома.

      Установить значение: 3.

    • Наличие раздела арбитра в реплицированном томе.

      Установить значение: 1.

    • Разделы (ZFS пулы).

      Выбрать брик-арбитр.

    • Нажать кнопку ОК.

    Добавление разделовimg

  4. Проверить успешность добавления брика. Данный брик предназначен исключительно для хранения метаданных, обеспечивающих защиту хранилищ от эффекта split-brain в случае потери работоспособности одного из узлов с полезными данными.

    Информация о разделахimage

  5. Проверить тип бриков. Для этого необходимо во вкладке Разделы (ZFS пулы) нажать кнопку Получение расширенных сведений о томе.

    В раскрывающемся списке бриков поочередно выбрать:

    • storages/zfs/zfs_arbiter и проверить тип брика в поле type.

      Тип брика zfs_arbiterimage

      Должно быть Arbiter.

    • storages/zfs/zfs_brick_1 и проверить тип брика в поле type.

      Тип брика zfs_brick_1image

      Должно быть Brick.

    Аналогично проверить storages/zfs/zfs_brick_2.

Добавление gluster-тома в пул ресурсов

Порядок действий

  1. Перейти в раздел основного меню Кластеры — Пулы ресурсов — — Пулы данных и нажать кнопку Добавить пул.

    Пулы данныхimage

  2. В открывшемся окне выбрать созданный gluster_tom и нажать кнопку ОК.

    Добавление пула данных

  3. Проверить, что пул появился в списке.

    Список пулов данныхimage

  4. Нажав на пул данных в списке, перейти к подробной информации о пуле gluster_tom. Проверить, что он доступен на всех узлах кластера.

    Информация о пуле данныхimage

По ссылкам на официальную документацию можно изучить дополнительные технические подробности и связанные настройки.

Следите за обновлениями: впереди новые практические руководства по работе со SpaceVM.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев