Мой опыт с Strangler Fig(положительный)

смешное изображение(наверное)смешное изображение(наверное)

Переписать систему с нуля и выкатить одним днём почти всегда плохая идея. Есть способ лучше. Он называется Strangler Fig, или по‑русски «фикус‑душитель». Я покажу, как он работает на практике, и расскажу про моменты, где лично у меня всё пошло не по плану.

Какую проблему вообще этот паттерн решает? В моём случае он помогает просто, структурировано, безопасно и удобно перенести систему с монолита на микросервисы без даунтайма. Также паттерн подходит для замены части системы на SaaS или, к примеру, для разбивки на модульный монолит. Но у меня речь пойдёт о переносе с монолита на микросервисы.

Какая задумка у паттерна? Всё достаточно просто: для начала мы мысленно находим самый не связанный с монолитом кусок системы (например, я для начала выделял из системы функционал чатов, так как это была самая новая фича на тот момент и самая небольшая по объёму), а затем потихоньку его выносим. Но при этом делаем это через фасад (или прокси, кому как удобнее) — в моём случае фасадом выступал сам монолит, который перенаправлял запросы сервису и исполнял функцию BFF.

Если быть конкретным, то принцип выглядит следующим образом.

  1. Поначалу у нас есть только монолит, и клиент обращается к нему.

  2. Мы выносим сервис (при этом в монолите ничего не меняем пока что).

  3. Добавляем запись в сервис (чтобы, когда клиент, например, создавал сделкузапись/сообщение в чат, то записывалось сразу в 2 места — монолит и сервис).

  4. Смотрим, что всё нормально и что данные, которые записывает монолит и сервис, совпадают.

  5. Добавляем чтение в сервис (чтобы, когда клиент запрашивает сделкузапись, то сервис тоже реагировал на это и делал попытку отдать сделку/запись/сообщение). Это нужно, чтобы вы могли проверить, что те методы чтения, которые вам необходимы, в сервисе работают корректно.

  6. Заменяем функционал монолита сервисом.

Я делал следующим образом. В env монолита была переменная, у неё было 3 значения: mono, dual и svc. При mono использовался монолит, при дуал запись велась и в монолит, и в сервис, а при svc уже всё полностью переходило на сервис, но при этом можно было в любой момент откатить назад путём замены значения переменной. Похожая переменная была и для чтения.

То есть по схеме, описанной выше, мы сначала работаем, когда у нас обе переменные в режиме mono, затем для переменной записи включаем dual и наблюдаем, что всё правильно сохраняется, что вы ничего не забыли. После этого для переменной чтения включаем dual и смотрим, что ответы сервиса совпадают с ответами монолита. После того как всё проверили и всё совпало, можно переходить к svc‑режиму.
Ну и когда уже сервис настоялся, вы его по 200 раз прогнали тестами, на 100% убедились, что он рабочий и ничего не поменялось, очищаете монолит от старого кода.

Я на первое время ещё и оставлял монолит в shadow‑режиме, также через переменную в env. Суть такая: запись и чтение остаются в режиме svc, однако монолит продолжает выполнять те же самые действия и в фоне сравнивать, что результаты совпадают.

Тут мы можем плавно перейти к подводным камням, которые возникали у меня при переносе.

У dual‑write есть одна проблемка — когда запись идёт в 2 системы, то одна может пропасть, другая дублироваться или что‑то подобное. Для дедупликации я лично использовал дедупликацию по event_id в консьюмерах (и в монолите, и в сервисе. Я, кстати, использовал Kafka как шину данных во всём проекте), а вот для решения проблемы пропадания нужно определить одну из систем как источник истины. Я выбирал монолит.
Также есть проблема с надёжностью доставки: простой HTTP может спокойно теряться, если сервис деплоитсялежитпросто сетевой сбой. Т. к. я изначально проектировал архитектуру на основе transactional outbox, то смог этого избежать.
Внимательный читатель тут же задастся вопросом: outbox же помогает избежать потери записи, но не доставки.
Я решал это так:

  1. transactional outbox — чтобы уже 100% не терять запись;

  2. после коммита автоматический dispatch;

  3. параллельно плановые воркеры подбирают всё, что не задиспатчилось;

  4. ретраи с экспоненциальным backoff и dead‑letter;

  5. страховочный reconcile.

Описанное выше — это основа, там ещё много чего накручено, но это уже повод для отдельной статьи; эта статья про Strangler Fig.

Проблема нумеро дуо — когда сервис возвращает данные в своём формате, а старый код монолита и фронт ждут другой, между ними нужен переводчик. Это и есть адаптер. В моём случае (что на входе → что на выходе, например: сервис отдаёт notification.id вложенным объектом, а монолит и клиенты ждут плоский notification_id).
Какие варианты решения? Или переписывать всех потребителей сразу, или получать ошибки в местах, где никто их не ждал, или делать адаптер. Я думаю, выбор при трудоёмком переносе очевиден (возможно, есть ещё способы, но я выбрал такой). ЫЫшка подсказала, что по‑умному это называется anti‑corruption layer, пускай будет так. Факт остаётся фактом: после перехода на сервис необходимо эти адаптеры планово убирать, а потребителей переписывать. Иначе остаётся «лишний» слой, который нужно будет каждый раз учитывать.

Проблема 3, которая была у меня, — отставание данных. Когда данные доезжают до копии для чтения через события, между действием и обновлением экрана есть задержка. Человек нажал кнопку, всё записалось, а на экране старые данные. Я решал это при помощи статуса «синхронизируется» (да, это простое решение, не забываем про KISS). Optimistic update я не хотел использовать, ибо, как мы помним из книжки про Кандида, оптимизм — такое себе решение в наших земных реалиях.

Как из отставания данные могут переходить в потерю.
Монолитный консьюмер строил детали события, обращаясь к read‑model сервиса. Но эту read‑model наполнял другой консьюмер в другой группе. К моменту, когда монолитный консьюмер обрабатывал событие, проекция ещё не содержала некоторые поля, и детали молча терялись.
Решение: событие должно быть самодостаточным (содержать всё нужное внутри), а не отправлять консьюмера за данными в отстающую проекцию. Иначе нужен явный механизм ожидания по версии или TTL (вообще есть ещё интересные решения, но о них когда‑нибудь потом).

Ещё было много проблем с реалтаймом (я делал на Laravel Echo), и он у меня постоянно отваливался. Честно говоря, какого‑то конкретного решения я не нашёл, да и причин было много, поэтому просто запарился + запарил ЫЫшку, чтобы накатить очень большое кол‑во E2E‑тестов (по тесту на каждый возможный сценарий) и просто гонять их для выяснения ошибок. Признаюсь честно, мне не очень нравится, что я не нашёл здесь более простого пути, однако считаю, что раз помогло, значит, уже неплохо.

Подводя итоги, хочется сказать, что паттерн мне очень понравился. Однако я был удивлён, что, несмотря на то что Strangler Fig крайне полезен при подобном переходе, а подобные переходы с монолита на микросервисы достаточно часты в последнее время в СНГ и не только, при всём при этом информации о паттерне не так уж и много (а может, я просто в глаза люблюсь).

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев