Я специально сломал Linux-сервер. Попробуйте найти причину раньше меня

Я разрабатываю тренажёр, в котором нужно разбираться с поломками серверов. Для этой статьи я воспроизвёл один из сценариев и записал результаты диагностики. Предлагаю пройти его вместе, но с небольшой форой: перед каждой следующей уликой можно остановиться и поставить собственный диагноз.

Итак, ваша роль — дежурный системный администратор. Сервис payments не может связаться с платёжным шлюзом и отвечает 503. Нужно найти причину и восстановить связь.

Сразу обозначу границы эксперимента. Платёжный шлюз — HTTP-мок: он отвечает на проверочный запрос, денег здесь никто не переводит. Команды systemctl и journalctl реализованы совместимыми учебными обёртками, которые управляют процессами и собирают их сообщения.

При этом запросы, ошибки приложения и результаты диагностических команд ниже получены при реальном запуске. Если я показываю только часть вывода, это отдельно отмечено.

Читайте последовательно. В раскрывающихся блоках лежат следующие проверки и разбор. Если хотите поиграть в расследование, не открывайте их, пока не сформулировали свою гипотезу.

1. Сервис запущен, но работать не хочет

Начну с состояния процессов:

systemctl is-active payments dnsmasq
activeactive

Оба сервиса активны. То есть payments не просто забыли запустить. Но работающий процесс ещё не означает, что он выполняет свою задачу.

Проверяю его HTTP-эндпоинт:

curl -sS -i http://127.0.0.1:8080/health
HTTP/1.0 503 Service UnavailableServer: BaseHTTP/0.6 Python/3.11.2Date: Wed, 18 Nov 2026 05:52:49 GMTContent-Type: application/jsonContent-Length: 115{"status": "error", "gateway_error": "http://gateway.pay.internal:8443/ping: [Errno -2] Name or service not known"}

У приложения есть конкретная претензия к gateway.pay.internal. На этом шаге я не стал бы искать проблему в HTTP-коде 503: это ответ самого payments на неудачную проверку зависимости.

Посмотрю журнал:

journalctl -u payments -n 8 --no-pager

Из вывода оставлю одну строку с ошибкой; повторяющиеся сообщения опущены:

Nov 18 05:51:55 pay-01 python3[34]: ERROR: payment gateway check failed: http://gateway.pay.internal:8443/ping: [Errno -2] Name or service not known

Здесь нет ни отказа в соединении, ни ошибки сертификата. Приложение сообщает, что не смогло получить адрес по имени. Это сужает поиск, но ещё не объясняет причину.

Вопрос к вам: какие две проверки помогут отделить недоступность самого шлюза от проблемы обращения к нему по имени? Сначала выберите команды и ожидаемые результаты, затем переходите дальше.

2. Проверяем шлюз отдельно от приложения

Следующая проверка

В этой лаборатории я заранее знаю адрес мока из конфигурации стенда: 127.0.0.20, порт 8443. Проверю его напрямую. Все адреса 127.0.0.* здесь относятся к компонентам внутри одного контейнера.

curl --noproxy '*' -sS -i http://127.0.0.20:8443/ping
HTTP/1.0 200 OKServer: BaseHTTP/0.6 Python/3.11.2Date: Wed, 18 Nov 2026 05:52:50 GMTContent-Type: application/jsonContent-Length: 18{"gateway": "ok"}

Шлюз отвечает. Несмотря на номер порта, это именно HTTP, как и указано в URL приложения. TLS в этой проверке не участвует.

Такой результат подтверждает доступность конкретного эндпоинта по IP из нашего контейнера. Он ещё ничего не говорит о том, какой адрес получает приложение при обращении по имени.

Теперь спрошу DNS:

dig +short gateway.pay.internal
127.0.0.20

Ответ совпадает с адресом, по которому шлюз только что вернул 200.

На этом месте легко решить, что с поиском адреса всё хорошо, а проблема осталась внутри приложения. Но пока мы проверили только запрос, который сделал dig.

Вопрос к вам: достаточно ли успешного dig, чтобы закрыть гипотезу с поиском адреса? Как проверить, получает ли имя тот код, который выполняет запросы приложения? Остановитесь на минуту и выберите следующую проверку.

3. На одном сервере получаются разные ответы

Что получилось дальше

Сравню результат с системным поиском имён:

getent hosts gateway.pay.internal

Команда ничего не вывела и завершилась с кодом 2. Это зафиксированный результат, а не потерянная при копировании строка.

Итак, dig получает адрес, а getent — нет. Для проверки ещё ближе к приложению вызову поиск адреса из Python:

python3 -c 'import socket; print(socket.getaddrinfo("gateway.pay.internal", 8443))'

В stderr:

Traceback (most recent call last): File "", line 1, in  File "/usr/lib/python3.11/socket.py", line 962, in getaddrinfo for res in _socket.getaddrinfo(host, port, family, type, proto, flags): ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^socket.gaierror: [Errno -2] Name or service not known

Код завершения — 1. Ошибка совпадает с той, которую пишет payments.

Я использую здесь обе проверки осознанно. getent hosts полезен как проверка системного поиска имён, но его путь не следует считать полностью тождественным любому сетевому вызову. Отдельный вызов socket.getaddrinfo подтверждает, что в нашем Python-окружении проблема воспроизводится и без остального кода payments.

Теперь гипотеза «это просто баг приложения» выглядит слабее. Для воспроизведения ошибки не нужны ни его HTTP-обработчик, ни фоновый цикл проверки шлюза.

Вопрос к вам: как могут одновременно быть верны три наблюдения — шлюз доступен по IP, dig знает адрес, а системный поиск и Python его не получают? Сформулируйте объяснение, которое не противоречит ни одному из них, прежде чем открывать следующую улику.

4. Сравниваем ответы по пути

Ещё несколько проверок

Проверю, куда настроены DNS-запросы:

cat /etc/resolv.conf
# Локальный кеширующий DNS (dnsmasq)nameserver 127.0.0.53options timeout:2 attempts:2

В стенде 127.0.0.53 — локальный кеширующий dnsmasq, а 127.0.0.2 — отдельный учебный DNS, изображающий корпоративный сервер. Сам по себе адрес 127.0.0.53 здесь не означает, что используется systemd-resolved.

Опрошу каждый DNS явно:

dig +short @127.0.0.53 gateway.pay.internal
127.0.0.20
dig +short @127.0.0.2 gateway.pay.internal
127.0.0.20

Оба возвращают правильный адрес. Я также проверил /etc/hosts: записи для gateway.pay.internal там нет. Устаревшей локальной подменой имени это расхождение не объясняется.

У нас уже есть полезная граница. Прямые DNS-запросы проходят, а вызов поиска адреса из Python завершается ошибкой. Проверять ещё один DNS наугад я бы пока не стал: сначала нужно понять, чем отличаются пути этих двух запросов.

Именно ради этой развилки я выбрал сценарий для статьи. Успешная диагностическая команда иногда отвечает на более узкий вопрос, чем тот, который мы мысленно ей задали. dig успешно выполнил свою работу. Мы ещё не доказали, что приложение делает то же самое.

Вопрос к вам: где задаётся, из каких источников система ищет имена хостов? Какое значение там объяснило бы все наблюдения? Перед раскрытием запишите свой диагноз и минимальное исправление.

5. Одна строка, которая объясняет расхождение

Разбор и исправление

Смотрю порядок поиска имён:

grep -n "^hosts:" /etc/nsswitch.conf
13:hosts: files

Число 13 — номер строки, добавленный grep -n. Сама настройка — hosts: files.

Это и есть поломка выбранного варианта. В /etc/nsswitch.conf строка hosts задаёт источники для системного поиска имён через NSS — Name Service Switch. В нашем контейнере оставлен только files: поиск в /etc/hosts. Там имени шлюза нет, а источник dns из списка убран.

Поэтому исправный DNS не помогает приложению: до него этот путь поиска не доходит.

dig делает прямой DNS-запрос и не использует этот список источников. Отсюда правильный ответ в терминале. А Python-приложение в данном окружении получает адрес через системный резолвер и натыкается на настройку hosts: files. Расхождение между инструментами перестаёт быть противоречием, когда видно, что именно они проверяют.

В реализации сценария выбранный вариант при старте контейнера намеренно заменяет строку hosts, оставляя только files. В учебной вводной это связано со скриптом харденинга. Это заданная поломка тренажёра; я не утверждаю, что такое изменение произошло у какой-то реальной компании.

Для этого контейнера возвращаю второй

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев