PostgreSQL 19: меньше рутины, умнее фоновые процессы, чище SQL

Каждый новый мажорный релиз PostgreSQL задаёт вектор на годы вперёд, но к выходу 19‑й версии сообщество подошло с особым прагматизмом. Если 18‑я версия заложила фундамент для асинхронного ввода‑вывода и обновила диагностику, то PostgreSQL 19 закрывает самые болезненные эксплуатационные гештальты: избавляет от внешних утилит при борьбе с раздуванием таблиц, учит автовакуум параллельно чистить индексы и расставлять приоритеты, позволяет читать собственные записи с реплик без костылей в коде и приносит штатный механизм управления планами запросов.

Встроенный REPACK и REPACK (CONCURRENTLY): прощай, VACUUM FULL?

Десятилетиями у администраторов было два штатных способа вернуть дисковое пространство от «раздутой» (bloated) таблицы: VACUUM FULL и CLUSTER. Оба требовали эксклюзивной блокировки и останавливали запись (и чтение) на всё время перезаписи файла, поэтому в продакшене почти все ставили стороннее расширение pg_repack.

В PostgreSQL 19 появилась нативная команда REPACK, которая объединяет возможности пересборки кучи и упорядочивания по индексу. Но главное — опция CONCURRENTLY:

REPACK (CONCURRENTLY, VERBOSE) my_bloated_table;

Как это работает под капотом:

  • движок копирует живые строки таблицы в новый файл в фоновом режиме, не блокируя текущие чтения и изменения;

  • все изменения, произошедшие за время копирования, перехватываются с помощью механизма логического декодирования и накатываются следом;

  • эксклюзивная блокировка (ACCESS EXCLUSIVE) берётся лишь на финальном шаге для подмены файлов таблицы и индексов. Обычно она короткая, но не гарантированно: если за время ожидания блокировки накопилось много изменений, они применяются уже под ней, а долгая транзакция на таблице заставит подмену ждать, и за ней встанет очередь всех новых запросов.

Контролировать процесс в реальном времени можно через новое системное представление pg_stat_progress_repack (покажет фазу, число просканированных страниц и строк). Неблокирующий режим не бесплатен. Начальная копия строится по снимку, привязанному к слоту репликации, и пока она идёт, горизонт транзакций не двигается, а VACUUM не может очищать мёртвые строки в других таблицах. Для больших таблиц в нагруженной системе это нужно учитывать при выборе окна. Одновременно можно запускать только один REPACK (CONCURRENTLY) на экземпляр, для него нужен свободный слот max_repack_replication_slots, а также первичный ключ или REPLICA IDENTITY по индексу. Нельзя применять его к партиционированным, UNLOGGED- и TOAST-таблицам. Кроме того, режим не MVCC-безопасен: транзакции со старым снимком после коммита увидят таблицу пустой.

Автовакуум на стероидах: параллельные индексы, скоринг и 64‑битный MultiXact

В 19‑й версии подсистема очистки получила, пожалуй, самое масштабное обновление за последние годы.

1. Параллельный автовакуум индексов

Ручной VACUUM (PARALLEL N) умел чистить индексы в несколько потоков ещё с 13‑й версии, но фоновый автовакуум всегда работал в один поток. Теперь автовакуум сам умеет нанимать параллельных воркеров для фаз index vacuuming и index cleanup:

  • autovacuum_max_parallel_workers — глобальный лимит параллельных помощников для автовакуума (по умолчанию 0, то есть выключено — нужно включить явно, работает через SIGHUP без рестарта);

  • autovacuum_parallel_workers — параметр хранения (storage parameter) для тонкой настройки конкретной «тяжёлой» таблицы через ALTER TABLE ... SET (autovacuum_parallel_workers = 4).

Важный нюанс: параллелится именно проход по индексам (если на таблице висит 5–8 крупных индексов, включая «тяжёлый» GIN по jsonb, ускорение будет кратным), а воркеры берутся из общего пула max_parallel_workers, причём каждый выделяет собственный буфер maintenance_work_mem.

2. Приоритизация через систему скоринга (Scoring System)

Раньше автовакуум обходил таблицы в довольно прямолинейном порядке. В PostgreSQL 19 внедрена система скоринга, которая вычисляет «очки срочности» для каждой таблицы (включая TOAST). Накопление мёртвых строк и приближение к порогам заморозки динамически поднимают таблицу в очереди: самые «горячие» таблицы больше не ждут, пока воркеры закончат ленивую приборку второстепенных справочников.

3. Обновление Visibility Map прямо во время SELECT

Раньше помечать страницы как all-visible в карте видимости (Visibility Map) могли только VACUUM и COPY ... FREEZE. В 19‑й версии обычные читающие сканирования таблиц умеют попутно выставлять флаг видимости на страницах. Это снижает объём работы для последующих проходов VACUUM и помогает быстрее задействовать Index-Only Scan.

4. 64‑битные смещения MultiXactOffset

В системах с высокой конкуренцией за разделяемые блокировки строк (SELECT ... FOR KEY SHARE, интенсивная работа с внешними ключами) 32‑битное пространство смещений MultiXact могло исчерпаться раньше обычных XID, вызывая внезапные аварийные автовакуумы.

В PostgreSQL 19 тип MultiXactOffset расширен до 64 бит — проблема переполнения пространства членов мультитранзакций ушла в прошлое (а порог предупреждения о wraparound сдвинут с 40 млн до 100 млн транзакций). Так как формат хранения на диске изменился, pg_upgrade автоматически конвертирует файлы в pg_multixact.

Асинхронный I/O с автоскейлингом воркеров

Появившийся в 18‑й версии асинхронный ввод‑вывод при io_method = worker требовал фиксированного количества процессов‑воркеров (io_workers). В PostgreSQL 19 статический параметр убрали, заменив его эластичным пулом:

  • io_min_workers — нижняя граница (дежурные воркеры, которые всегда наготове);

  • io_max_workers — верхний потолок, до которого кластер автоматически доращивает пул под пиковой дисковой нагрузкой и сворачивает при простое.

Сам стриминговый ввод‑вывод (streaming reads) проник ещё глубже: теперь он ускоряет очистку GIN‑индексов, массовое удаление из hash‑индексов и параллельные последовательные сканирования (Parallel Seq Scan).

Управление планами из коробки (pg_plan_advice и pg_stash_advice) и улучшения планировщика

Когда планировщик ошибается на сложном запросе, разработчикам годами приходилось ставить сторонний pg_hint_plan или городить барьеры из CTE. В PostgreSQL 19 появились два штатных модуля в поставке contrib:

  1. pg_plan_advice позволяет увидеть, какие именно решения принял планировщик, с помощью опции EXPLAIN (PLAN_ADVICE). В выводе появится строка вида JOIN_ORDER(i o c), HASH_JOIN(o c), SEQ_SCAN(...). Эту строку (или её часть) можно скормить обратно через GUC‑параметр SET pg_plan_advice.advice = '...', заставив планировщик следовать указанному порядку соединений или типу сканирования.

  2. pg_stash_advice решает главную проблему продакшена, когда менять код приложения нельзя. Вы создаёте хранилище в разделяемой памяти через pg_create_advice_stash('prod'), привязываете нужный совет к queryid запроса с помощью pg_set_stashed_advice('prod', query_id, '...') и активируете pg_stash_advice.stash_name = 'prod' (а флаг pg_stash_advice.persist сохранит правила на диск в pg_stash_advice.tsv).

Сам планировщик и исполнитель тоже заметно поумнели:

  • Жадная агрегация (enable_eager_aggregate = on): планировщик теперь умеет частично проталкивать GROUP BY и агрегаты до соединения таблиц (JOIN), кратно сокращая число строк, передаваемых выше по дереву плана.

  • Ускорение FOREIGN KEY до 2 раз: проверка внешних ключей при INSERT получила быстрый путь в обход «тяжёлых» вызовов SPI (за исключением ключей, требующих функций приведения типов).

  • Больше ситуаций для Memoize и Incremental Sort: узел кэширования Memoize теперь работает для ANTI JOIN с уникальной внутренней стороной, а в выводе EXPLAIN для Memoize появились оценки размера кэша и числа обращений (cache and lookup estimates).

  • Нагляднее EXPLAIN для пустых узлов: если планировщик на этапе компиляции доказал, что таблица не вернёт строк, и схлопнул скан в вырожденный Result (One-Time Filter: false), теперь там пишется Replaces: Scan on table_name — сразу видно, куда «исчезла» таблица из плана.

  • Оптимизации предикатов и сортировок: выражения IS DISTINCT FROM и IS NOT DISTINCT FROM автоматически упрощаются до обычных и =, если известно, что аргументы NOT NULL; для сортировки данных задействован поразрядный алгоритм radix sort, а внутренняя распаковка кортежей (row deformation) ускорена.

Репликация: WAIT FOR LSN, онлайн‑включение логической репликации и SEQUENCE

Сразу три фундаментальных улучшения для высокодоступных кластеров:

1. Чтение своих записей с реплик через WAIT FOR LSN

Классическая боль архитектуры с читающими репликами: пользователь обновил профиль на мастере, тут же открыл страницу, запрос попал на реплику с лагом в 30 мс — и пользователь увидел старые данные. Раньше это лечили таймаутами или флагами в Redis. Теперь в PostgreSQL 19 появилась команда WAIT:

WAIT FOR LSN '0/306EE20' WITH (MODE 'standby_replay', TIMEOUT '500ms', NO_THROW);

Приложение после коммита на мастере берёт позицию журнала через pg_current_wal_flush_lsn(), а перед SELECT на реплике вызывает WAIT FOR LSN. Сессия на реплике подождёт, пока нужный LSN применится, и мгновенно вернёт управление (а с опцией NO_THROW при превышении таймаута просто вернёт статус, чтобы роутер переключил чтение на мастер).

2. Логическая репликация без рестарта при wal_level = replica

Раньше, чтобы подключить CDC (например, Debezium) или настроить логическую репликацию на базе, где стоит стандартный wal_level = replica, приходилось менять конфиг на logical и перезапускать весь сервер. В 19‑й версии введено понятие «эффективный уровнь журнала» (effective_wal_level):

  • пока логических слотов нет, wal_level и effective_wal_level равны replica (лишний WAL не пишется);

  • как только вы создаёте первый логический слот репликации, сервер на лету, без перезапуска, поднимает effective_wal_level до logical;

  • когда последний логический слот удаляется или инвалидируется, процесс checkpointer асинхронно опускает effective_wal_level обратно до replica.

3. Логическая репликация последовательностей (SEQUENCE) и исключение таблиц

Наконец‑то при логической репликации не нужно вручную синхронизировать счётчики serial / identity самописными скриптами! В публикации появилась конструкция FOR ALL SEQUENCES, а на стороне подписчика — команда ALTER SUBSCRIPTION ... REFRESH SEQUENCES. Заодно в CREATE / ALTER PUBLICATION добавили возможность исключать отдельные таблицы при публикации всей базы или схемы (через EXCEPT).

Что нового для разработчиков: ON CONFLICT DO SELECT и COPY в JSON

  • INSERT ... ON CONFLICT DO SELECT ... RETURNING: раньше, чтобы атомарно вставить строку или вернуть уже существующую при конфликте (паттерн Get‑or‑Create), приходилось писать фиктивный DO UPDATE SET id = EXCLUDED.id RETURNING *. Это зря перезаписывало строку, плодило мёртвые туплы и нагружало WAL. Новый DO SELECT просто читает и возвращает конфликтующую строку (при желании с блокировкой FOR UPDATE / FOR SHARE) и позволяет фильтровать результат через WHERE.

  • Нативный JSON в COPY TO: выгружать данные в JSON теперь можно напрямую командой COPY table TO STDOUT WITH (FORMAT json) — на выходе получите чистый потоковый NDJSON (по одному объекту на строку) без двойного экранирования кавычек и без выгрузки всего результата в память через json_agg. Если нужен единый JSON‑массив — добавьте опцию FORCE_ARRAY. А во входном COPY FROM опция HEADER теперь принимает число строк многострочной шапки, а ON_ERROR set_null позволяет заменять непарсящиеся ячейки на NULL вместо аварийной остановки импорта.

  • Богаче jsonpath и random(): язык запросов jsonpath пополнился строковыми методами .lower(), .upper(), .initcap(), .replace(), .split_part() и семейством .trim(). Функция random() научилась генерировать случайные значения типов date и timestamp в заданном диапазоне, а PL/Python теперь поддерживает триггеры событий (EVENT TRIGGER).

А где же графы SQL/PGQ и темпоральный FOR PORTION OF?

Если вы читали летние обзоры Beta 1, то наверняка слышали про графовые запросы SQL/PGQ, темпоральные UPDATE/DELETE ... FOR PORTION OF, слияние и разделение секций MERGE/SPLIT PARTITIONS, функции pg_get_*_ddl() и включение контрольных сумм на лету. В этот список входит и GROUP BY ALL: конструкция позволяла не повторять группирующие выражения из SELECT — например, в запросе SELECT region, category, status, count(*) FROM orders GROUP BY ALL группировка автоматически выполнялась бы по региону, категории и статусу. Однако в ходе подготовки PostgreSQL 19 эти возможности откатили; GROUP BY ALL — ещё к Beta 3. Они могут вернуться после доработки, но обещать их появление именно в PostgreSQL 20 пока нельзя.

Безопасность, мониторинг и важные мелочи

  • TLS SNI через pg_hosts.conf: PostgreSQL теперь поддерживает Server Name Indication на стороне сервера. Новый конфигурационный файл PGDATA/pg_hosts.conf позволяет сопоставить разные доменные имена со своими TLS‑сертификатами и ключами — удобно для мультиарендных инстансов и проксирования.

  • Предупреждения по паролям и MD5: параметр password_expiration_warning_threshold (по умолчанию 7d) заранее предупредит клиента, что срок действия его пароля скоро истечёт. А успешный вход по устаревшему md5 теперь выдаёт клиенту явное предупреждение (управляется через md5_password_warnings). Для отладки OAuth 2.0 в libpq появилась переменная окружения PGOAUTHDEBUG.

  • Кто убил мой бэкенд? При завершении сессии через pg_terminate_backend() или внешний SIGTERM сервер теперь пишет в лог подробность: DETAIL: Signal sent by PID ..., UID ... — расследовать внезапные обрывы соединений стало намного проще.

  • Детерминированная память и рост max_locks_per_transaction: внутренняя архитектура выделения разделяемой памяти переведена на ShmemRequestStruct() без старых «скрытых запасов в 10%», а дефолтное значение max_locks_per_transaction увеличено с 64 до 128.

  • Аппаратное ускорение (SIMD): векторные инструкции теперь ускоряют парсинг текста и CSV в COPY FROM, функции hex_encode() / hex_decode(), расчёт контрольных сумм страниц (AVX2) и CRC32C на ARM‑процессорах.

Совместимость: что может сломаться

Это самый важный раздел для тех, кто планирует обновление. Сначала главное: для перехода с любой предыдущей версии нужен pg_dumpall, pg_upgrade или логическая репликация.

Изменение

Что делать

JIT выключен по умолчанию

Если у вас «тяжёлая» аналитика, включите вручную

max_locks_per_transaction: 64 → 128

Из-за нового размещения блокировок прежние значения нужно удвоить, чтобы получить прежнюю ёмкость

MD5-аутентификация даёт предупреждение

Переходите на SCRAM; предупреждение отключается через md5_password_warnings

Удалена поддержка RADIUS

Нужна другая схема аутентификации; RADIUS по UDP признан небезопасным

standard_conforming_strings всегда on

Дампы со старой настройкой off не загрузятся; делайте дампы утилитами 19-й версии

Запрещены CR и LF в именах баз, ролей и табличных пространств

pg_upgrade откажется обновлять такие кластеры

Индексы btree_gist для inet/cidr

Их opclass был некорректен; pg_upgrade блокирует такие кластеры

json_array() без строк возвращает [], а не NULL

Проверьте логику приложения

Удалена кодировка MULE_INTERNAL

Перенесите базу в другую кодировку

pg_stat_subscription_stats.sync_error_count → sync_table_error_count

Поправьте мониторинг

Wait event BUFFERPIN → BUFFER

Поправьте дашборды

READ ONLY и DEFERRABLE передаются в сессии postgres_fdw

Такие транзакции больше не смогут менять данные через FDW

Есть и приятная новость: появился параметр password_expiration_warning_threshold. По умолчанию за семь дней до истечения пароля вы получите предупреждение.

Чек-лист перед обновлением

  1. Проверьте кластеры на inet/cidr с btree_gist и на запрещённые символы в именах объектов. Без этого pg_upgrade не пройдёт.

  2. Удвойте max_locks_per_transaction относительно прежнего значения, если рассчитывали на ёмкость старой версии.

  3. Если используете JIT для аналитики, включите его явно и сравните планы.

  4. Уберите зависимость от RADIUS и MD5. Для SSO вспомните про OAuth из 18-й версии: валидаторы теперь могут регистрировать свои опции в pg_hba.conf.

  5. Обновите мониторинг: переименованные колонки и wait events.

  6. Подумайте, где пригодятся REPACK (CONCURRENTLY), параллельный автовакуум и приоритеты через score-веса.

  7. Для реплик с требованием «читать свои записи» протестируйте WAIT.

  8. Если планируете логическую репликацию, проверьте синхронизацию sequence и автоматическое включение при wal_level = replica.

  9. Сделайте пробный прогон на копии боевых данных. Новые оптимизации планировщика и pg_plan_advice лучше проверить на реальных запросах.

PostgreSQL 19 заметно упрощает повседневную эксплуатацию и закрывает задачи, для которых раньше приходилось собирать обвязку из сторонних расширений. Все ключевые наработки этого релиза войдут и в новую версию Postgres Pro. Помимо базовой функциональности 19-й ветки, в ней появятся собственные обновления: доработанное расширение для векторного поиска, TDE с поддержкой ГОСТ-шифрования и оптимизации для ускорения работы со статистикой. Подробный разбор этих новинок мы опубликуем в ближайших анонсах.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев