Визуальные регрессионные тесты: инструменты для контроля интерфейса
Визуальные регрессионные тесты - это автоматическое сравнение текущего вида интерфейса с утвержденным эталоном. Агент может выполнить задачу корректно по функционалу и при этом сместить отступы, типографику или сетку. Такой тест показывает расхождение до того, как изменение ушло в прод.
Связь с предыдущей темой прямая: в статье Визуальный дрейф в агентной разработке описана проблема постепенного рассыпания интерфейса от правки к правке. Здесь - инструментальный способ ее обнаружить.
Как работает сравнение скриншотов
Логика одинакова почти во всех инструментах. Три состояния: baseline - утвержденный эталонный скриншот, actual - текущий скриншот после изменений, diff - визуальная разница между ними с подсветкой несовпавших пикселей.
Инструменты используют алгоритмы сравнения изображений и позволяют настраивать допустимые различия. Например, в Playwright можно задать чувствительность сравнения отдельных пикселей через threshold и максимальное количество пикселей, которые могут отличаться, через maxDiffPixels.
Важный принцип: новый скриншот нельзя принимать за эталон автоматически. Сначала проверяется diff, потом человек осознанно обновляет baseline. Иначе автоматизация закрепит визуальный дрейф вместо того, чтобы его остановить.
Что такие тесты находят, а что нет
Находят: смещения блоков, отступов и размеров, изменения шрифтов и типографики, наложения элементов и сломанную сетку, нарушения адаптива на контрольных ширинах экрана, пропавшие элементы.
Не находят: корректность логики и данных, доступность и удобство сценария, соответствие макету, если эталон сам снят с ошибочной верстки. Это дополнение к функциональным тестам, а не их замена.
Как организовать проверки
Проверяют два уровня: страницы целиком и отдельные компоненты. Страницы дают общую картину, но diff получается шумным. Компоненты дают точную локализацию проблемы. На практике начинают с 5-10 ключевых экранов и критичных компонентов.
Инструменты
Playwright
Фреймворк для end-to-end тестов с встроенным сравнением скриншотов. Эталоны хранятся в репозитории рядом с тестами, запуск локальный или в CI.
await expect(page).toHaveScreenshot('home.png', { fullPage: true });По умолчанию проверяется видимая область viewport, а не вся длинная страница. Для эталона всей страницы нужно явно указать fullPage: true. При несовпадении тест завершается ошибкой. Эталон обновляется командой --update-snapshots после проверки изменений.
Документация: Playwright - Visual comparisons.
Chromatic
Облачный сервис для визуального тестирования компонентов Storybook. Бесплатный план до 5000 billed snapshots в месяц. Сайт: Chromatic.
Percy
Облачный сервис от BrowserStack для визуальных проверок страниц с интеграцией в CI/CD и pull request. Бесплатный тариф до 5000 скриншотов в месяц. Один snapshot может включать несколько скриншотов: страницы, умноженные на браузеры и ширины экрана. Сайт: Percy.
Argos
Облачный сервис сравнения скриншотов с упором на работу с pull request. Поддерживает интеграцию с Playwright, CLI и API для автоматизированного анализа изменений, в том числе агентами. Бесплатный Hobby-тариф до 5000 скриншотов для индивидуального разработчика, командное ревью - в платном тарифе. Сайт: Argos.
BackstopJS
Open-source инструмент для скриншотного тестирования страниц. Сценарии описываются в JSON, запуск локальный, отчет - HTML с diff. При выборе стоит учитывать, что проект ищет нового сопровождающего. Сайт: BackstopJS.
Какой инструмент выбрать
Уже есть Playwright и нужен базовый контроль - начинать с него. Развивается дизайн-система на Storybook - практичнее Chromatic. Нужен визуальный ревью в pull request без настройки инфраструктуры - Percy или Argos. Важен локальный open-source без подписки - BackstopJS.
Как внедрить в агентный процесс
Зафиксировать baseline ключевых экранов до выдачи задачи агенту. Дать агенту задачу с явным запретом менять визуал за пределами задачи. После выполнения прогнать визуальные тесты и приложить diff к результату. В CI визуальная проверка запускается как статус pull request. Чтобы блокировать merge при ее падении, этот статус нужно сделать обязательным в настройках защиты ветки или ruleset. Если визуальных различий нет, проверка подтверждает отсутствие обнаруженных визуальных регрессий, функциональность проверяется отдельно. Baseline обновлять только после просмотра diff человеком.
Ограничения и ложные срабатывания
Основные источники шума: динамический контент, анимации, подмена веб-шрифтов, нестабильное окружение. Снижение шума: мокать дату и случайные данные, останавливать анимации перед скриншотом, дожидаться загрузки шрифтов, фиксировать вьюпорт и версию браузера в CI. Без фиксации окружения поддержка эталонов может превратиться в постоянную борьбу с ложными падениями.
