Главная / Блог / Визуальные регрессионные тесты

Визуальные регрессионные тесты: инструменты для контроля интерфейса

Визуальные регрессионные тесты - это автоматическое сравнение текущего вида интерфейса с утвержденным эталоном. Агент может выполнить задачу корректно по функционалу и при этом сместить отступы, типографику или сетку. Такой тест показывает расхождение до того, как изменение ушло в прод.

Связь с предыдущей темой прямая: в статье Визуальный дрейф в агентной разработке описана проблема постепенного рассыпания интерфейса от правки к правке. Здесь - инструментальный способ ее обнаружить.

Как работает сравнение скриншотов

Логика одинакова почти во всех инструментах. Три состояния: baseline - утвержденный эталонный скриншот, actual - текущий скриншот после изменений, diff - визуальная разница между ними с подсветкой несовпавших пикселей.

Инструменты используют алгоритмы сравнения изображений и позволяют настраивать допустимые различия. Например, в Playwright можно задать чувствительность сравнения отдельных пикселей через threshold и максимальное количество пикселей, которые могут отличаться, через maxDiffPixels.

Важный принцип: новый скриншот нельзя принимать за эталон автоматически. Сначала проверяется diff, потом человек осознанно обновляет baseline. Иначе автоматизация закрепит визуальный дрейф вместо того, чтобы его остановить.

Что такие тесты находят, а что нет

Находят: смещения блоков, отступов и размеров, изменения шрифтов и типографики, наложения элементов и сломанную сетку, нарушения адаптива на контрольных ширинах экрана, пропавшие элементы.

Не находят: корректность логики и данных, доступность и удобство сценария, соответствие макету, если эталон сам снят с ошибочной верстки. Это дополнение к функциональным тестам, а не их замена.

Как организовать проверки

Проверяют два уровня: страницы целиком и отдельные компоненты. Страницы дают общую картину, но diff получается шумным. Компоненты дают точную локализацию проблемы. На практике начинают с 5-10 ключевых экранов и критичных компонентов.

Инструменты

Playwright

Фреймворк для end-to-end тестов с встроенным сравнением скриншотов. Эталоны хранятся в репозитории рядом с тестами, запуск локальный или в CI.

await expect(page).toHaveScreenshot('home.png', { fullPage: true });

По умолчанию проверяется видимая область viewport, а не вся длинная страница. Для эталона всей страницы нужно явно указать fullPage: true. При несовпадении тест завершается ошибкой. Эталон обновляется командой --update-snapshots после проверки изменений.

Документация: Playwright - Visual comparisons.

Chromatic

Облачный сервис для визуального тестирования компонентов Storybook. Бесплатный план до 5000 billed snapshots в месяц. Сайт: Chromatic.

Percy

Облачный сервис от BrowserStack для визуальных проверок страниц с интеграцией в CI/CD и pull request. Бесплатный тариф до 5000 скриншотов в месяц. Один snapshot может включать несколько скриншотов: страницы, умноженные на браузеры и ширины экрана. Сайт: Percy.

Argos

Облачный сервис сравнения скриншотов с упором на работу с pull request. Поддерживает интеграцию с Playwright, CLI и API для автоматизированного анализа изменений, в том числе агентами. Бесплатный Hobby-тариф до 5000 скриншотов для индивидуального разработчика, командное ревью - в платном тарифе. Сайт: Argos.

BackstopJS

Open-source инструмент для скриншотного тестирования страниц. Сценарии описываются в JSON, запуск локальный, отчет - HTML с diff. При выборе стоит учитывать, что проект ищет нового сопровождающего. Сайт: BackstopJS.

Какой инструмент выбрать

Уже есть Playwright и нужен базовый контроль - начинать с него. Развивается дизайн-система на Storybook - практичнее Chromatic. Нужен визуальный ревью в pull request без настройки инфраструктуры - Percy или Argos. Важен локальный open-source без подписки - BackstopJS.

Как внедрить в агентный процесс

Зафиксировать baseline ключевых экранов до выдачи задачи агенту. Дать агенту задачу с явным запретом менять визуал за пределами задачи. После выполнения прогнать визуальные тесты и приложить diff к результату. В CI визуальная проверка запускается как статус pull request. Чтобы блокировать merge при ее падении, этот статус нужно сделать обязательным в настройках защиты ветки или ruleset. Если визуальных различий нет, проверка подтверждает отсутствие обнаруженных визуальных регрессий, функциональность проверяется отдельно. Baseline обновлять только после просмотра diff человеком.

Ограничения и ложные срабатывания

Основные источники шума: динамический контент, анимации, подмена веб-шрифтов, нестабильное окружение. Снижение шума: мокать дату и случайные данные, останавливать анимации перед скриншотом, дожидаться загрузки шрифтов, фиксировать вьюпорт и версию браузера в CI. Без фиксации окружения поддержка эталонов может превратиться в постоянную борьбу с ложными падениями.

Частые вопросы

Чтобы не пропустить новые материалы

Короткий дайджест вечером в понедельник. Без спама.

Выберите, что получать

Обсудим ваш проект

Расскажите о вашем бизнесе, покажите текущий сайт или просто опишите задачу в свободной форме. Я изучу вводные, предложу решение и сориентирую по срокам и смете.

Отвечаю в течение нескольких часов в рабочее время.

Защита от спама – Yandex SmartCaptcha

Если вам удобнее обсудить всё текстом без заполнения форм – напишите напрямую: в Telegram или на sergei@kruglov.net

Удобнее голосом? Напишите пару слов о задаче - договоримся об удобном времени созвона на 15-20 минут, и я пришлю свой номер телефона.