Playwright + необязательный мультимодальный обзор → детерминированные проверки + одобрение человека

Как расширить классический конвейер визуального тестирования Playwright языковой моделью, предлагающей семантические находки, при этом оставив базовое стабильное детерминированное ядро нетронутым.


1. Почему слой ИИ «только для ревью» имеет смысл

Тестирование на визуальную регрессию с помощью Playwright уже даёт пиксельно идеальные, повторяемые доказательства. Скриншот, сделанный в контролируемых условиях, можно сравнить с сохраненной базовой линией, и тест либо проходит, либо проваливается детерминированно.

Мультимодальная модель (например, модель языка видения) может добавлять семантический контекст — она может говорить «кнопка «Добавить в корзину» сдвинута на 12 пикселей вправо» — что полезно, когда дифференциал пикселей шумит или при незаметном дефекте. Однако выход модели — это ненадёжные данные:

Следовательно, ИИ должен быть необязательным, только для чтения и ограниченным человеческой валидацией. Детерминированные утверждения Playwrightов остаются источником истины; ИИ лишь выдвигает кандидатские выводы, которые рецензент может принять, отклонить или использовать для обогащения отчёта о дефектах.


2. Сквозная (end‑to‑end) архитектура

Stable test data & fonts
        │
        ▼
Playwright (desktop & mobile) → screenshots / accessibility snapshots
        │
        ▼
Deterministic assertions
   – toHaveScreenshot()
   – pixel‑diff thresholds
        │
        ▼
Sanitized copy of the screenshot
        │
        ▼
ИИ multimodal model (provider‑neutral)
        │
        ▼
Structured candidate findings (JSON)
        │
        ▼
схема validation + secret‑scrubbing
        │
        ▼
Evidence bundle (original + sanitized + diff)
        │
        ▼
Human reviewer → approve defect OR update baseline

ИИ никогда не записывает на исходную линию, не создаёт дефект автоматически; он добавляет только кандидата, который должен быть проверен.


3. Создание конкретного отзывчивого сценария

Представьте себе страницу с деталями продукта, которая должна корректно отображаться на рабочем столе (1440 пикселей) и мобильном окне просмотра (375 пикселей). Страница содержит:

Цель теста — проверить макет, типографику и доступность, игнорируя анимацию и динамическую цену.

3.1 Стабильные тестовые данные и шрифты

test.use({
  // Force the same viewport for each project
  viewport: { width: 1440, height: 900 },
  // Load a deterministic font
  launchOptions: {
    args: ['--font-render-hinting=medium'],
  },
});

3.2 Захват детерминированных скриншотов

API snapshot от Playwright позволяет маскировать волатильные области и клипировать к конкретному viewport.

test('product page layout – desktop', async ({ page }) => {
  await page.route('**/price', route =>
    route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
  );

  await page.goto('/product/123');
  // Wait for the hero animation to finish
  await page.waitForTimeout(500);

  // Mask the price badge (dynamic) and the loading spinner
  const screenshot = await page.screenshot({
    fullPage: true,
    mask: [
      { css: '.price-badge' },
      { css: '.spinner' },
    ],
  });

  // Deterministic visual assertion
  expect(screenshot).toMatchSnapshot('product-desktop.png', {
    maxDiffPixels: 100, // small tolerance for anti‑aliasing
  });
});

Тот же тест можно выполнить для мобильного проекта, изменив вьюпорт в блоке test.use. Playwright автоматически сохраняет базовую линию, которую test-results/<test-name>/snapshots.

3.3 Снимок доступности (по желанию)

Playwright также может запечатлеть дерево доступности, к которому ИИ позже может обратиться.

const ax = await page.accessibility.snapshot();
expect(ax).toMatchSnapshot('product-desktop.ax.json');

4. Очистка изображения перед передачей ИИ

Перед отправкой скриншота во внешнюю модель мы должны удалить любые секреты, которые могли быть раскрыты (например, токены аутентификации, отображаемые в отладочном оверлее). Простой подход — наложить цельный прямоугольник на известные селекторы.

import { sharp } from 'sharp'; // image‑processing library

async function sanitize(imageBuffer: Buffer): Promise<Buffer> {
  const img = sharp(imageBuffer);
  // Example: hide any element with class .debug-token
  const { width, height } = await img.metadata();
  const overlay = Buffer.from(
    `<svg width="${width}" height="${height}">
       <rect x="0" y="0" width="${width}" height="${height}" fill="none"/>
       <rect x="10" y="10" width="200" height="30" fill="#000"/>
     </svg>`
  );
  return img.composite([{ input: overlay, blend: 'dest-in' }]).png().toBuffer();
}

Очищенная копия — единственный артефакт, отправленный ИИ; оригинал хранится в хранилище тестовых артефактов для аудита.


5. Проектирование подсказок и учёт ограничений частоты запросов

нейтральный к провайдеру запрос должен быть коротким, чётким и избегать встраивания содержимого страницы, которое может быть интерпретировано как инструкции.

You are a QA assistant. Examine the attached screenshot of a product page.
Identify layout anomalies, missing elements, or accessibility concerns.
Return findings in JSON matching the provided схема. Do not modify the image.

Поскольку большинство API на языке визуализации взимают плату за запрос и устанавливают лимит скорости, тестовый жгут должен:


6. Структурированные найденные проблемы

Схема JSON делает вывод ИИ машиночитаемым и безопасным для проверки до проверки людьми.

{
  "$схема": "http://json-схема.org/draft-07/схема#",
  "title": "ИИ Visual Findings",
  "type": "array",
  "items": {
    "type": "object",
    "required": ["id", "description", "severity", "location", "screenshotRef"],
    "properties": {
      "id": { "type": "string", "format": "uuid" },
      "description": { "type": "string", "minLength": 1 },
      "severity": { "enum": ["info", "low", "medium", "high", "critical"] },
      "location": {
        "type": "object",
        "required": ["selector", "boundingBox"],
        "properties": {
          "selector": { "type": "string" },
          "boundingBox": {
            "type": "object",
            "required": ["x", "y", "width", "height"],
            "properties": {
              "x": { "type": "number" },
              "y": { "type": "number" },
              "width": { "type": "number" },
              "height": { "type": "number" }
            }
          }
        }
      },
      "screenshotRef": { "type": "string", "format": "uri" },
      "confidence": { "type": "number", "minimum": 0, "maximum": 1 }
    }
  }
}

Тестировщик проверяет ответ ИИ по этой схеме (например, используя ajv). Любое отклонение регистрируется, а результат ИИ отбрасывается.


7. Пакет доказательств для ревьюера

Когда кандидат-находка проходит проверку схемы, система собирает пакет доказательств:

  1. Оригинальный скриншот (без изменений).
  2. Очищенный скриншот (отправлен ИИ).
  3. Diff image сгенерировано Playwright (expect(...).toMatchSnapshot уже хранит diff PNG).
  4. ИИ JSON-нагрузка.
  5. Метаданные – имя теста, ID запуска, вьюпорт, версия браузера.

Все артефакты загружаются в хранилище артефактов CI (GitHub Actions) и связываются из интерфейса обзора (например, пользовательский комментарий на GitHub или тикет в Azure DevOps). Рецензент может увидеть визуальную диференцию, прочитать описание ИИ и решить:

Поскольку ИИ никогда не записывает автоматически на исходную линию, детерминированный контракт тестового набора остаётся нетронутым.


8. Обработка типичных подводных камней визуального тестирования

ПотомствоТехника PlaywrightаРассмотрение уровня ИИ
Анимацииawait page.waitForTimeout или animation: none CSS-оверрайд.ИИ следует заставлять игнорировать анимированные регионы; маскировать их, если нужно.
Динамические областиmask вариант в page.screenshot.Убедитесь, что та же маска наложена до того, как изображение попадёт в модель.
Покрытие через портИспользуйте fullPage: true для полного захвата или clip в определённую зону.Схема ИИ рассчитывает на boundingBox; точное обрезывание повышает точность местоположения.
Ложные срабатыванияЧёткие настройки maxDiffPixels и threshold.Человеческий обзор — последний арбитр; держите предложения ИИ с низкой уверенностью для необязательной сортировки.
Доступностьpage.accessibility.snapshot().ИИ может ссылаться на дерево на поверхность отсутствующих меток ARIA, но всё равно требует проверки.

9. Меры безопасности и защиты конфиденциальности

Эти меры поддерживают взаимодействие ИИ в соответствии с типичными корпоративными политиками безопасности.


10. Где автоматизация помогает

Автоматизация не не заменяет суждение, необходимое для определения, является ли визуальное изменение регрессией, намеренным редизайном или ложной тревогой.


11. Пример помощника TypeScript, связывающего всё вместе

import { test, expect, Page } from '@playwright/test';
import Ajv from 'ajv';
import fetch from 'node-fetch';
import { sanitize } from './sanitize'; // function from §4

const ajv = new Ajv();
const схема = require('./ИИ-findings-схема.json');
const validate = ajv.compile(схема);

async function runAiReview(
  screenshot: Buffer,
  testInfo: { name: string; runId: string }
): Promise<void> {
  const sanitized = await sanitize(screenshot);
  const response = await fetch('https://api.example.com/vision', {
    method: 'POST',
    headers: {
      Authorization: `Bearer ${process.env.AI_TOKEN}`,
      'Content-Type': 'application/octet-stream',
    },
    body: sanitized,
  });

  if (!response.ok) throw new Error('ИИ service error');
  const findings = await response.json();

  if (!validate(findings)) {
    console.warn('ИИ output failed схема validation', validate.errors);
    return;
  }

  // Assemble evidence bundle (simplified)
  const evidence = {
    testName: testInfo.name,
    runId: testInfo.runId,
    screenshotUrl: `artifacts/${testInfo.runId}/original.png`,
    sanitizedUrl: `artifacts/${testInfo.runId}/sanitized.png`,
    diffUrl: `artifacts/${testInfo.runId}/diff.png`,
    findings,
  };

  // Post to a review system – placeholder
  await fetch('https://review.example.com/bundle', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify(evidence),
  });
}

// Example test that uses the helper
test('product page – mobile layout', async ({ page }, testInfo) => {
  await page.route('**/price', route =>
    route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
  );
  await page.goto('/product/123');
  await page.waitForTimeout(500); // let animation settle

  const screenshot = await page.screenshot({
    fullPage: true,
    mask: [{ css: '.price-badge' }, { css: '.debug-token' }],
  });

  // Deterministic visual assertion
  expect(screenshot).toMatchSnapshot('product-mobile.png', {
    maxDiffPixels: 80,
  });

  // Run optional ИИ review (non‑blocking)
  await runAiReview(screenshot, {
    name: testInfo.title,
    runId: testInfo.retry ? `${testInfo.project.name}-retry` : testInfo.project.name,
  });
});

Помощник никогда записывает на базовую линию; он загружает только набор доказательств для последующего осмотра людьми.


12. Вопросы для обзора

  1. Какую роль играет уровень ИИ в конвейере визуального тестирования Playwright, и почему его результаты должны быть проверены перед человеческим обзором?
  2. Как предотвратить ложные визуальные различия динамических элементов страницы (например, ценовые значки, спиннеры) со стороны динамических элементов страницы?
  3. Какие опции API Playwright позволяют маскировать или обрезать скриншоты, и почему это важно для безопасности ИИ?
  4. Опишите две проблемы безопасности при отправке скриншотов страниц внешней модели и как вы их устраняете.
  5. Почему ИИ никогда не должен автоматически обновлять визуальный исход, даже если его уровень уверенности высок?

13. Заключение

Добавление мультимодального ИИ-рецензента в визуальное тестирование Playwright может выявить семантические инсайты, которые не замечают при сырых пиксельных дифференциациях, но граница доверия должна оставаться чётко определённой. Сохраняя детерминированные утверждения Playwright как источник истины, очищая изображения, соблюдая строгую схему JSON и направляя каждое предложение ИИ через человеческие ворота, команды получают преимущества триажа с помощью ИИ без жертв надёжности, безопасности или контроля затрат. Описанная здесь закономерность намеренно необязательна и обратима — вы можете включить уровень ИИ на каждом проекте, контролировать его полезность и откатить его назад, не касаясь основного комплекта визуальных тестов.


Источники