Playwright + опціональний мультимодальний огляд → детерміновані перевірки + людське схвалення

Як доповнити класичний конвеєр візуального тестування Playwright мовною моделлю, яка пропонує семантичні висновки, залишаючи при цьому базово-стабільне, детерміноване ядро недоторканим.


1. Чому ШІ-шар «лише для оглядів» має сенс

Візуальне регресійне тестування з Playwright вже дає піксельно-ідеальні, повторювані докази. Скріншот, зроблений у контрольованих умовах, можна порівняти з збереженою базовою лінією, і тест або проходить, або проходить детерміновано.

Мультимодальна модель (наприклад, модель мови бачення) може додати семантичний контекст – вона може сказати "кнопка "Додати до кошика" зміщена на 12 пікселів вправо" – що корисно, коли піксельний диференціал шумний або якщо дефект непомітний. Однак вихід моделі — це ненадійні дані:

Відповідно, ШІ має бути необов'язковим, лише для читання і обмеженим людською валідацією. Детерміновані твердження Playwrightів залишаються джерелом істини; ШІ лише виводить кандидатські висновки, які рецензент може прийняти, відхилити або використати для збагачення звіту про дефекти.


2. Наскрізна архітектура

Stable test data & fonts
        │
        ▼
Playwright (desktop & mobile) → screenshots / accessibility snapshots
        │
        ▼
Deterministic assertions
   – toHaveScreenshot()
   – pixel‑diff thresholds
        │
        ▼
Sanitized copy of the screenshot
        │
        ▼
ШІ multimodal model (provider‑neutral)
        │
        ▼
Structured candidate findings (JSON)
        │
        ▼
схема validation + secret‑scrubbing
        │
        ▼
Evidence bundle (original + sanitized + diff)
        │
        ▼
Human reviewer → approve defect OR update baseline

ШІ ніколи не записує на базову лінію і не створює дефект автоматично; він лише додає кандидат, який має бути перевірений.


3. Створення конкретного адаптивного сценарію

Уявіть собі сторінку з деталями продукту**, яка має правильно рендеритися на робочому столі (1440 px) та мобільному viewport (375 px). Сторінка містить:

Мета тесту — перевірити макет, типографіку та доступність, ігноруючи анімацію та динамічну ціну.

3.1 Стабільні тестові дані та шрифти

test.use({
  // Force the same viewport for each project
  viewport: { width: 1440, height: 900 },
  // Load a deterministic font
  launchOptions: {
    args: ['--font-render-hinting=medium'],
  },
});

3.2 Захоплення детермінованих скріншотів

API snapshot від Playwright дозволяє маскувати волатильні регіони та кліп до певного в'єпорту.

test('product page layout – desktop', async ({ page }) => {
  await page.route('**/price', route =>
    route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
  );

  await page.goto('/product/123');
  // Wait for the hero animation to finish
  await page.waitForTimeout(500);

  // Mask the price badge (dynamic) and the loading spinner
  const screenshot = await page.screenshot({
    fullPage: true,
    mask: [
      { css: '.price-badge' },
      { css: '.spinner' },
    ],
  });

  // Deterministic visual assertion
  expect(screenshot).toMatchSnapshot('product-desktop.png', {
    maxDiffPixels: 100, // small tolerance for anti‑aliasing
  });
});

Той самий тест можна провести для мобільного проєкту, змінивши вікно перегляду в блоці test.use. Playwright автоматично зберігає базову лінію під test-results/<test-name>/snapshots.

3.3 Знімок доступності (опціонально)

Playwright також може зафіксувати дерево доступності, на яке ШІ може пізніше посилатися.

const ax = await page.accessibility.snapshot();
expect(ax).toMatchSnapshot('product-desktop.ax.json');

4. Дезінфікація зображення перед використанням ШІ

Перед тим, як надіслати скріншот зовнішній моделі, ми повинні видалити будь-які секрети, які могли бути розкриті (наприклад, токени автентифікації, відображені в налагоджувальному оверлеї). Простий підхід — накласти суцільний прямокутник на відомі селектори.

import { sharp } from 'sharp'; // image‑processing library

async function sanitize(imageBuffer: Buffer): Promise<Buffer> {
  const img = sharp(imageBuffer);
  // Example: hide any element with class .debug-token
  const { width, height } = await img.metadata();
  const overlay = Buffer.from(
    `<svg width="${width}" height="${height}">
       <rect x="0" y="0" width="${width}" height="${height}" fill="none"/>
       <rect x="10" y="10" width="200" height="30" fill="#000"/>
     </svg>`
  );
  return img.composite([{ input: overlay, blend: 'dest-in' }]).png().toBuffer();
}

Очищена копія — єдиний артефакт, який надсилається ШІ; оригінал зберігається в сховищі тестових артефактів для аудиту.


5. Розробка підказок і обізнаність про обмеження тарифів

нейтральний до провайдера запит має бути коротким, чітким і уникати вбудовування вмісту сторінки, який можна інтерпретувати як інструкції.

You are a QA assistant. Examine the attached screenshot of a product page.
Identify layout anomalies, missing elements, or accessibility concerns.
Return findings in JSON matching the provided схема. Do not modify the image.

Оскільки більшість API мов зору стягують плату за запит і встановлюють обмеження швидкості**, тестовий пристрій повинен:


6. Структуровані кандидатські висновки

Схема JSON робить вихід ШІ машинозчитуваним і безпечним для перевірки перед перевіркою користувачами.

{
  "$схема": "http://json-схема.org/draft-07/схема#",
  "title": "ШІ Visual Findings",
  "type": "array",
  "items": {
    "type": "object",
    "required": ["id", "description", "severity", "location", "screenshotRef"],
    "properties": {
      "id": { "type": "string", "format": "uuid" },
      "description": { "type": "string", "minLength": 1 },
      "severity": { "enum": ["info", "low", "medium", "high", "critical"] },
      "location": {
        "type": "object",
        "required": ["selector", "boundingBox"],
        "properties": {
          "selector": { "type": "string" },
          "boundingBox": {
            "type": "object",
            "required": ["x", "y", "width", "height"],
            "properties": {
              "x": { "type": "number" },
              "y": { "type": "number" },
              "width": { "type": "number" },
              "height": { "type": "number" }
            }
          }
        }
      },
      "screenshotRef": { "type": "string", "format": "uri" },
      "confidence": { "type": "number", "minimum": 0, "maximum": 1 }
    }
  }
}

Тест-раннер перевіряє відповідь ШІ за цією схемою (наприклад, використовуючи ajv). Будь-яке відхилення фіксується, а результат ШІ відкидається.


7. Пакет доказів для рецензента

Коли кандидат проходить валідацію схеми, система збирає пакет доказів:

  1. Оригінальний скріншот (без змін).
  2. Очищений скріншот (надіслано ШІ).
  3. Диференційне зображення згенероване Playwright (expect(...).toMatchSnapshot вже зберігає інший PNG).
  4. ШІ JSON корисний вантаж.
  5. Метадані – ім'я тесту, ідентифікатор запуску, порт перегляду, версія браузера.

Всі артефакти завантажуються до архітектурного сховища CI (GitHub Actions) і пов'язані з інтерфейсу огляду (наприклад, власний коментар на GitHub або заявка в Azure DevOps). Рецензент може побачити візуальну відмінність, прочитати опис ШІ і вирішити:

Оскільки ШІ ніколи не записує на базову лінію автоматично, детермінований контракт тестового набору залишається незмінним.


8. Вирішення поширених проблем візуального тестування

ДітиТехніка PlaywrightаРозгляд рівня ШІ
Анімаціїawait page.waitForTimeout або animation: none CSS-override.ШІ слід наказувати ігнорувати анімовані регіони; маскувати їх, якщо потрібно.
Динамічні регіониmask варіант у page.screenshot.Переконайтеся, що та сама маска нанесена до того, як зображення потрапить до моделі.
Покриття через вікно переглядуВикористовуйте fullPage: true для повного захоплення або clip у певну зону.Схема ШІ очікує boundingBox; точне обрізання покращує точність розташування.
Хибнопозитивні результатиЩільні налаштування maxDiffPixels та threshold.Людський огляд є останнім арбітром; тримайте пропозиції щодо ШІ низькою впевненістю для необов'язкового сортування.
Доступністьpage.accessibility.snapshot().ШІ може посилатися на дерево на поверхню відсутніх міток ARIA, але все одно потребує перевірки.

9. Охорона та захист приватності

Ці заходи підтримують взаємодію ШІ у відповідності типовим корпоративним політикам безпеки.


10. Де допомагає автоматизація

Автоматизація не замінює судження, необхідне для визначення, чи є візуальна зміна регресією, навмисним редизайном чи хибною тривогою.


11. Приклад допоміжного TypeScript, який об'єднує все разом

import { test, expect, Page } from '@playwright/test';
import Ajv from 'ajv';
import fetch from 'node-fetch';
import { sanitize } from './sanitize'; // function from §4

const ajv = new Ajv();
const схема = require('./ШІ-findings-схема.json');
const validate = ajv.compile(схема);

async function runAiReview(
  screenshot: Buffer,
  testInfo: { name: string; runId: string }
): Promise<void> {
  const sanitized = await sanitize(screenshot);
  const response = await fetch('https://api.example.com/vision', {
    method: 'POST',
    headers: {
      Authorization: `Bearer ${process.env.AI_TOKEN}`,
      'Content-Type': 'application/octet-stream',
    },
    body: sanitized,
  });

  if (!response.ok) throw new Error('ШІ service error');
  const findings = await response.json();

  if (!validate(findings)) {
    console.warn('ШІ output failed схема validation', validate.errors);
    return;
  }

  // Assemble evidence bundle (simplified)
  const evidence = {
    testName: testInfo.name,
    runId: testInfo.runId,
    screenshotUrl: `artifacts/${testInfo.runId}/original.png`,
    sanitizedUrl: `artifacts/${testInfo.runId}/sanitized.png`,
    diffUrl: `artifacts/${testInfo.runId}/diff.png`,
    findings,
  };

  // Post to a review system – placeholder
  await fetch('https://review.example.com/bundle', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify(evidence),
  });
}

// Example test that uses the helper
test('product page – mobile layout', async ({ page }, testInfo) => {
  await page.route('**/price', route =>
    route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
  );
  await page.goto('/product/123');
  await page.waitForTimeout(500); // let animation settle

  const screenshot = await page.screenshot({
    fullPage: true,
    mask: [{ css: '.price-badge' }, { css: '.debug-token' }],
  });

  // Deterministic visual assertion
  expect(screenshot).toMatchSnapshot('product-mobile.png', {
    maxDiffPixels: 80,
  });

  // Run optional ШІ review (non‑blocking)
  await runAiReview(screenshot, {
    name: testInfo.title,
    runId: testInfo.retry ? `${testInfo.project.name}-retry` : testInfo.project.name,
  });
});

Помічник ніколи записує на базову лінію; він завантажує лише пакет доказів для подальшої людської інспекції.


12. Питання для перегляду

  1. Яку роль відіграє рівень ШІ у візуальному тестуванні Playwright і чому його результат має бути перевірений перед людським переглядом?
  2. Як запобігти тому, щоб динамічні елементи сторінки (наприклад, цінові значки, спінери) створювали хибні візуальні відмінності?
  3. Які опції Playwright API дозволяють маскувати або обрізати скріншоти, і чому це важливо для безпеки ШІ?
  4. Опишіть дві проблеми з безпекою при надсилання скріншотів сторінок зовнішній моделі та як ви їх усуваєте.
  5. Чому ШІ ніколи не повинен автоматично оновлювати візуальний базовий показник, навіть якщо його рівень впевненості високий?

13. Висновок

Додавання мультимодального ШІ-оглядача до візуального тестування Playwright може виявити семантичні інсайти, які сирі піксельні диференціали пропускають, але межа довіри має залишатися чітко визначеною. Зберігаючи детерміновані твердження Playwright як джерело істини, очищаючи зображення, дотримуючись суворої схеми JSON і прокладаючи кожну пропозицію ШІ через людські ворота, команди отримують переваги триажу з підтримкою ШІ без втрати надійності, безпеки чи контролю витрат. Описана тут закономірність є навмисно опціональною та оборотною — ви можете увімкнути ШІ-шар для кожного проєкту, контролювати його корисність і відкотувати його, не торкаючись основного набору візуальних тестів.


Джерела