Playwright + опціональний мультимодальний огляд → детерміновані перевірки + людське схвалення
Як доповнити класичний конвеєр візуального тестування Playwright мовною моделлю, яка пропонує семантичні висновки, залишаючи при цьому базово-стабільне, детерміноване ядро недоторканим.
1. Чому ШІ-шар «лише для оглядів» має сенс
Візуальне регресійне тестування з Playwright вже дає піксельно-ідеальні, повторювані докази. Скріншот, зроблений у контрольованих умовах, можна порівняти з збереженою базовою лінією, і тест або проходить, або проходить детерміновано.
Мультимодальна модель (наприклад, модель мови бачення) може додати семантичний контекст – вона може сказати "кнопка "Додати до кошика" зміщена на 12 пікселів вправо" – що корисно, коли піксельний диференціал шумний або якщо дефект непомітний. Однак вихід моделі — це ненадійні дані:
- Він може галюцинувати елементи, яких не існує.
- Ін'єкція запитів може бути прихована у вмісті сторінки.
- Обмеження вартості та тарифів роблять його непридатним для масових базових оновлень.
Відповідно, ШІ має бути необов'язковим, лише для читання і обмеженим людською валідацією. Детерміновані твердження Playwrightів залишаються джерелом істини; ШІ лише виводить кандидатські висновки, які рецензент може прийняти, відхилити або використати для збагачення звіту про дефекти.
2. Наскрізна архітектура
Stable test data & fonts
│
▼
Playwright (desktop & mobile) → screenshots / accessibility snapshots
│
▼
Deterministic assertions
– toHaveScreenshot()
– pixel‑diff thresholds
│
▼
Sanitized copy of the screenshot
│
▼
ШІ multimodal model (provider‑neutral)
│
▼
Structured candidate findings (JSON)
│
▼
схема validation + secret‑scrubbing
│
▼
Evidence bundle (original + sanitized + diff)
│
▼
Human reviewer → approve defect OR update baselineШІ ніколи не записує на базову лінію і не створює дефект автоматично; він лише додає кандидат, який має бути перевірений.
3. Створення конкретного адаптивного сценарію
Уявіть собі сторінку з деталями продукту**, яка має правильно рендеритися на робочому столі (1440 px) та мобільному viewport (375 px). Сторінка містить:
- Образ героя, який анімується при завантаженні.
- Ціновий значок, який динамічно оновлюється з API.
- Кнопка «Купити зараз», мітка якої може бути локалізована.
Мета тесту — перевірити макет, типографіку та доступність, ігноруючи анімацію та динамічну ціну.
3.1 Стабільні тестові дані та шрифти
- Статичні фіксуери – імітація API, який повертає ціну так, щоб одне й те саме значення з'являлося в кожному запуску.
- Узгодженість шрифту – встановити точну версію веб-шрифту на CI-worker (наприклад, через
npm i @fontsource/roboto) і встановитиfont-display: swap, щоб уникнути резервного мерехтіння.
test.use({
// Force the same viewport for each project
viewport: { width: 1440, height: 900 },
// Load a deterministic font
launchOptions: {
args: ['--font-render-hinting=medium'],
},
});3.2 Захоплення детермінованих скріншотів
API snapshot від Playwright дозволяє маскувати волатильні регіони та кліп до певного в'єпорту.
test('product page layout – desktop', async ({ page }) => {
await page.route('**/price', route =>
route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
);
await page.goto('/product/123');
// Wait for the hero animation to finish
await page.waitForTimeout(500);
// Mask the price badge (dynamic) and the loading spinner
const screenshot = await page.screenshot({
fullPage: true,
mask: [
{ css: '.price-badge' },
{ css: '.spinner' },
],
});
// Deterministic visual assertion
expect(screenshot).toMatchSnapshot('product-desktop.png', {
maxDiffPixels: 100, // small tolerance for anti‑aliasing
});
});Той самий тест можна провести для мобільного проєкту, змінивши вікно перегляду в блоці test.use. Playwright автоматично зберігає базову лінію під test-results/<test-name>/snapshots.
3.3 Знімок доступності (опціонально)
Playwright також може зафіксувати дерево доступності, на яке ШІ може пізніше посилатися.
const ax = await page.accessibility.snapshot();
expect(ax).toMatchSnapshot('product-desktop.ax.json');4. Дезінфікація зображення перед використанням ШІ
Перед тим, як надіслати скріншот зовнішній моделі, ми повинні видалити будь-які секрети, які могли бути розкриті (наприклад, токени автентифікації, відображені в налагоджувальному оверлеї). Простий підхід — накласти суцільний прямокутник на відомі селектори.
import { sharp } from 'sharp'; // image‑processing library
async function sanitize(imageBuffer: Buffer): Promise<Buffer> {
const img = sharp(imageBuffer);
// Example: hide any element with class .debug-token
const { width, height } = await img.metadata();
const overlay = Buffer.from(
`<svg width="${width}" height="${height}">
<rect x="0" y="0" width="${width}" height="${height}" fill="none"/>
<rect x="10" y="10" width="200" height="30" fill="#000"/>
</svg>`
);
return img.composite([{ input: overlay, blend: 'dest-in' }]).png().toBuffer();
}Очищена копія — єдиний артефакт, який надсилається ШІ; оригінал зберігається в сховищі тестових артефактів для аудиту.
5. Розробка підказок і обізнаність про обмеження тарифів
нейтральний до провайдера запит має бути коротким, чітким і уникати вбудовування вмісту сторінки, який можна інтерпретувати як інструкції.
You are a QA assistant. Examine the attached screenshot of a product page.
Identify layout anomalies, missing elements, or accessibility concerns.
Return findings in JSON matching the provided схема. Do not modify the image.Оскільки більшість API мов зору стягують плату за запит і встановлюють обмеження швидкості**, тестовий пристрій повинен:
- Кешуйте відповіді ШІ для заданого хешу скріншоту.
- Пропустіть крок штучного інтелекту для незмінних базових ліній (детермінований прохід).
- Фіксуйте витрати за прохід для бюджетування.
6. Структуровані кандидатські висновки
Схема JSON робить вихід ШІ машинозчитуваним і безпечним для перевірки перед перевіркою користувачами.
{
"$схема": "http://json-схема.org/draft-07/схема#",
"title": "ШІ Visual Findings",
"type": "array",
"items": {
"type": "object",
"required": ["id", "description", "severity", "location", "screenshotRef"],
"properties": {
"id": { "type": "string", "format": "uuid" },
"description": { "type": "string", "minLength": 1 },
"severity": { "enum": ["info", "low", "medium", "high", "critical"] },
"location": {
"type": "object",
"required": ["selector", "boundingBox"],
"properties": {
"selector": { "type": "string" },
"boundingBox": {
"type": "object",
"required": ["x", "y", "width", "height"],
"properties": {
"x": { "type": "number" },
"y": { "type": "number" },
"width": { "type": "number" },
"height": { "type": "number" }
}
}
}
},
"screenshotRef": { "type": "string", "format": "uri" },
"confidence": { "type": "number", "minimum": 0, "maximum": 1 }
}
}
}Тест-раннер перевіряє відповідь ШІ за цією схемою (наприклад, використовуючи ajv). Будь-яке відхилення фіксується, а результат ШІ відкидається.
7. Пакет доказів для рецензента
Коли кандидат проходить валідацію схеми, система збирає пакет доказів:
- Оригінальний скріншот (без змін).
- Очищений скріншот (надіслано ШІ).
- Диференційне зображення згенероване Playwright (
expect(...).toMatchSnapshotвже зберігає інший PNG). - ШІ JSON корисний вантаж.
- Метадані – ім'я тесту, ідентифікатор запуску, порт перегляду, версія браузера.
Всі артефакти завантажуються до архітектурного сховища CI (GitHub Actions) і пов'язані з інтерфейсу огляду (наприклад, власний коментар на GitHub або заявка в Azure DevOps). Рецензент може побачити візуальну відмінність, прочитати опис ШІ і вирішити:
- Затвердити дефект – створити баг за пропозицією ШІ та приєднати диференцію.
- Відхилити – позначити результат ШІ як хибнопозитивний (допомагає покращити підказку або модель).
- Оновити базовий рівень – лише після того, як ручний візуальний огляд підтвердить, що зміна була навмисною.
Оскільки ШІ ніколи не записує на базову лінію автоматично, детермінований контракт тестового набору залишається незмінним.
8. Вирішення поширених проблем візуального тестування
| Діти | Техніка Playwrightа | Розгляд рівня ШІ |
|---|---|---|
| Анімації | await page.waitForTimeout або animation: none CSS-override. | ШІ слід наказувати ігнорувати анімовані регіони; маскувати їх, якщо потрібно. |
| Динамічні регіони | mask варіант у page.screenshot. | Переконайтеся, що та сама маска нанесена до того, як зображення потрапить до моделі. |
| Покриття через вікно перегляду | Використовуйте fullPage: true для повного захоплення або clip у певну зону. | Схема ШІ очікує boundingBox; точне обрізання покращує точність розташування. |
| Хибнопозитивні результати | Щільні налаштування maxDiffPixels та threshold. | Людський огляд є останнім арбітром; тримайте пропозиції щодо ШІ низькою впевненістю для необов'язкового сортування. |
| Доступність | page.accessibility.snapshot(). | ШІ може посилатися на дерево на поверхню відсутніх міток ARIA, але все одно потребує перевірки. |
9. Охорона та захист приватності
- Секретне видалення – маскувати будь-який елемент, який може містити токени, ключі API або користувацькі дані перед відправкою образу.
- Ін'єкція підказок – ніколи не вставляйте сирий текст сторінки у запит; розглядайте вміст сторінки лише як дані.
- Рекомендації OWASP – дотримуйтесь OWASP «Безпечних практик кодування» для очищення даних та пом'якшення «Injection» (OWASP Top 10 A03) при створенні підказок.
- Обмеження тарифів і витрати – налаштувати бюджет на запуск; скасувати етап ШІ, якщо прогнозовані витрати перевищують поріг.
Ці заходи підтримують взаємодію ШІ у відповідності типовим корпоративним політикам безпеки.
10. Де допомагає автоматизація
- Детерміноване захоплення – Playwright гарантує той самий піксельний вихід, коли середовище стабільне.
- Маскування та дезінфекція – Скрипти надійно приховують нестабільні або секретні ділянки, завдання, яке часто буває схильним до помилок вручну.
- Валідація схеми – Автоматизована валідація JSON запобігає потраплянню неправильно сформованого ШІ-результату до рецензентів.
- Генерація диференцій – Вбудовані диференційні зображення Playwrightа дають миттєвий візуальний сигнал, якому люди можуть довіряти.
Автоматизація не замінює судження, необхідне для визначення, чи є візуальна зміна регресією, навмисним редизайном чи хибною тривогою.
11. Приклад допоміжного TypeScript, який об'єднує все разом
import { test, expect, Page } from '@playwright/test';
import Ajv from 'ajv';
import fetch from 'node-fetch';
import { sanitize } from './sanitize'; // function from §4
const ajv = new Ajv();
const схема = require('./ШІ-findings-схема.json');
const validate = ajv.compile(схема);
async function runAiReview(
screenshot: Buffer,
testInfo: { name: string; runId: string }
): Promise<void> {
const sanitized = await sanitize(screenshot);
const response = await fetch('https://api.example.com/vision', {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.AI_TOKEN}`,
'Content-Type': 'application/octet-stream',
},
body: sanitized,
});
if (!response.ok) throw new Error('ШІ service error');
const findings = await response.json();
if (!validate(findings)) {
console.warn('ШІ output failed схема validation', validate.errors);
return;
}
// Assemble evidence bundle (simplified)
const evidence = {
testName: testInfo.name,
runId: testInfo.runId,
screenshotUrl: `artifacts/${testInfo.runId}/original.png`,
sanitizedUrl: `artifacts/${testInfo.runId}/sanitized.png`,
diffUrl: `artifacts/${testInfo.runId}/diff.png`,
findings,
};
// Post to a review system – placeholder
await fetch('https://review.example.com/bundle', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify(evidence),
});
}
// Example test that uses the helper
test('product page – mobile layout', async ({ page }, testInfo) => {
await page.route('**/price', route =>
route.fulfill({ json: { amount: '19.99', currency: 'USD' } })
);
await page.goto('/product/123');
await page.waitForTimeout(500); // let animation settle
const screenshot = await page.screenshot({
fullPage: true,
mask: [{ css: '.price-badge' }, { css: '.debug-token' }],
});
// Deterministic visual assertion
expect(screenshot).toMatchSnapshot('product-mobile.png', {
maxDiffPixels: 80,
});
// Run optional ШІ review (non‑blocking)
await runAiReview(screenshot, {
name: testInfo.title,
runId: testInfo.retry ? `${testInfo.project.name}-retry` : testInfo.project.name,
});
});Помічник ніколи записує на базову лінію; він завантажує лише пакет доказів для подальшої людської інспекції.
12. Питання для перегляду
- Яку роль відіграє рівень ШІ у візуальному тестуванні Playwright і чому його результат має бути перевірений перед людським переглядом?
- Як запобігти тому, щоб динамічні елементи сторінки (наприклад, цінові значки, спінери) створювали хибні візуальні відмінності?
- Які опції Playwright API дозволяють маскувати або обрізати скріншоти, і чому це важливо для безпеки ШІ?
- Опишіть дві проблеми з безпекою при надсилання скріншотів сторінок зовнішній моделі та як ви їх усуваєте.
- Чому ШІ ніколи не повинен автоматично оновлювати візуальний базовий показник, навіть якщо його рівень впевненості високий?
13. Висновок
Додавання мультимодального ШІ-оглядача до візуального тестування Playwright може виявити семантичні інсайти, які сирі піксельні диференціали пропускають, але межа довіри має залишатися чітко визначеною. Зберігаючи детерміновані твердження Playwright як джерело істини, очищаючи зображення, дотримуючись суворої схеми JSON і прокладаючи кожну пропозицію ШІ через людські ворота, команди отримують переваги триажу з підтримкою ШІ без втрати надійності, безпеки чи контролю витрат. Описана тут закономірність є навмисно опціональною та оборотною — ви можете увімкнути ШІ-шар для кожного проєкту, контролювати його корисність і відкотувати його, не торкаючись основного набору візуальних тестів.
Джерела
- Playwright documentation – Screenshots and visual comparisons: <https://playwright.dev/docs/screenshots>
- Playwright documentation – Test snapshots and accessibility: <https://playwright.dev/docs/test-snapshots>
- OWASP Foundation – Injection mitigation (Top 10 A03): <https://owasp.org/www-project-top-ten/>
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…