Як перетворити сирі дані Playwright CI у надійну первинну класифікацію перед залученням ШІ‑асистента.
1. Чому важливий детермінований тріажний шар
Нестабільні тести марнують час розробника, приховують реальні регресії та підривають довіру до конвеєра CI. Спокуса полягає в тому, щоб передати кожну неоднозначну помилку моделі ШІ, яка пропонує змінити або автоматично вимкнути локатор тест. Хоча ШІ може бути корисним помічником, він ніколи не повинен замінювати дисциплінований етап збору доказів. Детермінований рівень сортування гарантує, що рішення залучити людину — або ШІ — базується на конкретних, відтворюваних сигналах, а не на припущеннях.
Вбудована підтримка повторних спроб, переглядач трасування, скріншоти та публікація артефактів (як описано в офіційній документації) дають нам саме ті дані, необхідні для першого проходу. Витягуючи кількість повторних спроб, результат кожної спроби, тип невдалого твердження та метадані середовища, ми можемо відокремити інфраструктуру з високою впевненістю або збої продукту від випадків, які залишаються неоднозначними.
2. Конкретний сценарій CI
Розглянемо робочий процес GitHub Actions, який запускає тести Playwright на матриці браузерів. Робочий процес публікує такі артефакти для кожного запуску:
- Trace files (
.zip) – містять покрокові дані мережі, DOM та скріншоти. - Скріншоти – зафіксовано після невдачі.
- Відео – необов'язково, але корисно для візуальної перевірки.
- Тестові метадані – відкриті через
testInfo(номер повторної спроби, індекс працівника, назва проєкту тощо).
Коли тест провалює, робочий процес автоматично завантажує ці артефакти як частину резюме запуску, роблячи їх миттєво доступними для подальшого аналізу.
3. Покроковий детермінований тріаж
| Крок | Що ми захоплюємо | Чому це важливо |
|---|---|---|
| 1. Виявлення несправності | Playwright позначає цей тест як провалився у звіті JSON. | Точка входу в логіку тріажу. |
| 2. Кількість рекордної спроби | testInfo.retry (0 з першої спроби, 1 з першої спроби, ...). | Визначає, чи є невдача проблемою першої спроби чи аномалією лише повторно. |
| 3. Результат повторної спроби захоплення | Успіх або невдача наступної спроби(ів). | Повторна спроба, яка проходить, ** не гарантує, що початкова невдача була нешкідливою; вона лише показує, що тест може бути успішним за трохи інших умов часу чи ресурсів. |
| 4. Класифікувати твердження | Визначте тип винятку (AssertionError, TimeoutError, мережеві помилки тощо). | Певні категорії (наприклад, тайм-аути мережі) частіше пов'язані з інфраструктурою, тоді як інші (наприклад, невідповідний текст інтерфейсу) можуть вказувати на зміну продукту. |
| 5. Прикріпити трасування та скріншот | Використовуйте testInfo.attachments для збереження файлу трасування та скріншоту несправності. | Надає детерміновані візуальні докази, які можна перевірити без повторного повторення тесту. |
| 6. Метадані середовища запису | ОС, версії браузера, ідентифікатора CI runner, комміту SHA та будь-яких прапорчиків функцій. | Допомагає помічати закономірності, наприклад, «відмовляє лише у Windows Chrome 115». |
| 7. Застосовувати детерміновані правила | Невелика функція, підлягаюча одиничному тестуванню, оцінює зібрані дані і повертає одну з трьох міток: Infrastructure, Product, Ambiguous. | Набір правил прозорий, контролюється версіями і може бути перевірений командою. |
| 8. Маршрутизуйте результат | Інфраструктура → автоматичне створення заявки для інфраструктурної команди. <br>Product → автоматично створює заявку на дефект із прикріпленим трасуванням. <br>Неоднозначно → прапорець для людського огляду або додаткової допомоги ШІ. | Гарантії, що автоматично розглядаються лише випадки високої конфіденційності. |
Потік зупиняється на 7-му кроці для класифікацій Інфраструктура та Продукт. Лише коли набір правил не може прийняти впевненого рішення, ми залучаємо людину або ШІ-асистента.
4. Приклад TypeScript – додавання детермінованих доказів
import { test, expect, TestInfo } from '@playwright/test';
// Helper that builds a structured evidence object
function buildEvidence(info: TestInfo, error: Error) {
const evidence = {
retry: info.retry, // attempt number
outcome: info.status, // "failed" or "passed"
assertion: error.name, // e.g., "AssertionError"
message: error.message,
tracePath: info.attachments.find(a => a.name === 'trace')?.path,
screenshotPath: info.attachments.find(a => a.name === 'screenshot')?.path,
env: {
os: process.platform,
browser: info.project.name,
commit: process.env.GITHUB_SHA,
runId: process.env.GITHUB_RUN_ID,
},
};
// Persist as JSON artifact for later rule evaluation
info.attach('triage-evidence', {
body: JSON.stringify(evidence, null, 2),
contentType: 'application/json',
});
}
// Example test that records evidence on failure
test('checkout flow shows correct total', async ({ page }, testInfo) => {
try {
await page.goto('https://example.com/checkout');
await expect(page.locator('#total')).toHaveText('$42.00');
} catch (err) {
// Capture trace and screenshot before rethrowing
await testInfo.attach('trace', { path: testInfo.outputPath('trace.zip'), contentType: 'application/zip' });
await testInfo.attach('screenshot', { path: testInfo.outputPath('failure.png'), contentType: 'image/png' });
buildEvidence(testInfo, err as Error);
throw err; // Let Playwright mark the test as failed
}
});Ключові моменти
testInfo.retry— це детермінований сигнал, який повідомляє, чи сталася помилка з першої спроби.- Вкладення
triage-evidence— це JSON-файл, який наступні скрипти можуть обробляти без повторного виконання тесту. - Усі артефакти автоматично завантажуються GitHub Actions після завершення завдання, що робить їх доступними для рушія правил.
5. Детерміновані правила класифікації (одиничне тестування)
type Evidence = {
retry: number;
outcome: 'failed' | 'passed';
assertion: string;
env: { os: string; browser: string };
};
export function classify(e: Evidence): 'Infrastructure' | 'Product' | 'Ambiguous' {
// Rule 1 – Infrastructure timeout on first attempt
if (e.retry === 0 && e.assertion === 'TimeoutError') {
return 'Infrastructure';
}
// Rule 2 – Assertion error that passes on retry → ambiguous
if (e.retry > 0 && e.assertion === 'AssertionError' && e.outcome === 'passed') {
return 'Ambiguous';
}
// Rule 3 – Consistent assertion error across all attempts → product defect
if (e.retry === 0 && e.assertion === 'AssertionError') {
return 'Product';
}
// Rule 4 – Known flaky pattern (e.g., Chrome on Linux) – treat as infrastructure
if (e.env.browser.includes('chrome') && e.env.os === 'linux' && e.assertion === 'NetworkError') {
return 'Infrastructure';
}
// Default – we cannot decide with confidence
return 'Ambiguous';
}Кожне правило є навмисно простим, що полегшує написання юніт-тестів, які перевіряють очікувану мітку для заданого корисного навантаження доказів. Набір правил може змінюватися у міру виявлення нових закономірностей командою, але будь-які зміни мають бути переглянуті та контролюватися версіями.
6. Чому результат «повторний успіх» не є доказом нешкідливої нестабільності
Механізм повторної спроби Playwright повторює весь тест (або невдалий крок, залежно від конфігурації). Пропущений повторний тест показує, що тест може пройти успішно за трохи іншим таймінгом або знімком ресурсу, але не пояснює чому перша спроба була невдачею. Поширені приховані причини включають:
- Затримка тимчасової мережі, яка перевищує стандартний тайм-аут при першій спробі, але не при повторній спробі.
- Умови гонки у заявці, які проявляються лише тоді, коли DOM перебуває у певному стані.
- Конфлікт ресурсів на CI-runner (наприклад, троттлінг процесора), який зникає після короткої паузи.
Якщо ми автоматично позначаємо такі випадки як «нешкідливі», ми ризикуємо пропустити регресію, яка з'являється лише за певним патерном завантаження. Детерміновані докази (трасування, скріншоти, кількість повторних спроб) дозволяють людині перевірити, чи успіх повторного опитування справді є доброзичливим, чи він приховує глибшу проблему.
7. Чому AssertionError не є автоматично дефектом продукту
AssertionError просто повідомляє, що очікування в тесті не відповідало спостережуваному значенню. Невідповідність може виникати з:
- Дрейф локатора – селектор вказує на інший елемент після редизайну інтерфейсу.
- Варіативність часу – текст елемента оновлюється на кілька мілісекунд пізніше за виконання твердження.
- Відмінності середовища – шрифти, локації або налаштування DPI, які впливають на відображений текст.
Лише коли докази показують послідовне невідповідність у всіх спробах і середовищах, слід розглядати це як дефект продукту. Інакше відмова належить до інфраструктури або нестабільного тесту, і відповідною відповіддю є коригування політики повторних спроб або покращення стабільності тесту, а не запит на дефект.
8. Безпечна ескалація до ШІ – що асистент може (і не може) робити
Коли детермінований класифікатор повертає Неоднозначний, команда може обрати залучення ШІ-асистента для пропозицій. Обсяг цієї допомоги має бути суворо обмежений:
| Дозволені дії ШІ | Заборонені дії ШІ |
|---|---|
| Запропонуйте новий локатор на основі скріншоту трасування. | Безпосередньо модифікувати тестовий файл без дозволу людини. |
| Підсумуйте кроки сліду, які призвели до відмови. | Приглушіть тест на лущентя або позначте його як «пропуск». |
| Виділіть відсутні запити мережі, які могли б пояснити тайм-аут. | Згенеруйте опис дефекту, який автоматично подається без перегляду. |
Логіка проста: модель ШІ не має контекстуальних знань про намір продукту, графік випуску чи толерантність до ризику. Вона може викликати підказки, але остаточне рішення — чи змінювати селектор, коригувати тайм-аут або відкривати дефект — має залишатися людським судженням.
9. Де допомагає автоматизація
- Збір доказів – Вбудований
testInfoта переглядач слідів Playwright автоматизують захоплення детермінованих даних, усуваючи ручний пошук скріншотів. - Виконання рушієм правил – Функція класифікації може виконувати як крок GitHub Action, який позначає запуск міткою (
infra,product,needs‑review). Це усуває необхідність читати кожен журнал відмов. - Публікація артефактів – GitHub Actions автоматично зберігає траси та скріншоти як завантажувані артефакти, забезпечуючи незмінність і аудит даних.
- Маршрутизація сповіщень – Залежно від мітки, робочий процес може опублікувати повідомлення у відповідному Slack-каналі або створити тікет Jira, гарантуючи, що правильна команда отримає правильний сигнал.
Автоматизація зупиняється від прийняття рішень; вона надає факти, які дозволяють швидко та надійно проводити перевірку за допомогою людини або ШІ.
10. Питання для повторення
- Яка франшиза Playwright повідомляє вам про поточну спробу повторної спроби і чому вона є необхідною для детермінованого сортування?
- Поясніть, чому тест, який проходить повторний тест, все одно слід перевірити перед тим, як його визнають «нестабільним, але безпечним».
- Перелічіть дві категорії тверджень, які частіше вказують на проблеми з інфраструктурою, а не на дефекти продукту.
- Які три можливі результати класифікації детермінованого рушія правил і яку дію кожен із них запускає?
- Визначте одну дію, запропоновану ШІ, дозволену у категорії «Неоднозначний» і яку потрібно заборонити.
11. Висновок
Нестабільні тести неминучі, але спосіб, у який ми їх проводимо, визначає, чи стануть вони витратою продуктивності, чи керованим сигналом. Використовуючи метадані повторних спроб Playwright, артефакти трасування та структуровані вкладення, ми можемо створити детермінований рівень тріажу, який надійно відокремлює інфраструктуру з високою впевненістю або збої продукту від справді неоднозначних випадків. Лише останнє слід передати до людського рецензента або асистента ШІ, і навіть тоді роль ШІ має обмежуватися пропозицією, а не виконанням. Такий дисциплінований підхід зберігає цілісність тестів, зберігає надійність CI-конвеєра і гарантує, що автоматизація залишається помічником, а не неконтрольованим приймачем рішень.
Джерела
- Повторні спроби тесту Playwrightа – https://playwright.dev/docs/test-повторні спроби
- Глядач Playwrightа Trace – https://playwright.dev/docs/trace-viewer
- Документація GitHub Actions щодо завантаження артефактів – https://docs.github.com/en/actions/using-workflows/storing-workflow-data-as-artifacts
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…