Як за допомогою ШІ виявляти першопричини періодичних збоїв, зберігати докази першої невдачі й не дозволяти самовідновленню приховувати реальні дефекти продукту.


1. Вступ

Нестабільні тести — це тести, які без змін у коді то проходять, то завершуються невдало. У конвеєрі безперервної інтеграції (CI) вони можуть перетворити справжній дефект на «зелену» збірку, підірвати довіру до автоматизації та привчити розробників ігнорувати результати тестування. Тестовий раннер Playwright підтримує повторні спроби й надає докладне трасування, але ці можливості часто використовують як просту кнопку «зробити збірку зеленою».

У цьому посібнику показано, як перетворити механізми повторних спроб і трасування Playwright на діагностичний сигнал, а не на спосіб замаскувати результат, і як доповнити зібрані дані аналізом за допомогою ШІ, зберігаючи участь людини в ухваленні рішень. Процес враховує ризики, ґрунтується на доказах і сумісний із типовими конфігураціями CI.


2. Чому нестабільні тести небезпечні

Найпоширеніші причини нестабільності тестів Playwright описано в матеріалах спільноти Playwright; вони також узгоджуються з висновками статті Харі Гокула:

КатегоріяТиповий симптомПриклад у Playwright
Проблеми із синхронізацією / стани гонитвиЕлемент ще не готовий, раптові затримки мережіawait page.click('#submit') періодично завершується невдало
Крихкі селекториЗміни DOM порушують роботу локаторів CSS/XPathpage.locator('text=Login') перестає бути надійним після оновлення інтерфейсу
Нестабільність мережіТайм-аути зовнішнього APIТест завершується невдало, якщо сторонній сервіс працює повільно
Спільний станТести забруднюють спільний запис у базі даних або стан сховищаДва паралельні воркери записують дані в той самий файл
Відмінності між середовищамиРізні системні шрифти, рендеринг у режимах headless і headedВізуальний регресійний тест проходить локально, але завершується невдало в CI

Якщо конвеєр CI просто повторно запускає тест і позначає його як пройдений, докази першої невдачі — консоль браузера, мережеві журнали та скріншоти — зникають. Тоді неможливо визначити, чи була невдача нешкідливим збоєм інфраструктури, чи реальним дефектом.


3. Повторні спроби Playwright: від «зробити збірку зеленою» до діагностичного сигналу

За замовчуванням повторні спроби в Playwright вимкнено. Якщо їх увімкнути, раннер класифікує тест як пройдений, коли він успішний із першої спроби, як нестабільний, коли спочатку він завершується невдало, а під час наступної спроби проходить, і як непройдений, коли невдалими є всі спроби. Ця класифікація має залишатися видимою в CI: повторна спроба не повинна непомітно перетворювати нестабільний результат на звичайний статус «пройдено».

Запис трас потребує свідомого вибору з урахуванням компромісів:

Режим трасуванняЩо він записуєВикористання під час тріажу
retain-on-failureЗаписує кожну спробу та зберігає траси невдалих спробНайкращий вибір, коли основним доказом є початкова невдача
on-first-retryЗаписує першу повторну спробу, а не початковуДає змогу дослідити новий контекст повторної спроби
on-all-retriesЗаписує кожну повторну спробуДає змогу порівнювати кілька повторних спроб, але створює більше артефактів

Жоден із режимів не фіксує одночасно і початкову спробу, і кожну успішну повторну спробу. Виберіть потрібні докази та доповніть їх скріншотами, відео, журналами консолі, мережевими даними й HTML-звітом.

Рекомендована базова конфігурація для CI

// playwright.config.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: process.env.CI ? 2 : 0,
  reporter: [['list'], ['html', { open: 'never' }]],
  use: {
    trace: 'retain-on-failure',
    screenshot: 'only-on-failure',
    video: 'retain-on-failure',
  },
  workers: process.env.CI ? 1 : undefined,
  maxFailures: 20,
});

Ця конфігурація зберігає докази невдалих спроб, а повторні спроби залишаються видимими у звіті. Значення 2, 1 і 20 — це приклади робочих налаштувань, а не універсальні рекомендації Playwright. Команда має добирати їх з огляду на тривалість виконання, інфраструктуру та ризики.


4. Збереження доказів першої невдачі

Діагностику потрібно ввімкнути до запуску тесту. Якщо почати трасування в afterEach, відтворити попередні дії в браузері вже неможливо. Вбудованих скріншотів, відео й трас зазвичай достатньо; невелика автоматична фікстура може додатково зберегти повідомлення консолі:

// fixtures.ts
import { test as base } from '@playwright/test';

export const test = base.extend<{ consoleEvidence: void }>({
  consoleEvidence: [async ({ page }, use, testInfo) => {
    const messages: string[] = [];
    page.on('console', message => {
      messages.push(`[${message.type()}] ${message.text()}`);
    });

    await use();

    if (testInfo.status !== testInfo.expectedStatus) {
      await testInfo.attach('console.log', {
        body: Buffer.from(messages.join('\n'), 'utf-8'),
        contentType: 'text/plain',
      });
    }
  }, { auto: true }],
});

export { expect } from '@playwright/test';

За режиму trace: 'retain-on-failure' для першої невдалої спроби зберігається траса. Скріншот, відео, вкладення з повідомленнями консолі та дані звіту утворюють єдиний набір доказів. Якщо команді натомість потрібна траса повторної спроби, використовуйте on-first-retry і задокументуйте, що початкову спробу буде представлено іншими артефактами.


5. Процес тріажу за допомогою ШІ

Нижче наведено процес з урахуванням ризиків і обов’язковою участю людини. ШІ допомагає визначити найімовірнішу першопричину, але жоден потенційно реальний дефект не потрапляє в карантин автоматично.

┌─────────────────────┐
│ Test finishes (CI) │
└───────┬─────────────┘
        │
        ▼
┌─────────────────────┐
│ Did the test retry? │───── No ──► Mark as PASS/FAIL (no AI needed)
└───────┬─────────────┘
        │ Yes
        ▼
┌─────────────────────┐
│ Collect artifacts:  │
│  – retained failure trace│
│  – retry result/report   │
│  – screenshots, logs    │
│  – network HAR (if enabled)│
└───────┬─────────────┘
        │
        ▼
┌─────────────────────┐
│ Feed artifacts to AI│
│ (LLM or specialized│
│  log‑analysis model)│
└───────┬─────────────┘
        │
        ▼
┌─────────────────────┐
│ AI returns:         │
│  • Probable cause   │
│  • Confidence score│
│  • Suggested action│
└───────┬─────────────┘
        │
        ▼
┌─────────────────────┐
│ Human reviewer checks│
│  – confidence threshold │
│  – evidence checklist   │
│  – risk impact          │
└───────┬─────────────┘
        │
   ┌────┴─────┐
   │          │
   ▼          ▼
Quarantine   Fix / Refactor
(only if   (only after human sign‑off)
human confirms)

5.1 Перелік доказів для перевірки людиною

ПозиціяЧому це важливо
Збережена траса невдалої спробиПоказує дії браузера та його стан під час невдалої спроби, якщо використано retain-on-failure.
Результат повторної спроби та запис у звітіПідтверджує, чи пройшла наступна спроба, і зберігає класифікацію результату як нестабільного.
Журнали консолі й мережіДопомагають виявити тайм-аути, відповіді з кодом 5xx або винятки JavaScript.
Різниця між скріншотами (якщо ввімкнено візуальне порівняння)Виявляє відмінності рендерингу між режимами headless і headed.
Історичні дані запусків (останні 10 запусків)Допомагають ШІ обчислити показник нестабільності, наприклад частку запусків, яким знадобилася повторна спроба.
Метадані тесту (кількість повторних спроб, індекс воркера)Допомагають виключити проблеми зі спільним станом.

Перш ніж застосовувати самовідновлення або замінювати селектор, рецензент має відповісти на запитання: «Чи достатньо доказів того, що невдачу спричинила крихкість тесту, а не дефект продукту?»

5.2 Вимірювані показники нестабільності

ПоказникРозрахунокІнтерпретація
Частка нестабільних тестів# тестів, класифікованих як нестабільні / # виконаних тестівВідстежуйте за набором тестів, гілкою та середовищем; розслідуйте стійке зростання.
Частка успішних повторних спроб# тестів, що пройшли під час повторної спроби / # тестів із повторними спробамиЗростання показника може свідчити про дедалі більшу залежність від повторних спроб.
Розподіл часу до невдачіТривалість від початку тесту до невдачі в різних запускахПорівнюйте закономірності; сама лише тривалість не доводить першопричину.
Оцінка впевненості ШІВизначений моделлю показник із посиланнями на доказиВикористовуйте лише для визначення пріоритету ручної перевірки, а не як дозвіл на автоматичне поміщення тесту в карантин.

Ці показники можна відобразити на інформаційних панелях CI, щоб своєчасно виявляти тенденції.


6. Матриця рішень для тріажу з урахуванням ризику

Рівень ризикуХарактер доказівОбов’язкова дія
НизькийВідтворювана проблема в тестовому коді з однозначними доказами та без впливу на продуктСтворити завдання на супровід; рецензент може схвалити виправлення, що стосується лише тесту.
СереднійНеоднозначні докази, регулярні повторні спроби або залежність від середовищаСтворити заявку на тріаж, зберегти артефакти й відтворити проблему в контрольованих умовах; не поміщати тест у карантин автоматично.
ВисокийМожливий дефект продукту, ризик для безпеки чи даних або непояснена періодична поведінкаВважати випадок дефектом, доки не доведено протилежне; заблокувати автоматичне самовідновлення та вимагати перевірки відповідальним за предметну область.

У матриці навмисно немає універсальних порогових значень у відсотках або рівнів упевненості. Кожна команда має визначати пороги на основі власних базових показників, але невизначеність і значний вплив завжди є підставою для розслідування за участю людини.


7. Безпечні межі автоматизації

МежаОбґрунтування
Кількість повторних спроб явно обмеженоБільша кількість повторних спроб збільшує витрати й може перетворити нестабільність на норму; точний ліміт визначає команда.
Режим трасування вибрано свідомоretain-on-failure надає пріоритет невдалій спробі; режими, що записують лише повторні спроби, відповідають на інше запитання.
Кількість воркерів контролюєтьсяЗапуск з одним воркером може допомогти діагностувати брак ресурсів або взаємозалежність через спільний стан, але не усуває дефектів ізоляції.
Без автоматичного переписування селекторівСамовідновлення потребує перевірки; інакше дефект користувацького інтерфейсу може залишитися непоміченим.
Термін зберігання артефактів визначає політикаЗберігайте докази достатньо довго для тріажу з урахуванням обмежень щодо сховища, конфіденційності та безпеки.

8. Конкретні приклади конфігурації Playwright

8.1 Конфігурація лише для CI (змінна середовища CI=true)

// playwright.config.ci.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: 2,
  workers: 1,
  maxFailures: 20,
  use: {
    trace: 'retain-on-failure',
    screenshot: 'only-on-failure',
    video: 'retain-on-failure',
    launchOptions: { headless: true },
  },
  reporter: [
    ['list'],
    ['html', { open: 'never', outputFolder: 'playwright-report' }],
  ],
});

8.2 Конфігурація для локальної розробки (без повторних спроб, повне трасування)

// playwright.config.local.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: 0,
  workers: undefined, // default based on CPU cores
  use: {
    trace: 'on', // full local trace; expensive for CI
    screenshot: 'on',
    video: 'on',
  },
});

Перемикатися між цими двома файлами можна за допомогою npm-скрипта:

{
  "scripts": {
    "test:ci": "playwright test --config=playwright.config.ci.ts",
    "test:local": "playwright test --config=playwright.config.local.ts"
  }
}

9. Запобіжні механізми за участю людини

  1. Ніколи не об’єднуйте PR із тестом у карантині без явного схвалення рецензента.
  2. Вимагайте коментар щодо тріажу, який містить посилання принаймні на один артефакт — трасу, журнал або скріншот — на підтвердження рішення.
  3. Записуйте кожну пропозицію ШІ у підсумку завдання CI, щоб команда могла перевіряти хибнопозитивні та хибнонегативні висновки.
  4. Заплануйте періодичний перегляд панелі показників нестабільності, наприклад після кожного спринту, щоб коригувати ліміти повторних спроб або вдосконалювати структуру тестів.

Ці кроки забезпечують прозорість процесу й запобігають пастці «самовідновлення», коли ШІ непомітно виправляє кожен нестабільний тест без перевірки людиною.


10. П’ять конкретних запитань для оцінювання ШІ-агента з тріажу нестабільних тестів

  1. На яких вихідних даних ШІ ґрунтує свої висновки? Перевірте, чи аналізує він необроблені траси Playwright, журнали консолі, мережеві дані та історію запусків, чи лише попередньо оброблений зведений звіт.
  2. Як модель відображає невизначеність? Вимагайте каліброваної оцінки невизначеності з посиланнями на докази: саме по собі числове значення впевненості нічого не доводить.
  3. Чи може ШІ визначити точний крок, який відрізнявся між невдалою спробою та повторним запуском? Відповідь має посилатися на конкретну дію або артефакт, а не містити лише загальне формулювання на кшталт «проблема із синхронізацією».
  4. Який журнал аудиту ведеться для запропонованої дії із самовідновлення? Фіксуйте початковий локатор або поведінку, запропоновану зміну та докази на її підтвердження.
  5. Як ШІ обробляє випадки з невідомою причиною? Він має передавати їх на ручну перевірку, а не автоматично поміщати тест у карантин чи застосовувати виправлення.

Ці запитання допомагають керівникам QA переконатися, що ШІ є інструментом підтримки рішень, а не тим, хто їх ухвалює.


11. У яких випадках автоматизація допомагає

Отже, автоматизація є мультиплікатором ефективності: вона збирає докази, ШІ допомагає їх інтерпретувати, а остаточне рішення ухвалює людина.


12. Висновок

Нестабільні тести Playwright не мають ставати прихованою загрозою для якості продукту. Завдяки продуманому налаштуванню повторних спроб, фіксації стану першої невдачі та передаванню всіх артефактів у конвеєр тріажу за допомогою ШІ команди можуть відрізняти справжні дефекти від крихкості тестового коду. Описаний процес зберігає критично важливі докази, кількісно оцінює нестабільність і застосовує матрицю рішень на основі ризиків, яка завжди вимагає схвалення людиною перед самовідновленням або поміщенням тесту в карантин. За відповідального використання автоматизація та ШІ стають потужними союзниками в підтриманні надійного набору тестів, водночас залишаючи ручне й дослідницьке тестування в основі забезпечення якості.


Джерела

Для фактичних тверджень використано лише вихідну статтю та офіційну документацію Playwright.