Практичні рекомендації щодо перетворення вимог продукту у надійні автоматизовані UI‑тести, залишаючи людину в процесі.


1. Вступ

Сучасні гнучкі команди фіксують функціональний намір у вигляді користувацьких історій та критеріїв приймання. Ті ж артефакти можуть слугувати джерелом для автоматизації тестів на рівні UI, проте переклад рідко є тривіальним. Великі мовні моделі (LLM) можуть генерувати кандидатські скрипти Playwright з нормалізованого опису історії, проте згенерований код ніколи не слід вважати готовим до продакшну без перевірки.

У цій статті описано повторюваний, простежуваний процес, який:

  1. Нормалізує користувацьку історію у структурований test‑scenario DTO.
  2. Передає DTO LLM, яка повертає кандидатський тест Playwright.
  3. Застосовує людський перегляд, детерміновані асерції та метадані‑анотації, які прив’язують тест до початкового ідентифікатора вимоги.
  4. Публікує результат у CI, де тест слугує доказом, а не приймає рішення.

Усі кроки описані за допомогою конкретних фрагментів TypeScript, JSON‑схеми для DTO та практичних захисних механізмів QA, таких як виявлення дублікатних сценаріїв, ізоляція ін’єкції підказок та чек‑лист для затвердження релізу.


2. Потік End‑to‑End

User Story + Acceptance Criteria
          │
          ▼
Normalized Requirement (JSON)
          │
          ▼
Test‑Scenario DTO (structured)
          │
          ▼
LLM Prompt → Candidate Playwright Test (TS)
          │
          ▼
Human Review (review gate)
          │
          ▼
Annotated Playwright Test (tags, deterministic assertions)
          │
          ▼
CI Execution → Pass/Fail evidence
          │
          ▼
Regression Impact analysis

Кожна стрілка представляє hand‑off, який навмисно документується. Єдиний артефакт, що переміщується автоматично між етапами, — це DTO — машинозчитуване представлення, яке можна валідовувати, версіонувати та порівнювати з попередніми запусками.


3. Нормалізація користувацької історії

Сира історія, наприклад

> «Як покупець, я хочу додати товар у кошик, щоб потім його придбати.»

повинна бути очищена від зайвих розповідних деталей і виражена у форматі canonical JSON. Крок нормалізації виконує невеликий внутрішній скрипт (або довірена LLM з фіксованим підказкою), який витягує:

Приклад нормалізованого виводу:

{
  "requirementId": "REQ-1234",
  "feature": "Shopping Cart",
  "scenarioId": "SCN-001",
  "title": "Add product to cart",
  "given": [
    { "type": "state", "description": "User is logged in", "role": "shopper" }
  ],
  "when": [
    { "action": "click", "target": "button[data-test='add-to-cart']", "productId": "123" }
  ],
  "then": [
    { "assertion": "cartContains", "productId": "123", "quantity": 1 }
  ],
  "risk": ["high-value"]
}

JSON‑схема, що валідовує цю структуру, показана пізніше в статті.


4. Генерація DTO тест‑сценарію

DTO – це контракт між командою вимог і генератором коду ШІ. Він містить лише дані, необхідні для створення детермінованого тесту. Мінімальна схема (сумісна з JSON схема Draft‑07) виглядає так:

{
  "$схема": "http://json-схема.org/draft-07/схема#",
  "title": "Playwright Test Scenario DTO",
  "type": "object",
  "required": ["requirementId","scenarioId","title","given","when","then"],
  "properties": {
    "requirementId": { "type": "string" },
    "scenarioId": { "type": "string" },
    "title": { "type": "string" },
    "given": {
      "type": "array",
      "items": { "$ref": "#/definitions/step" }
    },
    "when": {
      "type": "array",
      "items": { "$ref": "#/definitions/step" }
    },
    "then": {
      "type": "array",
      "items": { "$ref": "#/definitions/assertion" }
    },
    "risk": {
      "type": "array",
      "items": { "type": "string" }
    }
  },
  "definitions": {
    "step": {
      "type": "object",
      "required": ["action","target"],
      "properties": {
        "action": { "type": "string" },
        "target": { "type": "string" },
        "description": { "type": "string" },
        "productId": { "type": "string" }
      }
    },
    "assertion": {
      "type": "object",
      "required": ["assertion"],
      "properties": {
        "assertion": { "type": "string" },
        "productId": { "type": "string" },
        "quantity": { "type": "integer" }
      }
    }
  }
}

Схема використовується для валідації перед тим, як DTO потрапить до LLM. Невірні навантаження відхиляються на ранньому етапі, запобігаючи формуванню некоректних підказок, які можуть призвести до неоднозначного коду.


5. Ізоляція Prompt‑Injection

Оскільки DTO походить з ненадійного джерела (беклог продукту), підказка, що подається LLM, має бути пісочницею:

Якщо DTO містить шкідливі навантаження (наприклад, опис given, що включає код), JSON‑схема його відхилить, а шар ізоляції екрануватиме будь‑які зайві символи перед передачею LLM. Такий підхід зменшує ризик класичних атак prompt‑injection, зберігаючи швидкість робочого процесу.


6. Згенерований тест Playwright (Candidate)

Нижче наведено репрезентативний фрагмент TypeScript, який LLM може згенерувати з наведеного вище DTO. Код не вважається правильним, доки його не затвердить людина‑рецензент.

import { test, expect } from '@playwright/test';

// Traceability tags – Playwright supports custom annotations
test.describe.configure({ mode: 'parallel' });

test('REQ-1234 SCN-001 Add product to cart', async ({ page }) => {
  // Tag the test with requirement metadata
  test.info().annotations.push({ type: 'requirement', description: 'REQ-1234' });
  test.info().annotations.push({ type: 'scenario', description: 'SCN-001' });

  // GIVEN – user is logged in
  await page.goto('https://example.com/login');
  await page.fill('#username', 'shopper@example.com');
  await page.fill('#password', 'securePass!');
  await page.click('button[type="submit"]');
  await expect(page).toHaveURL(/.*dashboard/);

  // WHEN – click add‑to‑cart button for product 123
  await page.goto('https://example.com/product/123');
  await page.click('button[data-test="add-to-cart"]');

  // THEN – cart must contain the product (deterministic oracle)
  await page.goto('https://example.com/cart');
  const cartItem = page.locator('li[data-test="cart-item-123"]');
  await expect(cartItem).toBeVisible();
  await expect(cartItem).toHaveText(/Quantity:\s*1/);
});

Ключові моменти:


7. Людський огляд та гейти перевірки

Кандидатський тест направляється до ревізійної ради, яка перевіряє:

  1. Семантична точність – Чи тест охоплює точні критерії приймання?
  2. Безпека – Жодного випадкового видалення даних, жодних жорстко закодованих секретів.
  3. Повнота – Чи присутні негативні шляхи, граничні значення та кроки очищення?
  4. Детермінізм – Усі асерти спираються на механізми очікування Playwright; жодних нестабільних setTimeout хаків.

Ревізійний шлюз можна впровадити в CI, вимагавши підписаний Git‑коміт (наприклад, рядок Signed-off-by:) перед злиттям тесту у гілку automation. Автоматичне лінтування також може перевіряти наявність потрібних анотацій.


8. Детерміновані оракли з веб‑першим асертами

Веб‑перші асерти Playwright автоматично опитують DOM, доки не буде виконана очікувана умова або не спливе тайм‑аут. Така поведінка усуває потребу у ручних паузах і зменшує нестабільність. У наведеному вище прикладі:

Оскільки асерти вбудовані у Playwright, вони є частиною задокументованої поведінки (див. асерти тестів Playwright) і можуть слугувати детермінованими оракулами для доказу регресії.


9. Збереження трасуваності за допомогою тегів та анотацій

Playwright дозволяє кастомні анотації, які з’являються у звітах тестів і можуть фільтруватися в командному рядку (--grep @requirement=REQ-1234). Типовий шаблон:

test('Add product to cart', async ({ page }) => {
  test.info().annotations.push({ type: 'requirement', description: 'REQ-1234' });
  test.info().annotations.push({ type: 'risk', description: 'high-value' });
  // test body …
});

Ці анотації дозволяють:

Практика вбудовування ідентифікаторів вимог безпосередньо в назву тесту (REQ-1234 SCN-001 …) ще більше підсилює трасуваність для команд, які покладаються на конвенції іменування.


10. Додавання відсутніх вимірів тесту

Кандидати, згенеровані ШІ, зазвичай охоплюють лише щасливий шлях. Команда QA повинна явно додати:

Ці додавання ручні, але їх можна шаблонізувати. Наприклад, шаблон “негативного‑шляху” може застосовуватись автоматично до кожного згенерованого тесту, підказуючи рецензенту заповнити конкретну умову помилки.


11. Перевірки на дублікати та протиріччя

Перед тим як DTO надсилається до LLM, сканується репозиторій існуючих сценаріїв:

Ці перевірки базуються на простому структурному хешуванні масивів when і then і можуть виконуватись як pre‑commit hook.


12. Безпечне логування та фіксація доказів

Під час виконання CI:

Логи стають доказом для рішень про реліз, проте саме рішення залишається людським судженням, заснованим на детермінованому результаті pass/fail.


13. Чек‑лист перегляду

Короткий чек‑лист, який рецензент підписує перед злиттям тесту:

Лише після того, як усі пункти позначені, тест переходить до гілки automation.


14. Де автоматизація допомагає

Автоматизація не замінює людське судження у випадках:

Баланс — це конвеєр людина в контурі ухвалення рішень, де ШІ прискорює створення каркасу, а QA відповідає за фінальний контроль якості.


15. Питання для перегляду

  1. Як вбудовування ідентифікаторів вимог у анотації Playwright покращує простежуваність?
  2. Які заходи безпеки запобігають ін’єкції підказок при передаванні DTO в LLM?
  3. Чому веб‑перші асерти Playwright вважаються детермінованими оракулом?
  4. Перерахуйте три виміри тесту, які потрібно додати вручну після генерації ШІ.
  5. Яку роль відіграє виявлення дублікатів у підтримці чистого набору тестів?

16. Висновок

Перетворення користувацьких історій у тести Playwright за допомогою ШІ може значно скоротити час від вимоги до автоматизованої верифікації. Ключем до надійного конвеєра є явна простежуваність, детерміновані асерти та людино‑центричний ворота перегляду, які розглядають згенерований код як кандидат, а не як фінальний артефакт. Нормалізуючи історії у валідований DTO, ізолюючи підказки, позначаючи тести метаданими вимог і доповнюючи скрипт «щасливого шляху» негативними, граничними та очистними логіками, команди отримують відтворювані докази в CI, залишаючи рішення про реліз під суворим контролем людини.


Джерела