Як замінити розмите твердження «якість перевірено на 100 %» конкретним конвеєром контрольних етапів випуску, придатним до аудиту.


Вступ

Кожна команда, яка випускає веб-додаток, хоче впевненості, що код, що потрапляє до продакшну, працює для реальних користувачів. Маркетингові тексти часто зводять цю впевненість до слогану на кшталт "100 % QA-тестовано". Фраза приваблива, але вона не описує що було протестовано, як виявляються збої, або які докази зберігаються для подальшого перегляду.

Більш обґрунтований підхід — розглядати сам конвеєр CI/CD як серію вентилів звільнення. Кожен гейт має детермінований критерій проходження/відмови, дає незмінні докази і обмежений на конкретну поверхню ризику. Коли гейт виходить з ладу, конвеєр зупиняється; коли він проходить, запускається наступний гейт. Останній гейт — це явне людське рішення, яке споживає накопичені докази.

Нижче наведено практичний дизайн невеликого веб-додатку (наприклад, сайт каталогу продуктів), який реалізує вісім гейтів у GitHub Actions. Дизайн базується на офіційній документації для Playwright, GitHub Actions, Lighthouse CI та OWASP ZAP, і показує, як зберігати нестабільні тести чесними, зберігати сліди та уникати того, щоб резюме, створене ШІ, стало рішенням про реліз.


Проблема з твердженням «якість перевірено на 100 %»

Заміна слогана на модель, засновану на доказах, змушує команду відповісти на три запитання для кожного виходу:

  1. Який ризик несе ворота?
  2. Яка детермінована умова визначає прохід/прохід?
  3. Які артефакти зберігаються для подальшого аудиту?

Наступні розділи проходять через кожні ворота, які сигнали вони можуть довести, їхні межі та практичні кроки, необхідні для їх забезпечення.


Проєктування конвеєра контрольних етапів випуску на основі доказів

Конвеєр візуалізується як лінійний ланцюг, але GitHub Actions дозволяє паралельне виконання, де залежності виражені needs. Вісім контрольних етапів такі:

  1. Швидка збірка та перевірки юнітів
  2. Попередній перегляд розгортання
  3. Тести критичних користувацьких сценаріїв у Playwright (настільна та мобільна версії)
  4. Валідація контракту API
  5. Бюджети доступності та продуктивності (Lighthouse CI)
  6. Легкий дим безпеки (OWASP ZAP)
  7. Артефакти незмінних доказів
  8. Явне дозвіл на людське звільнення

Кожен гейт генерує блокуючий сигнал (повинен бути зеленим для продовження) або порадний сигнал (записаний, але не зупиняє конвеєр). Ця відмінність кодується у робочому процесі шляхом використання continue-on-error: true для консультативних завдань і публікації їхніх звітів як артефактів.


Ворота 1 – Швидка збірка та перевірка юніт‑тестів

Що це доводить – Джерело компілює, лінтинг проходить, а юніт-тести виконують основну логіку.

Чого він не може довести – поведінка інтеграції, рендеринг інтерфейсу або продуктивність під навантаженням.

Реалізація

name: CI
on:
  push:
    branches: [main]
  pull_request:

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Set up Node
        uses: actions/setup-node@v4
        with:
          node-version: '20'
      - name: Install dependencies
        run: npm ci
      - name: Lint
        run: npm run lint
      - name: Unit tests
        run: npm test -- --ci --reporter=dot
      - name: Upload unit report
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: unit-report
          path: coverage/

Завдання провалюється через будь-який ненульовий вихідний код, що гарантує блокування результат.

Політика повторних спроб – Повторні спроби не налаштовуються; невдалий модульний тест — це жорстка зупинка. Нестабільні юніт-тести слід виправляти до досягнення CI.


Ворота 2 – Попереднє розгортання

Короткочасне середовище попереднього перегляду (наприклад, GitHub Pages, попередній перегляд Vercel або контейнер Docker на самостійно розміщеному раннері) підтверджує, що артефакти збірки можна обслуговувати.

Що це доводить – Скрипт розгортання працює, статичні ресурси доступні, а змінні середовища впроваджені коректно.

Чого він не може довести – функціональна коректність потоків інтерфейсу.

Реалізація (спрощена)

  preview:
    runs-on: ubuntu-latest
    needs: build
    outputs:
      preview_url: ${{ steps.deploy.outputs.preview_url }}
    steps:
      - uses: actions/checkout@v4
      - name: Deploy preview
        id: deploy
        run: |
          PREVIEW_URL="$(./scripts/deploy-preview.sh)"
          echo "preview_url=$PREVIEW_URL" >> "$GITHUB_OUTPUT"
      - name: Wait for health endpoint
        env:
          PREVIEW_URL: ${{ steps.deploy.outputs.preview_url }}
        run: |
          for i in {1..30}; do
            curl -sf "$PREVIEW_URL/health" && exit 0
            sleep 1
          done
          exit 1

Завдання попереднього розгортання має повертати реальний URL, доступний ззовні, як вихідне значення завдання. $GITHUB_ENV діє лише в межах одного завдання, а фоновий сервер на розміщеному виконавці GitHub не продовжує працювати в іншому завданні. Тому наступні завдання читають ${{ needs.preview.outputs.preview_url }}. Якщо розгортання або обмежена перевірка стану завершується помилкою, конвеєр зупиняється.


Ворота 3 — Тести критичних користувацьких сценаріїв Playwright для настільної та мобільної версій

Офіційні рекомендації Playwright щодо CI описують, як запускати браузери в безголовому режимі всередині GitHub Actions. Критичні процеси (наприклад, «пошук → деталі продукту → додавання до кошика») виконуються як на робочому столі, так і на мобільній емуляції.

Що це доводить – Функціональний потік від кінця до кінця працює в цільових браузерах, селектори стабільні, а ключові елементи інтерфейсу відображаються.

Чого він не може довести – Повне кросбраузерне покриття (лише браузери, які ви запускаєте), продуктивність у реальних мережевих умовах або безпека.

Блокуючі та рекомендаційні результати – Функціональні помилки Playwright є блокуючими. Невдала перевірка expect.soft дозволяє поточному тесту продовжитися, але Playwright усе одно позначає тест як failed. Якщо візуальне порівняння має бути рекомендаційним, запускайте його в окремому job або кроці з явною політикою continue-on-error: true і зберігайте звіт.

Приклад Playwright TypeScript

import { test, expect } from '@playwright/test';

test.describe('Critical purchase journey', () => {
  // Run on both desktop and mobile
  test.use({
    viewport: { width: 1280, height: 720 },
    userAgent: 'desktop',
  });

  test('Desktop flow', async ({ page }) => {
    await page.goto(process.env.PREVIEW_URL!);
    await page.fill('#search', 'widget');
    await page.press('#search', 'Enter');
    await page.click('text=Widget Pro');
    await page.click('button#add-to-cart');

    // Soft assertion: continue collecting evidence, but the test still fails
    await expect(page.locator('#cart-count')).toHaveText('1', { timeout: 5000 });
    await expect.soft(page).toHaveScreenshot('cart-desktop.png');
  });

  test.use({
    viewport: { width: 375, height: 667 },
    deviceScaleFactor: 2,
    isMobile: true,
    userAgent: 'mobile',
  });

  test('Mobile flow', async ({ page }) => {
    await page.goto(process.env.PREVIEW_URL!);
    await page.tap('#search');
    await page.fill('#search', 'widget');
    await page.press('#search', 'Enter');
    await page.tap('text=Widget Pro');
    await page.tap('button#add-to-cart');

    await expect(page.locator('#cart-count')).toHaveText('1');
    await expect.soft(page).toHaveScreenshot('cart-mobile.png');
  });
});

Ключові моменти

Захист від нестабільних тестів – Повторні спроби Playwright явно налаштовуються у playwright.config.ts або відповідним прапорцем командного рядка. За замовчуванням повторів немає. У цьому прикладі їхня кількість дорівнює нулю, тому перша помилка блокує контрольний етап; якщо дозволено один повтор для збирання доказів, його слід налаштувати явно та позначати результат як нестабільний, не приховуючи першу помилку.


Ворота 4 – Перевірка API‑контракту

Використання інструменту для тестування контрактів (наприклад, валідатора OpenAPI) гарантує, що відповіді бекенду відповідають опублікованій схемі.

Що це доводить – Договір API дотримується для реалізованих кінцевих пристроїв.

Чого він не може довести – Коректність бізнес-логіки поза межами схеми або продуктивність під навантаженням.

Реалізація

  api-contract:
    runs-on: ubuntu-latest
    needs: preview
    steps:
      - uses: actions/checkout@v4
      - name: Install validator
        run: npm ci
      - name: Run contract tests
        env:
          BASE_URL: ${{ needs.preview.outputs.preview_url }}
        run: npm run contract:test
      - name: Upload contract report
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: contract-report
          path: contract-report/

Скрипт тестування контракту має виходити з ненульовим статусом при будь-якому порушенні схеми, що робить гейт блокуючим.


Ворота 5 – Бюджети доступності та продуктивності (Lighthouse CI)

Lighthouse CI можна запускати за URL попереднього перегляду для забезпечення дотримання порогових вимог бюджету щодо доступності, продуктивності та найкращих практик. Офіційна документація Lighthouse CI описує, як налаштовувати бюджети у файлі lighthouserc.json.

Що це доводить – Сторінка відповідає визначеним кількісним порігам (наприклад, бал доступності ≥ 90, перший змістовний малюнок ≤ 1,5 с).

Чого він не може довести – Суб'єктивні проблеми зручності використання або реальна мінливість мережі поза змодельованими умовами.

Реалізація

  lighthouse:
    runs-on: ubuntu-latest
    needs: preview
    steps:
      - uses: actions/checkout@v4
      - name: Install Lighthouse CI
        run: npm ci && npm install -g @lhci/cli@0
      - name: Run LHCI
        env:
          LHCI_BUILD_CONTEXT__CURRENT_BRANCH: ${{ github.ref_name }}
          LHCI_BUILD_CONTEXT__GITHUB_PULL_REQUEST: ${{ github.event.pull_request.number }}
        run: |
          lhci collect --url=${{ needs.preview.outputs.preview_url }} --numberOfRuns=3
          lhci assert --config=./lighthouserc.json
      - name: Upload LHCI report
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: lighthouse-report
          path: .lhci/

Крок lhci assert не виконує завдання, якщо порушено будь-який бюджет, через що ворота ставають блокуючими. Консультативні висновки (наприклад, попередження про продуктивність, яке все ще перевищує бюджет) можна зафіксувати, опустивши assert крок і завантаживши лише звіт.


Ворота 6 – Легке сканування безпеки (OWASP ZAP)

Швидке сканування за допомогою базового сканування OWASP ZAP дозволяє раннє виявлення поширених вразливостей (наприклад, відсутніх заголовків безпеки).

Що це доводить – Розгорнутий попередній перегляд не містить очевидних помилок у безпеці.

Чого він не може довести – Комплексне тестування на проникнення або експлойти нульового дня.

Реалізація

  zap:
    runs-on: ubuntu-latest
    needs: preview
    steps:
      - uses: actions/checkout@v4
      - name: Baseline scan
        env:
          ZAP_TARGET: ${{ needs.preview.outputs.preview_url }}
        run: |
          docker run --rm -v "$PWD:/zap/wrk:rw" -t ghcr.io/zaproxy/zaproxy:stable \
            zap-baseline.py -t "$ZAP_TARGET" -c /zap/wrk/zap-rules.conf \
            -r zap-report.html -I
      - name: Upload ZAP report
        if: always()
        uses: actions/upload-artifact@v4
        with:
          name: zap-report
          path: zap-report.html

З прапорцем -I результати WARN не провалюють job. Правила, позначені як FAIL у zap-rules.conf, повертають код 1 і блокують гейт; код 3 означає іншу операційну помилку. Така конфігурація задає явну політику й не перетворює кожне попередження на блокування випуску.


Ворота 7 – Незмінні артефакти доказів

Усі попередні ворота завантажують свої артефакти (покриття одиниць, скріншоти Playwright, звіти про контракти, Lighthouse JSON, ZAP HTML). Артефакти зберігаються у сховищі GitHub, яке незмінне протягом усього робочого процесу.

Чому це важливо – Аудитори, менеджери з випуску або майбутні слідчі можуть отримати саме ті докази, які виправдовували рішення про звільнення. Артефакти також слугують базою для регресійного аналізу.

  archive-evidence:
    runs-on: ubuntu-latest
    needs: [build, preview, playwright, api-contract, lighthouse, zap]
    if: always()
    steps:
      - name: Gather all artefacts
        run: echo "All artefacts already uploaded by individual jobs."

Завдання archive-evidence не породжує нових артефактів, але гарантує, що конвеєр відмовить лише після безпечного збереження всіх доказів.


Ворота 8 – Явне людське схвалення релізу

Останній гейт — це мануальний крок затвердження, який надає підсумок зібраних доказів. Рішення про просування прев'ю до виробництва приймає призначений менеджер з релізу або власник продукту.

Реалізація

  approve:
    runs-on: ubuntu-latest
    needs: archive-evidence
    environment:
      name: production
      url: ${{ needs.preview.outputs.preview_url }}
    steps:
      - name: Request approval
        uses: peter-evans/repository-dispatch@v2
        with:
          token: ${{ secrets.GITHUB_TOKEN }}
          event-type: release-approval
          client-payload: |
            {
              "preview_url": "${{ needs.preview.outputs.preview_url }}",
              "artifacts": [
                "unit-report",
                "playwright-screenshots",
                "contract-report",
                "lighthouse-report",
                "zap-report"
              ]
            }

Правила захисту environment в GitHub можна налаштувати так, щоб вимагати рецензера. Рецензент перевіряє артефакти через інтерфейс GitHub, підтверджує, що всі блокуючі гейти пройшли, і натискає «Затвердити та розгорнути». Конвеєр переходить до завдання розгортання продакшну (не показано).


Керування нестабільними тестами та обмеженими повторними спробами


Забезпечення доступності доказів


Уникнення ШІ‑згенерованих резюме як рішень про реліз

Автоматизація може генерувати короткий підсумок запуску (наприклад, використовуючи actions/github-script). Хоча це зручно, цей підсумок ніколи не повинен замінювати ручний гейт затвердження. Щоб бейдж, створений ШІ, не став фактичним пунктом прийняття рішення:

  1. Потрібне захищене середовище з принаймні одним людським рецензентом.
  2. Не блокуйте виробниче розгортання на перевірку статусу, яку може переписати бот.
  3. Зберігати резюме ШІ як артефакт лише для довідки.

Відокремлюючи людські ворота від будь-яких автоматизованих значків, команда зберігає відповідальність і уникає ілюзії «повної автоматизації».


Де допомагає автоматизація

Сфера перевіркиСильна сторона автоматизаціїЗалишкове людське рішення
Build & unit testsШвидко, детерміновано, повторювано.Визначення адекватності покриття тесту.
Попередній перегляд розгортанняГарантує, що артефакти збірки можна буде обслуговувати.Оцінка конфігурації, специфічної для середовища.
Критичні шляхи PlaywrightаВиявляє регресії в основних користувацьких потоках між браузерами.Оцінка якості UI/UX понад функціональну коректність.
Перевірки контрактів APIАвтоматично забезпечує відповідність схемі.Визначення прийнятності змін у контракті.
Бюджети маяківКількісно визначає пороги продуктивності та доступності.Інтерпретація компромісів, коли бюджет трохи пропущений.
Сканування диму безпекиВиявляє очевидні неправильні налаштування на початку.Проведення глибоких оцінок безпеки.
Архів доказівНезмінне зберігання журналів, скріншотів, звітів.Аудит і посмертний аналіз.
Людське схваленняНадає єдину, перевірену точку прийняття рішення.Зважування впливу на бізнес, часу випуску та толерантності до ризику.

Автоматизація чудово справляється з виявленням відхилень від визначених очікувань; люди чудово вміють інтерпретувати значення цих відхилень.


Питання для повторення

  1. Чим відрізняється блокуючий гейт від порадницького висновку і як це відображається у робочому процесі GitHub Actions?
  2. Чому expect.soft усе одно призводить до статусу failed і як відокремити рекомендаційну візуальну перевірку від блокуючого Playwright-гейта?
  3. Які артефакти завантажуються після роботи CI Lighthouse і яка умова бюджету призводить до провалу роботи?
  4. Як базове сканування OWASP ZAP впливає на захист гейта, і який статус виходу свідчить про збій блокування?
  5. Які запобіжники не дозволяють, щоб резюме, створене ШІ, стало єдиним рішенням про випуск?

Висновок

Заміна маркетингового твердження «якість перевірено на 100 %» на конвеєр контрольних етапів випуску, заснований на доказах, змушує кожну команду чітко сформулювати, що саме перевіряється, як обробляються помилки та де залишається необхідним людське рішення. Поєднуючи швидкі збірки, попередні розгортання, тести критичних користувацьких сценаріїв Playwright, валідацію API‑контракту та бюджети Lighthouse, легке сканування ZAP, незмінні артефакти та фінальне ручне схвалення, конвеєр надає конкретний, аудитуємий доказ того, що реліз відповідає визначеним критеріям ризику. Підхід прозорий, повторюваний і адаптується до будь‑якої веб‑аплікації, забезпечуючи впевненість, яка вимірювана, а не лише рекламна.


Джерела