Як замінити розмите твердження «якість перевірено на 100 %» конкретним конвеєром контрольних етапів випуску, придатним до аудиту.
Вступ
Кожна команда, яка випускає веб-додаток, хоче впевненості, що код, що потрапляє до продакшну, працює для реальних користувачів. Маркетингові тексти часто зводять цю впевненість до слогану на кшталт "100 % QA-тестовано". Фраза приваблива, але вона не описує що було протестовано, як виявляються збої, або які докази зберігаються для подальшого перегляду.
Більш обґрунтований підхід — розглядати сам конвеєр CI/CD як серію вентилів звільнення. Кожен гейт має детермінований критерій проходження/відмови, дає незмінні докази і обмежений на конкретну поверхню ризику. Коли гейт виходить з ладу, конвеєр зупиняється; коли він проходить, запускається наступний гейт. Останній гейт — це явне людське рішення, яке споживає накопичені докази.
Нижче наведено практичний дизайн невеликого веб-додатку (наприклад, сайт каталогу продуктів), який реалізує вісім гейтів у GitHub Actions. Дизайн базується на офіційній документації для Playwright, GitHub Actions, Lighthouse CI та OWASP ZAP, і показує, як зберігати нестабільні тести чесними, зберігати сліди та уникати того, щоб резюме, створене ШІ, стало рішенням про реліз.
Проблема з твердженням «якість перевірено на 100 %»
- Неперевірений обсяг – «100 %» нічого не говорить про те, які шляхи користувача, API чи нефункціональні вимоги були охоплені.
- Немає доказів – Без артефактів (скріншоти, журнали, звіти) позов не можна перевірити після факту.
- Мислення «все або нічого» – Команди можуть розглядати одну зелену перевірку як загальне схвалення, ігноруючи нюанси рекомендаційних висновків (наприклад, попередження про продуктивність, яке не блокує звільнення).
Заміна слогана на модель, засновану на доказах, змушує команду відповісти на три запитання для кожного виходу:
- Який ризик несе ворота?
- Яка детермінована умова визначає прохід/прохід?
- Які артефакти зберігаються для подальшого аудиту?
Наступні розділи проходять через кожні ворота, які сигнали вони можуть довести, їхні межі та практичні кроки, необхідні для їх забезпечення.
Проєктування конвеєра контрольних етапів випуску на основі доказів
Конвеєр візуалізується як лінійний ланцюг, але GitHub Actions дозволяє паралельне виконання, де залежності виражені needs. Вісім контрольних етапів такі:
- Швидка збірка та перевірки юнітів
- Попередній перегляд розгортання
- Тести критичних користувацьких сценаріїв у Playwright (настільна та мобільна версії)
- Валідація контракту API
- Бюджети доступності та продуктивності (Lighthouse CI)
- Легкий дим безпеки (OWASP ZAP)
- Артефакти незмінних доказів
- Явне дозвіл на людське звільнення
Кожен гейт генерує блокуючий сигнал (повинен бути зеленим для продовження) або порадний сигнал (записаний, але не зупиняє конвеєр). Ця відмінність кодується у робочому процесі шляхом використання continue-on-error: true для консультативних завдань і публікації їхніх звітів як артефактів.
Ворота 1 – Швидка збірка та перевірка юніт‑тестів
Що це доводить – Джерело компілює, лінтинг проходить, а юніт-тести виконують основну логіку.
Чого він не може довести – поведінка інтеграції, рендеринг інтерфейсу або продуктивність під навантаженням.
Реалізація
name: CI
on:
push:
branches: [main]
pull_request:
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Set up Node
uses: actions/setup-node@v4
with:
node-version: '20'
- name: Install dependencies
run: npm ci
- name: Lint
run: npm run lint
- name: Unit tests
run: npm test -- --ci --reporter=dot
- name: Upload unit report
if: always()
uses: actions/upload-artifact@v4
with:
name: unit-report
path: coverage/Завдання провалюється через будь-який ненульовий вихідний код, що гарантує блокування результат.
Політика повторних спроб – Повторні спроби не налаштовуються; невдалий модульний тест — це жорстка зупинка. Нестабільні юніт-тести слід виправляти до досягнення CI.
Ворота 2 – Попереднє розгортання
Короткочасне середовище попереднього перегляду (наприклад, GitHub Pages, попередній перегляд Vercel або контейнер Docker на самостійно розміщеному раннері) підтверджує, що артефакти збірки можна обслуговувати.
Що це доводить – Скрипт розгортання працює, статичні ресурси доступні, а змінні середовища впроваджені коректно.
Чого він не може довести – функціональна коректність потоків інтерфейсу.
Реалізація (спрощена)
preview:
runs-on: ubuntu-latest
needs: build
outputs:
preview_url: ${{ steps.deploy.outputs.preview_url }}
steps:
- uses: actions/checkout@v4
- name: Deploy preview
id: deploy
run: |
PREVIEW_URL="$(./scripts/deploy-preview.sh)"
echo "preview_url=$PREVIEW_URL" >> "$GITHUB_OUTPUT"
- name: Wait for health endpoint
env:
PREVIEW_URL: ${{ steps.deploy.outputs.preview_url }}
run: |
for i in {1..30}; do
curl -sf "$PREVIEW_URL/health" && exit 0
sleep 1
done
exit 1Завдання попереднього розгортання має повертати реальний URL, доступний ззовні, як вихідне значення завдання. $GITHUB_ENV діє лише в межах одного завдання, а фоновий сервер на розміщеному виконавці GitHub не продовжує працювати в іншому завданні. Тому наступні завдання читають ${{ needs.preview.outputs.preview_url }}. Якщо розгортання або обмежена перевірка стану завершується помилкою, конвеєр зупиняється.
Ворота 3 — Тести критичних користувацьких сценаріїв Playwright для настільної та мобільної версій
Офіційні рекомендації Playwright щодо CI описують, як запускати браузери в безголовому режимі всередині GitHub Actions. Критичні процеси (наприклад, «пошук → деталі продукту → додавання до кошика») виконуються як на робочому столі, так і на мобільній емуляції.
Що це доводить – Функціональний потік від кінця до кінця працює в цільових браузерах, селектори стабільні, а ключові елементи інтерфейсу відображаються.
Чого він не може довести – Повне кросбраузерне покриття (лише браузери, які ви запускаєте), продуктивність у реальних мережевих умовах або безпека.
Блокуючі та рекомендаційні результати – Функціональні помилки Playwright є блокуючими. Невдала перевірка expect.soft дозволяє поточному тесту продовжитися, але Playwright усе одно позначає тест як failed. Якщо візуальне порівняння має бути рекомендаційним, запускайте його в окремому job або кроці з явною політикою continue-on-error: true і зберігайте звіт.
Приклад Playwright TypeScript
import { test, expect } from '@playwright/test';
test.describe('Critical purchase journey', () => {
// Run on both desktop and mobile
test.use({
viewport: { width: 1280, height: 720 },
userAgent: 'desktop',
});
test('Desktop flow', async ({ page }) => {
await page.goto(process.env.PREVIEW_URL!);
await page.fill('#search', 'widget');
await page.press('#search', 'Enter');
await page.click('text=Widget Pro');
await page.click('button#add-to-cart');
// Soft assertion: continue collecting evidence, but the test still fails
await expect(page.locator('#cart-count')).toHaveText('1', { timeout: 5000 });
await expect.soft(page).toHaveScreenshot('cart-desktop.png');
});
test.use({
viewport: { width: 375, height: 667 },
deviceScaleFactor: 2,
isMobile: true,
userAgent: 'mobile',
});
test('Mobile flow', async ({ page }) => {
await page.goto(process.env.PREVIEW_URL!);
await page.tap('#search');
await page.fill('#search', 'widget');
await page.press('#search', 'Enter');
await page.tap('text=Widget Pro');
await page.tap('button#add-to-cart');
await expect(page.locator('#cart-count')).toHaveText('1');
await expect.soft(page).toHaveScreenshot('cart-mobile.png');
});
});Ключові моменти
process.env.PREVIEW_URLвводиться з роботи з попереднього перегляду.expect.softпродовжує тест після невдалої перевірки, але підсумковий статус тесту залишається failed; саме по собі це не рекомендаційний сигнал випуску.- Скріншоти автоматично завантажуються як артефакти (див.
upload-artifactетап робочого процесу).
Захист від нестабільних тестів – Повторні спроби Playwright явно налаштовуються у playwright.config.ts або відповідним прапорцем командного рядка. За замовчуванням повторів немає. У цьому прикладі їхня кількість дорівнює нулю, тому перша помилка блокує контрольний етап; якщо дозволено один повтор для збирання доказів, його слід налаштувати явно та позначати результат як нестабільний, не приховуючи першу помилку.
Ворота 4 – Перевірка API‑контракту
Використання інструменту для тестування контрактів (наприклад, валідатора OpenAPI) гарантує, що відповіді бекенду відповідають опублікованій схемі.
Що це доводить – Договір API дотримується для реалізованих кінцевих пристроїв.
Чого він не може довести – Коректність бізнес-логіки поза межами схеми або продуктивність під навантаженням.
Реалізація
api-contract:
runs-on: ubuntu-latest
needs: preview
steps:
- uses: actions/checkout@v4
- name: Install validator
run: npm ci
- name: Run contract tests
env:
BASE_URL: ${{ needs.preview.outputs.preview_url }}
run: npm run contract:test
- name: Upload contract report
if: always()
uses: actions/upload-artifact@v4
with:
name: contract-report
path: contract-report/Скрипт тестування контракту має виходити з ненульовим статусом при будь-якому порушенні схеми, що робить гейт блокуючим.
Ворота 5 – Бюджети доступності та продуктивності (Lighthouse CI)
Lighthouse CI можна запускати за URL попереднього перегляду для забезпечення дотримання порогових вимог бюджету щодо доступності, продуктивності та найкращих практик. Офіційна документація Lighthouse CI описує, як налаштовувати бюджети у файлі lighthouserc.json.
Що це доводить – Сторінка відповідає визначеним кількісним порігам (наприклад, бал доступності ≥ 90, перший змістовний малюнок ≤ 1,5 с).
Чого він не може довести – Суб'єктивні проблеми зручності використання або реальна мінливість мережі поза змодельованими умовами.
Реалізація
lighthouse:
runs-on: ubuntu-latest
needs: preview
steps:
- uses: actions/checkout@v4
- name: Install Lighthouse CI
run: npm ci && npm install -g @lhci/cli@0
- name: Run LHCI
env:
LHCI_BUILD_CONTEXT__CURRENT_BRANCH: ${{ github.ref_name }}
LHCI_BUILD_CONTEXT__GITHUB_PULL_REQUEST: ${{ github.event.pull_request.number }}
run: |
lhci collect --url=${{ needs.preview.outputs.preview_url }} --numberOfRuns=3
lhci assert --config=./lighthouserc.json
- name: Upload LHCI report
if: always()
uses: actions/upload-artifact@v4
with:
name: lighthouse-report
path: .lhci/Крок lhci assert не виконує завдання, якщо порушено будь-який бюджет, через що ворота ставають блокуючими. Консультативні висновки (наприклад, попередження про продуктивність, яке все ще перевищує бюджет) можна зафіксувати, опустивши assert крок і завантаживши лише звіт.
Ворота 6 – Легке сканування безпеки (OWASP ZAP)
Швидке сканування за допомогою базового сканування OWASP ZAP дозволяє раннє виявлення поширених вразливостей (наприклад, відсутніх заголовків безпеки).
Що це доводить – Розгорнутий попередній перегляд не містить очевидних помилок у безпеці.
Чого він не може довести – Комплексне тестування на проникнення або експлойти нульового дня.
Реалізація
zap:
runs-on: ubuntu-latest
needs: preview
steps:
- uses: actions/checkout@v4
- name: Baseline scan
env:
ZAP_TARGET: ${{ needs.preview.outputs.preview_url }}
run: |
docker run --rm -v "$PWD:/zap/wrk:rw" -t ghcr.io/zaproxy/zaproxy:stable \
zap-baseline.py -t "$ZAP_TARGET" -c /zap/wrk/zap-rules.conf \
-r zap-report.html -I
- name: Upload ZAP report
if: always()
uses: actions/upload-artifact@v4
with:
name: zap-report
path: zap-report.htmlЗ прапорцем -I результати WARN не провалюють job. Правила, позначені як FAIL у zap-rules.conf, повертають код 1 і блокують гейт; код 3 означає іншу операційну помилку. Така конфігурація задає явну політику й не перетворює кожне попередження на блокування випуску.
Ворота 7 – Незмінні артефакти доказів
Усі попередні ворота завантажують свої артефакти (покриття одиниць, скріншоти Playwright, звіти про контракти, Lighthouse JSON, ZAP HTML). Артефакти зберігаються у сховищі GitHub, яке незмінне протягом усього робочого процесу.
Чому це важливо – Аудитори, менеджери з випуску або майбутні слідчі можуть отримати саме ті докази, які виправдовували рішення про звільнення. Артефакти також слугують базою для регресійного аналізу.
archive-evidence:
runs-on: ubuntu-latest
needs: [build, preview, playwright, api-contract, lighthouse, zap]
if: always()
steps:
- name: Gather all artefacts
run: echo "All artefacts already uploaded by individual jobs."Завдання archive-evidence не породжує нових артефактів, але гарантує, що конвеєр відмовить лише після безпечного збереження всіх доказів.
Ворота 8 – Явне людське схвалення релізу
Останній гейт — це мануальний крок затвердження, який надає підсумок зібраних доказів. Рішення про просування прев'ю до виробництва приймає призначений менеджер з релізу або власник продукту.
Реалізація
approve:
runs-on: ubuntu-latest
needs: archive-evidence
environment:
name: production
url: ${{ needs.preview.outputs.preview_url }}
steps:
- name: Request approval
uses: peter-evans/repository-dispatch@v2
with:
token: ${{ secrets.GITHUB_TOKEN }}
event-type: release-approval
client-payload: |
{
"preview_url": "${{ needs.preview.outputs.preview_url }}",
"artifacts": [
"unit-report",
"playwright-screenshots",
"contract-report",
"lighthouse-report",
"zap-report"
]
}Правила захисту environment в GitHub можна налаштувати так, щоб вимагати рецензера. Рецензент перевіряє артефакти через інтерфейс GitHub, підтверджує, що всі блокуючі гейти пройшли, і натискає «Затвердити та розгорнути». Конвеєр переходить до завдання розгортання продакшну (не показано).
Керування нестабільними тестами та обмеженими повторними спробами
- Немає неявних повторів – GitHub Actions не повторює невдалі кроки автоматично, а Playwright за замовчуванням використовує нуль повторів. Кількість задається в конфігурації Playwright або відповідним прапорцем командного рядка; довільне поле матриці не змінює поведінку засобу запуску тестів.
- Відокремлюйте рекомендаційні результати –
expect.softдозволяє виконати наступні перевірки, але все одно завершує тест зі статусом failed. Рекомендаційні візуальні перевірки мають виконуватися в явно неблокуючому job або кроці, а їхні артефакти — зберігатися для аналізу. - Тайм-аути та повторні спроби на рівні тесту – Повторні спроби
test.setTimeoutта на крок від Playwrightа можна використовувати рідко; будь-яка кількість повторних спроб, що перевищує один, має бути позначена для розслідування.
Забезпечення доступності доказів
- Іменування артефактів – Використовуйте чіткі, версійні імена (наприклад,
playwright-screenshots-${{ github.sha }}). - Політика утримання – GitHub за замовчуванням зберігає артефакти протягом 90 днів; коригує
retention-daysробочого процесу, якщо потрібні довші аудиторські сліди. - Посилання з інтерфейсу затвердження – На етапі ручного затвердження можна показувати підсумок оцінки, який безпосередньо посилається на кожен артефакт, забезпечуючи рецензентам один клік для перегляду доказів.
Уникнення ШІ‑згенерованих резюме як рішень про реліз
Автоматизація може генерувати короткий підсумок запуску (наприклад, використовуючи actions/github-script). Хоча це зручно, цей підсумок ніколи не повинен замінювати ручний гейт затвердження. Щоб бейдж, створений ШІ, не став фактичним пунктом прийняття рішення:
- Потрібне захищене середовище з принаймні одним людським рецензентом.
- Не блокуйте виробниче розгортання на перевірку статусу, яку може переписати бот.
- Зберігати резюме ШІ як артефакт лише для довідки.
Відокремлюючи людські ворота від будь-яких автоматизованих значків, команда зберігає відповідальність і уникає ілюзії «повної автоматизації».
Де допомагає автоматизація
| Сфера перевірки | Сильна сторона автоматизації | Залишкове людське рішення |
|---|---|---|
| Build & unit tests | Швидко, детерміновано, повторювано. | Визначення адекватності покриття тесту. |
| Попередній перегляд розгортання | Гарантує, що артефакти збірки можна буде обслуговувати. | Оцінка конфігурації, специфічної для середовища. |
| Критичні шляхи Playwrightа | Виявляє регресії в основних користувацьких потоках між браузерами. | Оцінка якості UI/UX понад функціональну коректність. |
| Перевірки контрактів API | Автоматично забезпечує відповідність схемі. | Визначення прийнятності змін у контракті. |
| Бюджети маяків | Кількісно визначає пороги продуктивності та доступності. | Інтерпретація компромісів, коли бюджет трохи пропущений. |
| Сканування диму безпеки | Виявляє очевидні неправильні налаштування на початку. | Проведення глибоких оцінок безпеки. |
| Архів доказів | Незмінне зберігання журналів, скріншотів, звітів. | Аудит і посмертний аналіз. |
| Людське схвалення | Надає єдину, перевірену точку прийняття рішення. | Зважування впливу на бізнес, часу випуску та толерантності до ризику. |
Автоматизація чудово справляється з виявленням відхилень від визначених очікувань; люди чудово вміють інтерпретувати значення цих відхилень.
Питання для повторення
- Чим відрізняється блокуючий гейт від порадницького висновку і як це відображається у робочому процесі GitHub Actions?
- Чому
expect.softусе одно призводить до статусу failed і як відокремити рекомендаційну візуальну перевірку від блокуючого Playwright-гейта? - Які артефакти завантажуються після роботи CI Lighthouse і яка умова бюджету призводить до провалу роботи?
- Як базове сканування OWASP ZAP впливає на захист гейта, і який статус виходу свідчить про збій блокування?
- Які запобіжники не дозволяють, щоб резюме, створене ШІ, стало єдиним рішенням про випуск?
Висновок
Заміна маркетингового твердження «якість перевірено на 100 %» на конвеєр контрольних етапів випуску, заснований на доказах, змушує кожну команду чітко сформулювати, що саме перевіряється, як обробляються помилки та де залишається необхідним людське рішення. Поєднуючи швидкі збірки, попередні розгортання, тести критичних користувацьких сценаріїв Playwright, валідацію API‑контракту та бюджети Lighthouse, легке сканування ZAP, незмінні артефакти та фінальне ручне схвалення, конвеєр надає конкретний, аудитуємий доказ того, що реліз відповідає визначеним критеріям ризику. Підхід прозорий, повторюваний і адаптується до будь‑якої веб‑аплікації, забезпечуючи впевненість, яка вимірювана, а не лише рекламна.
Джерела
- Playwright CI documentation – https://playwright.dev/docs/ci
- GitHub Actions documentation – https://docs.github.com/en/actions
- Lighthouse CI documentation – https://github.com/GoogleChrome/lighthouse-ci
- OWASP ZAP documentation – https://www.zaproxy.org/docs/
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…