Практичні рекомендації для QA‑інженерів, які хочуть один, підтримуваний ресурс тесту k6 для швидких smoke‑перевірок, функціональної верифікації та реалістичної валідації продуктивності в CI.
1. Чому один скрипт може обслуговувати три ворота
Конвеєри безперервної інтеграції часто містять три окремі ворота якості:
| Ворота | Мета | Типові обмеження CI |
|---|---|---|
| Димовий | Перевірте, чи сервіс працює, і чи найкритичніший запит повертає адекватну відповідь. | Виконання менше секунди, 1‑2 VUs, без навантаження. |
| Функціональний | Виконайте бізнес‑критичний шлях від початку до кінця та перевірте функціональні контракти. | Невелике, детерміноване навантаження (наприклад, 5 VUs, кілька ітерацій). |
| Продуктивність | Моделюйте реальний трафік, фіксуйте перцентилі затримки та забезпечуйте дотримання порогових значень SLA. | Сотні віртуальних користувачів, етапи нарощування, довша тривалість. |
Історично команди тримали окремі скрипти для кожного воріт, що призводило до дублювання визначень запитів, розбіжностей у обробці даних та відхилень у бізнес-логіці.
k6 v2.3.0 представив два CLI‑параметри, які роблять один скрипт придатним для всіх трьох воріт:
--scenario <name>– вибирає іменований сценарій під час виконання без редагування скрипту.--once– запускає вибраний сценарій один раз з одним віртуальним користувачем, зберігаючи всю конфігурацію на рівні сценарію (теги, змінні середовища, налаштування браузера).
Оскільки перевірки (assertions) та пороги (критерії успішності/неуспішності) визначені всередині скрипту, той самий код може виконуватись під різними профілями навантаження і все ще генерувати відповідний код виходу CI.
> Офіційна примітка – Перевірки лише реєструють успіх/невдачу; вони ніколи не викликають ненульовий код виходу. Пороги — це механізм, який змушує запуск провалюватись у CI. (примітки до випуску Grafana k6 v2.3.0)
Решта цього посібника показує, як структурувати багаторазовий скрипт, як викликати його для кожного воріт, і на які підводні камені варто звернути увагу.
2. Анатомія багаторазового скрипту
Нижче наведено мінімальний, але повний приклад, який демонструє рекомендовану структуру. Скрипт розташований у tests/k6/api-test.js.
import http from "k6/http";
import { check, sleep } from "k6";
import { Trend, Rate } from "k6/metrics";
/* ---------- 1. Global configuration ---------- */
export const options = {
// Scenarios are defined once; the CLI picks which one to run.
scenarios: {
// 1️⃣ Smoke – single iteration, single VU
smoke: {
executor: "per-vu-iterations",
exec: "journey",
vus: 1,
iterations: 1,
},
// 2️⃣ Functional – small deterministic load
functional: {
executor: "per-vu-iterations",
exec: "journey",
vus: 5,
iterations: 3,
},
// 3️⃣ Performance – realistic ramp‑up
performance: {
executor: "ramping-vus",
exec: "journey",
startVUs: 10,
stages: [
{ duration: "30s", target: 50 },
{ duration: "2m", target: 200 },
{ duration: "30s", target: 0 },
],
},
},
// Global thresholds that apply to *all* scenarios unless overridden later.
thresholds: {
// Every business check must pass for smoke and functional CI gates.
checks: ["rate==1"],
// Basic health – any HTTP error fails the pipeline.
http_req_failed: ["rate<0.01"],
// Latency SLA – only enforced for the performance scenario.
"http_req_duration{scenario:performance}": ["p(95)<800"],
},
// Tags help you filter results later (e.g., in Grafana dashboards).
tags: {
component: "orders-api",
team: "payments",
},
};
/* ---------- 2. Environment‑aware data ---------- */
// Base URL can be overridden per environment (CI, local, staging, prod).
const BASE_URL = __ENV.BASE_URL || "https://api.dev.example.com";
// A tiny data‑fixture that is safe to reuse across VUs.
const testUser = {
id: __ENV.TEST_USER_ID || "user‑123",
token: __ENV.TEST_USER_TOKEN || "dummy-token",
};
/* ---------- 3. Custom metrics (optional) ---------- */
const latencyTrend = new Trend("order_latency");
const errorRate = new Rate("order_error");
/* ---------- 4. The reusable journey ---------- */
export function journey() {
// 1️⃣ Authenticate (example – token already supplied)
const authHeaders = {
headers: { Authorization: `Bearer ${testUser.token}` },
};
// 2️⃣ Create an order (deterministic payload)
const payload = JSON.stringify({
userId: testUser.id,
items: [{ sku: "SKU‑001", qty: 1 }],
// This traceable marker avoids collisions; safe cleanup is still required.
testRunId: `${__VU}-${__ITER}-${Date.now()}`,
});
const res = http.post(`${BASE_URL}/orders`, payload, authHeaders);
const ok = check(res, {
"status is 201": (r) => r.status === 201,
"order id returned": (r) => !!r.json("orderId"),
});
// Record custom metrics.
latencyTrend.add(res.timings.duration);
errorRate.add(!ok);
// Simulate think‑time – important for realistic performance runs.
sleep(0.5);
}
/* ---------- 5. Scenario‑specific thresholds (optional) ---------- */
// The `options` object can be mutated at runtime, but keeping them static
// makes the script easier to audit. If you need a tighter SLA for a
// functional gate, you can add a conditional block like:
//
// if (__ENV.GATE === "functional") {
// options.thresholds["http_req_duration{scenario:functional}"] = ["p(95)<500"];
// }Ключові висновки зі скрипту
| Аспект | Як він підтримує три ворота |
|---|---|
Названі подорожі (journey) | Одна функція використовується в кожному сценарії через exec. |
| Дані, що враховують середовище | __ENV змінні дозволяють CI впроваджувати правильний базовий URL та безпечні тестові облікові дані без жорсткого кодування. |
| Детерміновані перевірки | check оператори стверджують бізнес‑правила; вони записуються при кожному запуску, але ніколи не переривають завдання CI. |
| Сценарій‑специфічні профілі навантаження | scenarios об’єкт визначає три незалежні робочі навантаження; прапорець CLI --scenario вибирає, яке виконати. |
| Теги | Глобальні теги (component, team) та сценарій‑специфічні теги (scenario:performance) забезпечують детальну звітність. |
| Пороги | Глобальні пороги здоров'я (http_req_failed) застосовуються до всіх воріт; SLA затримки обмежено лише сценарієм продуктивності. |
3. Запуск скрипту в CI
3.1 Шпаргалка командного рядка
| Ворота | Команда | Що це робить |
|---|---|---|
| Дим | k6 run --once --scenario smoke tests/k6/api-test.js | Виконує journey один раз з одним VU; швидкий зворотний зв’язок, без навантаження. |
| Функціональний | k6 run --scenario functional tests/k6/api-test.js | Запускає 5 VU, по 3 ітерації кожен – достатньо, щоб виявити умови гонки, залишаючись детермінованим. |
| Продуктивність | k6 run --scenario performance tests/k6/api-test.js | Виконує профіль нарощування навантаження, визначений у сценарії performance; пороги p95 затримки викличуть ненульовий код виходу, якщо вони будуть порушені. |
Усі три команди можна розмістити в окремих CI‑завданнях або етапах. Той самий файл скрипту підконтрольний версіям, тому будь-яка зміна тіл запитів, заголовків або автентифікації автоматично відображається у всіх воротах.
3.2 Приклад CI-матриці (GitHub Actions)
name: API контрольні перевірки якості
on:
push:
branches: [main]
jobs:
smoke:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Smoke test
env:
BASE_URL: ${{ secrets.STAGING_URL }}
TEST_USER_ID: ${{ secrets.TEST_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.TEST_USER_TOKEN }}
run: k6 run --once --scenario smoke tests/k6/api-test.js
functional:
needs: smoke
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Functional test
env:
BASE_URL: ${{ secrets.STAGING_URL }}
TEST_USER_ID: ${{ secrets.TEST_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.TEST_USER_TOKEN }}
run: k6 run --scenario functional tests/k6/api-test.js
performance:
needs: functional
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Performance test
env:
BASE_URL: ${{ secrets.PERFORMANCE_ENV_URL }}
TEST_USER_ID: ${{ secrets.PERF_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.PERF_USER_TOKEN }}
run: k6 run --scenario performance tests/k6/api-test.jsЗауваження: Той самий шлях скрипту (tests/k6/api-test.js) з'являється в кожному завданні. Лише змінні середовища та прапорець --scenario відрізняються.
4. Ризики та стратегії пом'якшення
| Ризик | Опис | Пом'якшення |
|---|---|---|
| Шкідливі тестові дані | Навантажувальні тести можуть створювати замовлення, користувачів або інші сутності, які забруднюють спільне середовище. | Використовуйте спеціальний непроизводний орендар для навантажувального тестування, генеруйте простежувані ідентифікатори запуску та перевіряйте очищення після запуску. |
| Схований стан між сценаріями | Оскільки --once все ще виконує повну функцію сценарію, будь-який глобальний змінний стан (наприклад, змінні рівня модуля) може протікати з попереднього запуску. | Тримайте всі змінні дані всередині функції journey або явно скидайте глобальні змінні на початку скрипту. |
| Зсув порогу | З часом команди можуть розслабляти пороги, щоб підтримувати зелений статус CI, що підриває гарантію SLA. | Зберігайте пороги у код-рев'ю (як показано) і впроваджуйте чек‑лист «аудит порогових значень» перед кожним випуском. |
| Поведінка порогу часткового сценарію | Поріг, обмежений конкретним сценарієм ({scenario:performance}), буде проігноровано під час виконання смок‑сценарію, що може приховати регресію. | Визначте baseline пороги здоров'я (наприклад, http_req_failed), які застосовуються до кожного сценарію; додавайте сценарі‑специфічні SLA лише там, де це має сенс. |
| Залежність від автоматизації | Перевірки підтверджують форму відповіді, але не замінюють дослідницьке тестування крайових випадків. | Поєднайте CI‑ворота з ручним «дослідницьким спринтом», який виконує ті ж самі подорожі з довільними даними та перевіркою інтерфейсу. |
Коли будь-які з вищезазначених ризиків стають важко контрольованими, розгляньте розділення скрипту:
- Окремий скрипт димового тестування – невеликий запит лише для читання, який ніколи не змінює стан.
- Окремий скрипт навантажувального тестування – містить важкі кроки налаштування даних та кастомні метрики.
Розділення додає навантаження на обслуговування, але ізолює руйнівні дії та робить намір CI зрозумілішим.
5. Перегляньте чек‑лист перед злиттям скрипту k6
- Визначення сценаріїв – кожен ворота мають окремий сценарій з відповідним виконавцем та кількістю VU.
- Змінні середовища – без жорстко закодованих URL‑адрес або облікових даних; всі секрети впроваджуються через
__ENV. - Контрольовані тестові дані – використовує простежуваний ідентифікатор запуску, спеціальний непроизводничий орендар та перевірене очищення.
- Перевірки та порогові значення – кожне бізнес‑утвердження зберігається в
check; кожне правило проходження/невдачі контрольна перевірка CI зберігається вthresholds. - Тегування – глобальні теги присутні; теги, специфічні для сценарію, використовуються для фільтрації панелей.
- Ідемпотентність – кінцева точка API, що тестується, може безпечно викликатися багаторазово без побічних ефектів, які впливають на подальші запуски.
- Documentation – заголовок скрипту перераховує мету кожного сценарію та номери SLA, які він забезпечує.
Якщо будь‑який елемент не проходить, зупиніть злиття та усуньте проблему.
6. Рішення про випуск, що приймається людиною
Навіть при автоматизованих воротах, людина повинна вирішити, чи просувати збірку:
| Точка прийняття рішення | Що шукає тестувальник |
|---|---|
| Smoke зелені | Сервіс доступний, базовий контракт виконано. |
| Функціональний зелений | Усі функціональні перевірки проходять на декількох VUs; не спостерігається нестабільних помилок. |
| Пороги продуктивності | p95 затримка в межах SLA, рівень помилок нижче 1 %. |
| Спостережуваність | Дашборди Grafana не показують неочікуваних сплесків; логи не містять прихованих помилок 5xx. |
| Оцінка ризику | Не залишено руйнівних даних; очистка успішна; тестове середовище відповідає продакшену. |
| Затвердження зацікавлених сторін | Власник продукту підтверджує, що протестований шлях є поточним пріоритетом бізнесу. |
Лише після того, як команда колективно підтвердить вищезазначене, випуск продовжує рухатися вперед. Автоматизація надає дані; судження — контекст.
7. Де допомагає автоматизація
Автоматизація не є панацеєю, але вона відмінно справляється з:
- Мережа безпеки регресії – Перезапуск того самого шляху на кожному коміті миттєво виявляє випадкові порушення контракту.
- Повторюваність профілю навантаження – Сценарії гарантують, що однаковий шаблон наростання застосовується у всіх запусках, роблячи тенденції продуктивності достовірними.
- Збір метрик – Користувацькі тренди (
order_latency) та швидкості (order_error) збираються без ручних зусиль, що дозволяє приймати рішення, орієнтовані на дані. - CI integration – Помилки порогових значень автоматично блокують злиття, зменшуючи ймовірність потрапляння поламаного релізу в продакшн.
Ці переваги доповнюють, а не замінюють, дослідницьке тестування, огляди зручності та оцінки безпеки.
8. Висновок
Прапорці --once і --scenario у k6 v2.3.0 дають QA‑командам практичний шлях до одного скрипту й трьох контрольних перевірок якості. Розділяючи перевірки (функціональні твердження) та порогові значення (умови проходження контрольної перевірки CI), і визначаючи чіткі профілі сценаріїв, ви отримуєте:
- Maintainability – єдине джерело правди для визначень запитів та обробки даних.
- Швидкість – димові та функціональні перевірки виконуються за секунди, забезпечуючи швидкий зворотний зв’язок розробників.
- Впевненість – навантажувальні запуски застосовують пороги SLA, запобігаючи потраплянню регресій у продакшн.
Підхід все ще вимагає дисциплінованого проектування тестів, пильного пом'якшення ризиків та остаточного людського рішення про реліз. Поєднуючись з продуманим дослідницьким тестуванням—особливо для функцій, що працюють на базі керованих ШІ—цей шаблон забезпечує збалансовану, масштабовану стратегію контрольних перевірок якості для сучасних конвеєрів доставки програмного забезпечення.
Джерела
- Grafana k6 v2.3.0 release notes
https://github.com/grafana/k6/releases/tag/v2.3.0
- Grafana k6 documentation: Scenarios
https://grafana.com/docs/k6/latest/using-k6/scenarios/
- Grafana k6 documentation: Thresholds
https://grafana.com/docs/k6/latest/using-k6/thresholds/
- Grafana k6 documentation: Options reference
https://grafana.com/docs/k6/latest/using-k6/k6-options/reference/
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…