Практическое руководство для QA‑инженеров, желающих иметь единый, поддерживаемый ресурс тестов k6 для быстрого дымового контроля, функциональной верификации и реалистичной проверки производительности в CI.
1. Почему один скрипт может обслуживать три шлюза
Конвейеры непрерывной интеграции часто содержат три отдельных контрольных шлюза качества:
| Шлюз | Цель | Типичные ограничения CI |
|---|---|---|
| Smoke | Проверьте, что сервис работает и что самый критичный запрос возвращает корректный ответ. | Выполнение менее секунды, 1‑2 виртуальных пользователя, без нагрузки. |
| Функциональный | Проведите бизнес‑критическое путешествие от начала до конца и проверьте функциональные контракты. | Небольшая, детерминированная нагрузка (например, 5 виртуальных пользователей, несколько итераций). |
| Производительность | Моделируйте реальный трафик, фиксируйте процентильные задержки и соблюдайте пороги SLA. | Сотни виртуальных пользователей, этапы разгона, более длительное время выполнения. |
Исторически команды поддерживали отдельные скрипты для каждого этапа, что приводило к дублированию определений запросов, разнородной обработке данных и отклонениям в бизнес‑логике.
В версии k6 v2.3.0 были добавлены два флага CLI, позволяющих использовать один скрипт для всех трёх этапов:
--scenario <name>– выбирает именованный сценарий во время выполнения без изменения скрипта.--once– запускает выбранный сценарий один раз с одним виртуальным пользователем, сохраняя всю конфигурацию уровня сценария (теги, переменные окружения, настройки браузера).
Поскольку проверки (assertions) и пороги (критерии прохождения/провала) определены внутри скрипта, один и тот же код может исполняться под разными профилями нагрузки и всё равно выдавать соответствующий код завершения CI.
> Официальное примечание – Проверки только фиксируют успех или неудачу; сами по себе они не вызывают ненулевой код выхода. Пороговые значения — это механизм, который приводит к провалу выполнения в CI. (Примечания к выпуску Grafana k6 v2.3.0)
Оставшаяся часть этого руководства показывает, как структурировать переиспользуемый скрипт, как вызывать его для каждого этапа и какие подводные камни следует учитывать.
2. Структура переиспользуемого скрипта
Ниже приведён минимальный, но полный пример, демонстрирующий рекомендованную структуру. Скрипт находится в tests/k6/api-test.js.
import http from "k6/http";
import { check, sleep } from "k6";
import { Trend, Rate } from "k6/metrics";
/* ---------- 1. Global configuration ---------- */
export const options = {
// Scenarios are defined once; the CLI picks which one to run.
scenarios: {
// 1️⃣ Smoke – single iteration, single VU
smoke: {
executor: "per-vu-iterations",
exec: "journey",
vus: 1,
iterations: 1,
},
// 2️⃣ Functional – small deterministic load
functional: {
executor: "per-vu-iterations",
exec: "journey",
vus: 5,
iterations: 3,
},
// 3️⃣ Performance – realistic ramp‑up
performance: {
executor: "ramping-vus",
exec: "journey",
startVUs: 10,
stages: [
{ duration: "30s", target: 50 },
{ duration: "2m", target: 200 },
{ duration: "30s", target: 0 },
],
},
},
// Global thresholds that apply to *all* scenarios unless overridden later.
thresholds: {
// Every business check must pass for smoke and functional CI gates.
checks: ["rate==1"],
// Basic health – any HTTP error fails the pipeline.
http_req_failed: ["rate<0.01"],
// Latency SLA – only enforced for the performance scenario.
"http_req_duration{scenario:performance}": ["p(95)<800"],
},
// Tags help you filter results later (e.g., in Grafana dashboards).
tags: {
component: "orders-api",
team: "payments",
},
};
/* ---------- 2. Environment‑aware data ---------- */
// Base URL can be overridden per environment (CI, local, staging, prod).
const BASE_URL = __ENV.BASE_URL || "https://api.dev.example.com";
// A tiny data‑fixture that is safe to reuse across VUs.
const testUser = {
id: __ENV.TEST_USER_ID || "user‑123",
token: __ENV.TEST_USER_TOKEN || "dummy-token",
};
/* ---------- 3. Custom metrics (optional) ---------- */
const latencyTrend = new Trend("order_latency");
const errorRate = new Rate("order_error");
/* ---------- 4. The reusable journey ---------- */
export function journey() {
// 1️⃣ Authenticate (example – token already supplied)
const authHeaders = {
headers: { Authorization: `Bearer ${testUser.token}` },
};
// 2️⃣ Create an order (deterministic payload)
const payload = JSON.stringify({
userId: testUser.id,
items: [{ sku: "SKU‑001", qty: 1 }],
// This traceable marker avoids collisions; safe cleanup is still required.
testRunId: `${__VU}-${__ITER}-${Date.now()}`,
});
const res = http.post(`${BASE_URL}/orders`, payload, authHeaders);
const ok = check(res, {
"status is 201": (r) => r.status === 201,
"order id returned": (r) => !!r.json("orderId"),
});
// Record custom metrics.
latencyTrend.add(res.timings.duration);
errorRate.add(!ok);
// Simulate think‑time – important for realistic performance runs.
sleep(0.5);
}
/* ---------- 5. Scenario‑specific thresholds (optional) ---------- */
// The `options` object can be mutated at runtime, but keeping them static
// makes the script easier to audit. If you need a tighter SLA for a
// functional gate, you can add a conditional block like:
//
// if (__ENV.GATE === "functional") {
// options.thresholds["http_req_duration{scenario:functional}"] = ["p(95)<500"];
// }Ключевые выводы из скрипта
| Аспект | Как он поддерживает три шлюза |
|---|---|
Названные пути (journey) | Одна функция вызывается в каждом сценарии через exec. |
| Данные, учитывающие окружение | __ENV переменные позволяют CI внедрять правильный базовый URL и безопасные тестовые учётные данные без жёсткого кодирования. |
| Детерминированные проверки | check утверждения проверяют бизнес‑правила; они записываются при каждом запуске, но никогда не прерывают задачу CI. |
| Сценарно‑специфические профили нагрузки | scenarios объект определяет три независимых рабочих нагрузки; флаг CLI --scenario выбирает, какую из них выполнить. |
| Теги | Глобальные теги (component, team) и сценарно‑специфические теги (scenario:performance) обеспечивают детализированную отчётность. |
| Пороги | Глобальные пороги здоровья (http_req_failed) применяются ко всем шлюзам; SLA задержки ограничена только сценарием производительности. |
3. Запуск скрипта в CI
3.1 Шпаргалка по командной строке
| Шлюз | Команда | Что делает |
|---|---|---|
| Smoke | k6 run --once --scenario smoke tests/k6/api-test.js | Запускает journey один раз с одним VU; быстрый отклик, без нагрузки. |
| Функциональный | k6 run --scenario functional tests/k6/api-test.js | Запускает 5 VUs, по 3 итерации каждый – достаточно, чтобы выявить условия гонки, оставаясь детерминированным. |
| Производительность | k6 run --scenario performance tests/k6/api-test.js | Запускает профиль нарастания нагрузки, определённый в сценарии performance; пороги p95 задержки приведут к ненулевому коду выхода, если они будут превышены. |
Все три команды можно разместить в отдельных CI‑задачах или этапах. Тот же файл скрипта находится под контролем версий, поэтому любые изменения запросов, заголовков или аутентификации автоматически отражаются во всех шлюзах.
3.2 Пример матрицы CI (GitHub Actions)
name: API контрольные проверки качества
on:
push:
branches: [main]
jobs:
smoke:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Smoke test
env:
BASE_URL: ${{ secrets.STAGING_URL }}
TEST_USER_ID: ${{ secrets.TEST_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.TEST_USER_TOKEN }}
run: k6 run --once --scenario smoke tests/k6/api-test.js
functional:
needs: smoke
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Functional test
env:
BASE_URL: ${{ secrets.STAGING_URL }}
TEST_USER_ID: ${{ secrets.TEST_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.TEST_USER_TOKEN }}
run: k6 run --scenario functional tests/k6/api-test.js
performance:
needs: functional
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Install k6
uses: grafana/setup-k6-action@v1
- name: Performance test
env:
BASE_URL: ${{ secrets.PERFORMANCE_ENV_URL }}
TEST_USER_ID: ${{ secrets.PERF_USER_ID }}
TEST_USER_TOKEN: ${{ secrets.PERF_USER_TOKEN }}
run: k6 run --scenario performance tests/k6/api-test.jsNotice: Тот же путь к скрипту (tests/k6/api-test.js) присутствует в каждой задаче. Только переменные окружения и флаг --scenario отличаются.
4. Риски и стратегии смягчения
| Риск | Описание | Смягчение |
|---|---|---|
| Разрушительные тестовые данные | Нагрузочные тесты могут создавать заказы, пользователей или другие сущности, загрязняющие общую среду. | Используйте выделенного арендатора для нагрузочного тестирования в непроизводственной среде, генерируйте отслеживаемые идентификаторы запусков и проверяйте очистку после выполнения. |
| Скрытое состояние между сценариями | Поскольку --once всё ещё запускает полную функцию сценария, любое глобальное изменяемое состояние (например, переменные уровня модуля) может протекать из предыдущего запуска. | Храните все изменяемые данные внутри функции journey или явно сбрасывайте глобальные переменные в начале скрипта. |
| Дрейф порогов | Со временем команды могут ослаблять пороги, чтобы CI оставался зелёным, подрывая гарантию SLA. | Сохраняйте пороги в код‑ревью (как показано) и применяйте чек‑лист “аудит порогов” перед каждым релизом. |
| Поведение порога частичного сценария | Порог, ограниченный конкретным сценарием ({scenario:performance}), будет игнорироваться при запуске дымового сценария, что может скрыть регрессию. | Определите базовые пороги здоровья (например, http_req_failed), которые применяются ко всем сценариям; добавляйте SLA, специфичные для сценария, только там, где это имеет смысл. |
| Чрезмерная зависимость от автоматизации | Проверки подтверждают форму ответа, но не заменяют исследовательское тестирование граничных случаев. | Сочетайте CI‑ворота с ручным “исследовательским спринтом”, который выполняет те же пути с произвольными данными и проверкой интерфейса. |
Когда любой из перечисленных выше рисков становится трудно контролировать, рассмотрите разделение скрипта:
- Отдельный дымовой скрипт – небольшой запрос только для чтения, который никогда не изменяет состояние.
- Выделенный скрипт производительности – содержит тяжёлые шаги настройки данных и пользовательские метрики.
Разделение добавляет нагрузку на обслуживание, но изолирует разрушительные действия и делает намерения CI более ясными.
5. Просмотрите чек‑лист перед слиянием скрипта k6
- Определения сценариев – каждый шлюз имеет отдельный сценарий с соответствующим исполнителем и количеством VU.
- Переменные окружения – нет жёстко закодированных URL‑ов или учётных данных; все секреты внедряются через
__ENV. - Контролируемые тестовые данные – использует прослеживаемый идентификатор запуска, выделенного непроизводственного арендатора и проверенную очистку.
- Проверки и пороговые значения – каждое бизнес‑утверждение хранится в
check; каждое правило прохождения/непрохода контрольная проверка CI хранится вthresholds. - Tagging – глобальные теги присутствуют; теги, специфичные для сценария, используются для фильтрации дашбордов.
- Идемпотентность – тестируемый конечную точку API можно безопасно вызывать многократно без побочных эффектов, влияющих на последующие запуски.
- Documentation – заголовок скрипта перечисляет цель каждого сценария и номера SLA, которые он применяет.
Если любой элемент не проходит, приостановите слияние и устраните проблему.
6. Решение о выпуске, принимаемое человеком
Даже при автоматических воротах человек должен решить, продвигать ли сборку:
| Точка принятия решения | Что ищет тестировщик |
|---|---|
| Smoke зелёные | Сервис доступен, базовый контракт выполнен. |
| Функциональный зеленый | Все функциональные проверки проходят на нескольких VUs; нестабильные ошибки не наблюдаются. |
| Пороговые значения производительности | Задержка p95 ниже SLA, уровень ошибок ниже 1 %. |
| Наблюдаемость | Дашборды Grafana не показывают неожиданных всплесков; логи не содержат скрытых ошибок 5xx. |
| Оценка риска | Не осталось деструктивных данных; очистка прошла успешно; тестовая среда отражает продакшн. |
| Подтверждение заинтересованных сторон | Владелец продукта подтверждает, что протестированный путь является текущим бизнес‑приоритетом. |
Только после того, как команда коллективно подтвердит вышеизложенное, выпуск будет продвигаться вперёд. Автоматизация предоставляет данные; суждение — контекст.
7. Где автоматизация помогает
Автоматизация не панацея, но она превосходит в:
- Сетка безопасности регрессии – Повторный запуск того же пути при каждом коммите мгновенно обнаруживает случайные нарушения контракта.
- Повторяемость профиля нагрузки – Сценарии гарантируют, что один и тот же шаблон нарастания применяется во всех запусках, делая тенденции производительности надёжными.
- Сбор метрик – Пользовательские тренды (
order_latency) и показатели (order_error) собираются без ручных усилий, позволяя принимать решения, основанные на данных. - CI integration – Ошибки порогов автоматически блокируют слияния, уменьшая вероятность попадания сломанного релиза в продакшн.
Эти преимущества дополняют, а не заменяют исследовательское тестирование, обзоры удобства использования и оценки безопасности.
8. Заключение
Флаги --once и --scenario версии k6 v2.3.0 предоставляют командам QA прагматичный путь к одному скрипту, трем контрольным точкам качества. Разделяя проверки (функциональные утверждения) и пороговые значения (условия прохождения контрольной проверки CI), и определяя чёткие профили сценариев, вы получаете:
- Maintainability – единый источник правды для определений запросов и обработки данных.
- Speed – дымовые и функциональные контрольные точки выполняются за секунды, обеспечивая быстрый отклик разработчиков.
- Confidence – запуск производительности применяет пороги SLA, предотвращая попадание регрессий в продакшн.
Подход всё ещё требует дисциплинированного проектирования тестов, бдительного снижения рисков и окончательного человеческого решения о выпуске. При сочетании с продуманным исследовательским тестированием — особенно для функций, управляемых ИИ — эта модель обеспечивает сбалансированную, масштабируемую стратегию контрольных точек качества для современных конвейеров поставки программного обеспечения.
Источники
- Grafana k6 v2.3.0 release notes
https://github.com/grafana/k6/releases/tag/v2.3.0
- Grafana k6 documentation: Scenarios
https://grafana.com/docs/k6/latest/using-k6/scenarios/
- Grafana k6 documentation: Thresholds
https://grafana.com/docs/k6/latest/using-k6/thresholds/
- Grafana k6 documentation: Options reference
https://grafana.com/docs/k6/latest/using-k6/k6-options/reference/
Оставить комментарий
Поделитесь своим мнением о статье. Регистрация не требуется.
Комментарии
Загрузка комментариев…