Как сохранить безопасность тестов с совместными ресурсами, при этом используя параллелизм Playwright


1. Почему «параллельный» не всегда «безопасен»

Стандартный тестовый раннер Playwright запускает файлы параллельно и внутри каждого файла одновременно запускает тесты, когда fullyParallel включен. Это даёт значительное ускорение CI, но также предполагает, что каждый тест изолирован — то есть не зависит от изменяемого внешнего состояния, которое может затронуть другой тест одновременно.

Типичные неизолированные сценарии включают:

Общий ресурсТипичный конфликт
Один тестовый аккаунт на внешнем SaaS-сервисеОдновременная смена паролей, очистка данных
Среда песочницы с ограничением скоростиПревышение квот по запросам
Глобальные конфигурационные файлы, написанные тестамиПерезаписывает эти поврежденные последующие запуски
Тестовые данные, находящиеся в общей базе данныхОдновременные вставки/обновления приводят к нестабильности чтения

Когда доступ к таким ресурсам осуществляется без координации, тесты становятся нестабильными, и CI-конвейеры теряют надёжность. Исторически обходным решением было отмечать весь пакет (или целый файл) как serial, что гарантирует, что одновременно не запускаются два теста. Минус в том, что весь набор теряет параллелизм, увеличивая время выполнения.

Playwright 1.63 вводит именованные тестовые блокировки для устранения этого пробела. Блокировки позволяют объявить именованный ресурс, который должен быть эксклюзивным, в то время как все остальные тесты продолжают выполняться параллельно. Эта функция работает между файлами, рабочими процессами и проектами — именно там, где ранее были проблемы с параллелизмом.

> Официальное поведение — Playwright получает все блокировки теста до его запуска и освобождает их после завершения. В режимах по умолчанию и serial блокировка, объявленная для любого теста, удерживается на протяжении выполнения всего файла; при полностью параллельном запуске она относится к отдельному тесту. (Документация Playwright о Test Locks)

Остальная часть статьи объясняет, как правильно использовать замки, как они взаимодействуют с работниками и проектами, а также как разработать прагматичную стратегию контроля качества, которая избегает тупиков при сохранении большей части параллельного ускорения.


2. Три базовых подхода

ПодходПараллелизмГарантия изоляцииТипичный случай использования
Изолированные тесты (без общего состояния)Полная параллельность между сотрудниками, файлами и проектамиКаждый тест выполняется независимо; координация не требуется.Чисто модульные UI-тесты
Полностью серийная сюита (test.describe.configure({ mode: 'serial' }))Нет параллелизма внутри файла; файлы всё равно работают параллельноГарантирует, что любые два теста в файле никогда не пересекаютсяУстаревшие пакеты, основанные на глобальном браузере или общей базе данных
Узконаправленные замки (новые в версии 1.63)Параллелизм сохраняется для всех тестов, которые не имеют одинаковое имя замкаСериализуются только тесты, объявляющие одно и то же имя замка; другие выполняются одновременноТесты, которым нужен один тестовый аккаунт, песочница с ограничением скорости или глобальный конфигурационный файл

Подход с блокировкой — это золотая середина для большинства команд: вы сохраняете быстрый стандартный параллелизм и сериализуете лишь минимальный набор тестов, которые действительно конфликтуют.


3. Объявление замков — синтаксис и область действия

3.1 На уровне теста

import { test, expect } from '@playwright/test';

test('create user in shared sandbox', { lock: 'sandbox-A' }, async ({ page }) => {
  // The lock name "sandbox‑A" is acquired before the test starts.
  // No other test that also asks for "sandbox‑A" will run concurrently.
  await page.goto('https://example.com/signup');
  // …
});

Имя блокировки задаётся в объекте параметров теста:

test('update shared account', { lock: 'shared-account' }, async ({ page }) => {
  // Тест запускается только после освобождения именованной блокировки.
  // …
});

Когда fullyParallel off (по умолчанию), блокировка удерживается для всего файла, потому что тестовый раннер рассматривает файл как единое целое. Когда fullyParallel on, блокировка удерживается только на время индивидуального теста.

3.2 На уровне test.describe

Если целая группа тестов требует одного и того же эксклюзивного ресурса, вы можете объявить замок один раз:

test.describe('Operations on shared sandbox A', () => {
  test.describe.configure({ lock: 'sandbox‑A' });

  test('reset sandbox', async ({ page }) => {
    // lock already acquired
    // …
  });

  test('run migration script', async ({ page }) => {
    // same lock, same exclusivity guarantee
    // …
  });
});

Все тесты внутри describe наследуют имя замка, что упрощает обслуживание.

3.3 Несколько замков

Тест может запросить более одного блокировки, передавая массив:

test('reset the database', { lock: ['sandbox-A', 'shared-account'] }, async () => {
  // …
});

Playwright получает все запрошенные блокировки до запуска теста и освобождает их после завершения. Документация не определяет порядок получения или справедливость очереди, поэтому тесты и QA-политика не должны от них зависеть.


4. Наименование — поддержание управляемого пространства замков

Поскольку имена замков глобальны на протяжении всего тестового запуска, дисциплинированная схема именования предотвращает случайные столкновения:

РекомендацияПример
Префикс с типом ресурсаaccount‑admin, sandbox‑us‑east
Используйте кебаб-футляр (Playwright рассматривает имена как струны)sandbox‑a
Держите имена короткими, но описательнымиrate‑limit‑api
Документируйте карту замков в общем README(см. план миграции)

Чёткая карта облегчает новым участникам понимать, какие тесты не должны выполняться одновременно.


5. Взаимодействие с рабочими, проектами и шардингом CI

5.1 Рабочие

Playwright выполняет тесты в настраиваемом количестве рабочих процессов. Блокировки действуют между рабочими процессами: если процесс 1 удерживает sandbox‑A, процесс 2 ждёт перед запуском другого теста с той же блокировкой. Эта гарантия обеспечивает безопасный параллелизм.

5.2 Проекты

Проекты — это отдельные конфигурации (например, Chrome против Firefox). Блокировки также глобальны между проектами. Тест в проекте chromium, который блокирует shared‑account, блокирует одноимённый тест в проекте firefox до его освобождения. Это предотвращает одновременное мутирование одной и той же внешней учётной записи двумя браузерами.

5.3 Шардинг CI

Системы CI часто делят тестовый набор на шарды, которые работают на разных агентах. Реализация блокировки Playwright — это процессно-локально; она не координируется между отдельными CI-машинами. Поэтому блокировка гарантирует эксклюзивность внутри одного CI-задания. Если общий ресурс действительно не может быть одновременно доступен между агентами, вы должны либо:

В статье не говорится о распределённой блокировке между CI-машинами, потому что официальная документация этого не гарантирует.


6. Практические вопросы

6.1 Тайм‑ауты

Playwright не обнажает тайм-аут, специфичный для блокировки. Если тест не может захватить блокировку из-за застряния другого теста, тест ожидания просто останется в очереди до снятия блокировки. На практике это может привести к превышению тайм-аута CI в общем наборе. Стратегии смягчения:

6.2 Восстановление после отказа

Playwright освобождает блокировки после завершения теста и завершает рабочий процесс после ошибки теста. При этом внешнее состояние может остаться повреждённым (например, частично обновлённая учётная запись), поэтому следующие тесты всё равно могут завершиться с ошибкой. Рекомендуется:

6.3 Наблюдаемость

Официальная документация описывает поведение блокировок, но не предоставляет телеметрию их получения. Поэтому временные данные следует собирать как собственную командную инструментализацию:

Такие данные помогают обнаружить лишнее ожидание без утверждений о недокументированной внутренней реализации раннера.

6.4 Предотвращение тупиков

Playwright ожидает доступности всех запрошенных блокировок до запуска теста. Поэтому следующая командная политика предназначена для ограничения конкуренции и удобства проверки:

Эти правила сохраняют реестр блокировок компактным и понятным.


7. Обзор архитектуры и потока данных

Тестовые файлы → параметры блокировок → координация раннера → рабочий процесс → результат теста

Схема концептуально показывает документированный контракт: Playwright координирует именованные блокировки между рабочими процессами и проектами до запуска теста.


8. Контрольный список проектирования тестов

КатегорияЧто проверять
ПоложительноТест, который объявляет блокировку sandbox‑A успешно выполняется, хотя ни один другой тест не поддерживает этот блокировку.
ОтрицательноДва теста, которые оба запрашивают sandbox‑A никогда не пересекаются; второй тест начинается только после завершения первого.
ПараллельностьТесты с разными именами блокировок (sandbox‑A против sandbox‑B) выполняются параллельно, даже если выполняются на одном и том же пуле рабочих.
Тайм-аутДля намеренно медленного теста задаётся явный тайм-аут; очистка и восстановление внешнего состояния проверяются отдельно.
CI shardingКогда набор разделён на два шарда, каждый осколок использует отдельное имя замка (или внешнюю изоляцию), чтобы избежать конфликтов между агентами.

Автоматизированная проверка может быть добавлена в тестовый набор «lock sanity», который выполняется в выделенной задаче CI.


9. План миграции — от полностью последовательного к параллелизму на основе замков

  1. Идентифицировать общие ресурсы – Перечислить внешние аккаунты, песочницы, конфигурационные файлы, базы данных, изменённые тестами.
  2. Добавить имена блокировок — добавьте { lock: 'resource-name' } как аргумент параметров каждого теста, работающего с общим ресурсом.
  3. Проведите базовый уровень – Выполните набор с помощью fullyParallel: true и убедитесь, что тесты на здравый смысл замка (раздел 8) прошли.
  4. Постепенно расширять – Если новому тесту нужен тот же ресурс, добавьте то же имя замка.
  5. Измерение – Сравните общую продолжительность набора до и после принятия замков. Несвязанные тесты должны продолжать выполняться параллельно; снижение времени работы настенного часов является основным ключевым показателем (KPI).
  6. Элемент освобождения, принадлежащий человеку – Перед объединением PR, который вводит новый замок, потребуется от рецензента проверить, что имя замка задокументировано и что ни один существующий тест не использует его случайно. Этот элемент предотвращает случайное распространение замков.

Миграцию можно выполнять постепенно; не нужно переключать весь пакет в последовательный режим.


10. Измеримые доказательства того, что несвязанные тесты остаются параллельными

Для проверки параллельности используйте явные отметки начала и завершения тестов из CI-логов или собственного репортера. После миграции данные должны показывать:

По этим отметкам рассчитайте наблюдаемый коэффициент параллелизма:

коэффициент параллелизма = сумма длительностей тестов / длительность всего запуска

Соотношение, близкое к числу работников, указывает на то, что замки не ограничивают работу комплекса.


11. Где помогает автоматизация

поверхностьВозможность автоматизации
Проверка карты замковПравило линса, которое сканирует тестовые файлы на предмет lock: использования и отмечает дублирующиеся или отсутствующие документы.
Обнаружение тупикаСкрипт, который строит граф зависимостей от блокировки из тестового комплекса и предупреждает, если какой-либо узел имеет степень > 2 (в соответствии с политикой).
Регрессия производительностиЗадание CI, которое фиксирует длительность набора и не работает, если коэффициент параллелизма падает ниже порога.
Проверка состояния ресурсовПредтестовый крючок, проверяющий доступность внешней песочницы; если нет — набор прекращает работу раньше времени.
Освободить контроль воротПроверка запрос на слияние, которая гарантирует, что любое новое имя блокировки добавлено в общий файл реестра блокировок.

Эти автоматические охранники поддерживают стратегию замка по мере роста тестовой базы.


12. Рекомендуемая стратегия контроля качества (наш взгляд)

  1. Предпочитайте изоляцию – По возможности пишите тесты, которые не требуют блокировки.
  2. Введите замки только для действительно общих ресурсов – Используйте вышеуказанные правила наименования и правила.
  3. Держите критические секции крошечными – Перемещайте всю несущественную работу за пределы заблокированной зоны (например, навигация по странице может происходить до получения блокировки, если это не влияет на общее состояние).
  4. Контролировать конкуренцию за блокировки — анализируйте временные данные или собственный журнал блокировок, чтобы конкуренция оставалась низкой.
  5. Документировать и проверить – Рассматривать имена замков как общий контракт; любое изменение должно проходить через элемент освобождения, принадлежащий человеку.

Следуя такому подходу, вы сохраняете большую часть параллельной скорости Playwright, устраняя нестабильность при одновременном доступе к внешним ресурсам.


13. Вопросы для обзора

  1. В чём разница между поведением замка в режиме по умолчанию и в режиме fullyParallel?
  2. Как Playwright обеспечивает эксклюзивность блокировки между сотрудниками и проектами?
  3. Перечислите две практические политики, которые снижают риск тупиков при использовании нескольких замков.
  4. Почему команда должна рассматривать блокирующие имена как общий контракт и обеспечивать проверку с момента выпуска?
  5. Какую часть тестового набора стоит сохранять полностью последовательно, если вообще есть, после внедрения тестовых замков?

14. Заключение

Именованные тестовые блокировки в Playwright 1.63 дают командам QA точный инструмент для сериализации только тех тестов, которым действительно нужен эксклюзивный доступ к внешнему ресурсу. Понимая масштаб замков, регулярно называя их и применяя лёгкую политику для предотвращения тупиков, вы сможете поддерживать параллельную работу большинства набора блокировок, одновременно устраняя непостоянные сбои, вызванные конфликтом между общими состояниями. Объединив встроенный механизм блокировки с автоматическим покрытием, мониторингом производительности и принадлежащим человеком клапаном освобождения — получите надёжный, масштабируемый конвейер тестирования, который учитывает скорость и надёжность.


Источники