Как сохранить безопасность тестов с совместными ресурсами, при этом используя параллелизм Playwright
1. Почему «параллельный» не всегда «безопасен»
Стандартный тестовый раннер Playwright запускает файлы параллельно и внутри каждого файла одновременно запускает тесты, когда fullyParallel включен. Это даёт значительное ускорение CI, но также предполагает, что каждый тест изолирован — то есть не зависит от изменяемого внешнего состояния, которое может затронуть другой тест одновременно.
Типичные неизолированные сценарии включают:
| Общий ресурс | Типичный конфликт |
|---|---|
| Один тестовый аккаунт на внешнем SaaS-сервисе | Одновременная смена паролей, очистка данных |
| Среда песочницы с ограничением скорости | Превышение квот по запросам |
| Глобальные конфигурационные файлы, написанные тестами | Перезаписывает эти поврежденные последующие запуски |
| Тестовые данные, находящиеся в общей базе данных | Одновременные вставки/обновления приводят к нестабильности чтения |
Когда доступ к таким ресурсам осуществляется без координации, тесты становятся нестабильными, и CI-конвейеры теряют надёжность. Исторически обходным решением было отмечать весь пакет (или целый файл) как serial, что гарантирует, что одновременно не запускаются два теста. Минус в том, что весь набор теряет параллелизм, увеличивая время выполнения.
Playwright 1.63 вводит именованные тестовые блокировки для устранения этого пробела. Блокировки позволяют объявить именованный ресурс, который должен быть эксклюзивным, в то время как все остальные тесты продолжают выполняться параллельно. Эта функция работает между файлами, рабочими процессами и проектами — именно там, где ранее были проблемы с параллелизмом.
> Официальное поведение — Playwright получает все блокировки теста до его запуска и освобождает их после завершения. В режимах по умолчанию и serial блокировка, объявленная для любого теста, удерживается на протяжении выполнения всего файла; при полностью параллельном запуске она относится к отдельному тесту. (Документация Playwright о Test Locks)
Остальная часть статьи объясняет, как правильно использовать замки, как они взаимодействуют с работниками и проектами, а также как разработать прагматичную стратегию контроля качества, которая избегает тупиков при сохранении большей части параллельного ускорения.
2. Три базовых подхода
| Подход | Параллелизм | Гарантия изоляции | Типичный случай использования |
|---|---|---|---|
| Изолированные тесты (без общего состояния) | Полная параллельность между сотрудниками, файлами и проектами | Каждый тест выполняется независимо; координация не требуется. | Чисто модульные UI-тесты |
Полностью серийная сюита (test.describe.configure({ mode: 'serial' })) | Нет параллелизма внутри файла; файлы всё равно работают параллельно | Гарантирует, что любые два теста в файле никогда не пересекаются | Устаревшие пакеты, основанные на глобальном браузере или общей базе данных |
| Узконаправленные замки (новые в версии 1.63) | Параллелизм сохраняется для всех тестов, которые не имеют одинаковое имя замка | Сериализуются только тесты, объявляющие одно и то же имя замка; другие выполняются одновременно | Тесты, которым нужен один тестовый аккаунт, песочница с ограничением скорости или глобальный конфигурационный файл |
Подход с блокировкой — это золотая середина для большинства команд: вы сохраняете быстрый стандартный параллелизм и сериализуете лишь минимальный набор тестов, которые действительно конфликтуют.
3. Объявление замков — синтаксис и область действия
3.1 На уровне теста
import { test, expect } from '@playwright/test';
test('create user in shared sandbox', { lock: 'sandbox-A' }, async ({ page }) => {
// The lock name "sandbox‑A" is acquired before the test starts.
// No other test that also asks for "sandbox‑A" will run concurrently.
await page.goto('https://example.com/signup');
// …
});Имя блокировки задаётся в объекте параметров теста:
test('update shared account', { lock: 'shared-account' }, async ({ page }) => {
// Тест запускается только после освобождения именованной блокировки.
// …
});Когда fullyParallel off (по умолчанию), блокировка удерживается для всего файла, потому что тестовый раннер рассматривает файл как единое целое. Когда fullyParallel on, блокировка удерживается только на время индивидуального теста.
3.2 На уровне test.describe
Если целая группа тестов требует одного и того же эксклюзивного ресурса, вы можете объявить замок один раз:
test.describe('Operations on shared sandbox A', () => {
test.describe.configure({ lock: 'sandbox‑A' });
test('reset sandbox', async ({ page }) => {
// lock already acquired
// …
});
test('run migration script', async ({ page }) => {
// same lock, same exclusivity guarantee
// …
});
});Все тесты внутри describe наследуют имя замка, что упрощает обслуживание.
3.3 Несколько замков
Тест может запросить более одного блокировки, передавая массив:
test('reset the database', { lock: ['sandbox-A', 'shared-account'] }, async () => {
// …
});Playwright получает все запрошенные блокировки до запуска теста и освобождает их после завершения. Документация не определяет порядок получения или справедливость очереди, поэтому тесты и QA-политика не должны от них зависеть.
4. Наименование — поддержание управляемого пространства замков
Поскольку имена замков глобальны на протяжении всего тестового запуска, дисциплинированная схема именования предотвращает случайные столкновения:
| Рекомендация | Пример |
|---|---|
| Префикс с типом ресурса | account‑admin, sandbox‑us‑east |
| Используйте кебаб-футляр (Playwright рассматривает имена как струны) | sandbox‑a |
| Держите имена короткими, но описательными | rate‑limit‑api |
| Документируйте карту замков в общем README | (см. план миграции) |
Чёткая карта облегчает новым участникам понимать, какие тесты не должны выполняться одновременно.
5. Взаимодействие с рабочими, проектами и шардингом CI
5.1 Рабочие
Playwright выполняет тесты в настраиваемом количестве рабочих процессов. Блокировки действуют между рабочими процессами: если процесс 1 удерживает sandbox‑A, процесс 2 ждёт перед запуском другого теста с той же блокировкой. Эта гарантия обеспечивает безопасный параллелизм.
5.2 Проекты
Проекты — это отдельные конфигурации (например, Chrome против Firefox). Блокировки также глобальны между проектами. Тест в проекте chromium, который блокирует shared‑account, блокирует одноимённый тест в проекте firefox до его освобождения. Это предотвращает одновременное мутирование одной и той же внешней учётной записи двумя браузерами.
5.3 Шардинг CI
Системы CI часто делят тестовый набор на шарды, которые работают на разных агентах. Реализация блокировки Playwright — это процессно-локально; она не координируется между отдельными CI-машинами. Поэтому блокировка гарантирует эксклюзивность внутри одного CI-задания. Если общий ресурс действительно не может быть одновременно доступен между агентами, вы должны либо:
- Выделяйте отдельные ресурсы на один шард (например, отдельные тестовые аккаунты), или
- Используйте пользовательскую службу внешнего замка (выходящую за рамки встроенной функции Playwright).
В статье не говорится о распределённой блокировке между CI-машинами, потому что официальная документация этого не гарантирует.
6. Практические вопросы
6.1 Тайм‑ауты
Playwright не обнажает тайм-аут, специфичный для блокировки. Если тест не может захватить блокировку из-за застряния другого теста, тест ожидания просто останется в очереди до снятия блокировки. На практике это может привести к превышению тайм-аута CI в общем наборе. Стратегии смягчения:
- Держите критический участок (код, требующий замка) как можно короче.
- Добавьте явные
testInfo.setTimeout()в сам тест, чтобы зависающая блокировка приведёт к провалу теста, а не задерживает весь запуск.
6.2 Восстановление после отказа
Playwright освобождает блокировки после завершения теста и завершает рабочий процесс после ошибки теста. При этом внешнее состояние может остаться повреждённым (например, частично обновлённая учётная запись), поэтому следующие тесты всё равно могут завершиться с ошибкой. Рекомендуется:
- Используйте
test.afterEachилиtest.afterAllкрючки, чтобы очистить общий ресурс даже если тест провалился. - Рассмотрим тест «сброса», который запускается в начале каждой задачи CI, чтобы вернуть ресурс к известной исходной точке.
6.3 Наблюдаемость
Официальная документация описывает поведение блокировок, но не предоставляет телеметрию их получения. Поэтому временные данные следует собирать как собственную командную инструментализацию:
- записывать идентификатор теста и заявленный общий ресурс;
- фиксировать время начала и завершения в CI-логах или собственном репортёре;
- сравнивать тесты с одинаковой блокировкой с независимыми тестами.
Такие данные помогают обнаружить лишнее ожидание без утверждений о недокументированной внутренней реализации раннера.
6.4 Предотвращение тупиков
Playwright ожидает доступности всех запрошенных блокировок до запуска теста. Поэтому следующая командная политика предназначена для ограничения конкуренции и удобства проверки:
- Правило 1 — по возможности не более двух блокировок на тест; исключения документируются и проходят ревью.
- Правило 2 — часто используемые вместе блокировки документируются как одна проверенная группа.
- Правило 3 — используйте канонические имена ресурсов и не создавайте алиасы для одного общего ресурса.
Эти правила сохраняют реестр блокировок компактным и понятным.
7. Обзор архитектуры и потока данных
Тестовые файлы → параметры блокировок → координация раннера → рабочий процесс → результат теста
- Входы — тестовые файлы, параметры
{ lock: … }, конфигурация Playwright (fullyParallel,projects). - Выходы – Результаты тестов (сдал/непроход), необязательные логи блокировки и получение и любые побочные эффекты на общий ресурс.
Схема концептуально показывает документированный контракт: Playwright координирует именованные блокировки между рабочими процессами и проектами до запуска теста.
8. Контрольный список проектирования тестов
| Категория | Что проверять |
|---|---|
| Положительно | Тест, который объявляет блокировку sandbox‑A успешно выполняется, хотя ни один другой тест не поддерживает этот блокировку. |
| Отрицательно | Два теста, которые оба запрашивают sandbox‑A никогда не пересекаются; второй тест начинается только после завершения первого. |
| Параллельность | Тесты с разными именами блокировок (sandbox‑A против sandbox‑B) выполняются параллельно, даже если выполняются на одном и том же пуле рабочих. |
| Тайм-аут | Для намеренно медленного теста задаётся явный тайм-аут; очистка и восстановление внешнего состояния проверяются отдельно. |
| CI sharding | Когда набор разделён на два шарда, каждый осколок использует отдельное имя замка (или внешнюю изоляцию), чтобы избежать конфликтов между агентами. |
Автоматизированная проверка может быть добавлена в тестовый набор «lock sanity», который выполняется в выделенной задаче CI.
9. План миграции — от полностью последовательного к параллелизму на основе замков
- Идентифицировать общие ресурсы – Перечислить внешние аккаунты, песочницы, конфигурационные файлы, базы данных, изменённые тестами.
- Добавить имена блокировок — добавьте
{ lock: 'resource-name' }как аргумент параметров каждого теста, работающего с общим ресурсом. - Проведите базовый уровень – Выполните набор с помощью
fullyParallel: trueи убедитесь, что тесты на здравый смысл замка (раздел 8) прошли. - Постепенно расширять – Если новому тесту нужен тот же ресурс, добавьте то же имя замка.
- Измерение – Сравните общую продолжительность набора до и после принятия замков. Несвязанные тесты должны продолжать выполняться параллельно; снижение времени работы настенного часов является основным ключевым показателем (KPI).
- Элемент освобождения, принадлежащий человеку – Перед объединением PR, который вводит новый замок, потребуется от рецензента проверить, что имя замка задокументировано и что ни один существующий тест не использует его случайно. Этот элемент предотвращает случайное распространение замков.
Миграцию можно выполнять постепенно; не нужно переключать весь пакет в последовательный режим.
10. Измеримые доказательства того, что несвязанные тесты остаются параллельными
Для проверки параллельности используйте явные отметки начала и завершения тестов из CI-логов или собственного репортера. После миграции данные должны показывать:
- Перекрывающиеся планки для тестов без общего замка.
- Пробелы возникают только там, где два теста с одинаковым именем замка сериализуются.
По этим отметкам рассчитайте наблюдаемый коэффициент параллелизма:
коэффициент параллелизма = сумма длительностей тестов / длительность всего запускаСоотношение, близкое к числу работников, указывает на то, что замки не ограничивают работу комплекса.
11. Где помогает автоматизация
| поверхность | Возможность автоматизации |
|---|---|
| Проверка карты замков | Правило линса, которое сканирует тестовые файлы на предмет lock: использования и отмечает дублирующиеся или отсутствующие документы. |
| Обнаружение тупика | Скрипт, который строит граф зависимостей от блокировки из тестового комплекса и предупреждает, если какой-либо узел имеет степень > 2 (в соответствии с политикой). |
| Регрессия производительности | Задание CI, которое фиксирует длительность набора и не работает, если коэффициент параллелизма падает ниже порога. |
| Проверка состояния ресурсов | Предтестовый крючок, проверяющий доступность внешней песочницы; если нет — набор прекращает работу раньше времени. |
| Освободить контроль ворот | Проверка запрос на слияние, которая гарантирует, что любое новое имя блокировки добавлено в общий файл реестра блокировок. |
Эти автоматические охранники поддерживают стратегию замка по мере роста тестовой базы.
12. Рекомендуемая стратегия контроля качества (наш взгляд)
- Предпочитайте изоляцию – По возможности пишите тесты, которые не требуют блокировки.
- Введите замки только для действительно общих ресурсов – Используйте вышеуказанные правила наименования и правила.
- Держите критические секции крошечными – Перемещайте всю несущественную работу за пределы заблокированной зоны (например, навигация по странице может происходить до получения блокировки, если это не влияет на общее состояние).
- Контролировать конкуренцию за блокировки — анализируйте временные данные или собственный журнал блокировок, чтобы конкуренция оставалась низкой.
- Документировать и проверить – Рассматривать имена замков как общий контракт; любое изменение должно проходить через элемент освобождения, принадлежащий человеку.
Следуя такому подходу, вы сохраняете большую часть параллельной скорости Playwright, устраняя нестабильность при одновременном доступе к внешним ресурсам.
13. Вопросы для обзора
- В чём разница между поведением замка в режиме по умолчанию и в режиме
fullyParallel? - Как Playwright обеспечивает эксклюзивность блокировки между сотрудниками и проектами?
- Перечислите две практические политики, которые снижают риск тупиков при использовании нескольких замков.
- Почему команда должна рассматривать блокирующие имена как общий контракт и обеспечивать проверку с момента выпуска?
- Какую часть тестового набора стоит сохранять полностью последовательно, если вообще есть, после внедрения тестовых замков?
14. Заключение
Именованные тестовые блокировки в Playwright 1.63 дают командам QA точный инструмент для сериализации только тех тестов, которым действительно нужен эксклюзивный доступ к внешнему ресурсу. Понимая масштаб замков, регулярно называя их и применяя лёгкую политику для предотвращения тупиков, вы сможете поддерживать параллельную работу большинства набора блокировок, одновременно устраняя непостоянные сбои, вызванные конфликтом между общими состояниями. Объединив встроенный механизм блокировки с автоматическим покрытием, мониторингом производительности и принадлежащим человеком клапаном освобождения — получите надёжный, масштабируемый конвейер тестирования, который учитывает скорость и надёжность.
Оставить комментарий
Поделитесь своим мнением о статье. Регистрация не требуется.
Комментарии
Загрузка комментариев…