Как команды контроля качества могут объединить контрактные проверки, аутентификацию, подготовку состояния, негативные сценарии и побочных эффектов в единый набор тестов Playwright — и какие существуют ограничения, когда тестируемая система представляет собой агентный ИИ.


1. Зачем объединять проверки API и пользовательского интерфейса в одном запуске?

Современные приложения зачастую предоставляют общедоступный HTTP-API, который обеспечивает работу как веб-интерфейса, так и набора сервисов на базе искусственного интеллекта (чат-боты, системы рекомендаций, помощники по написанию кода и т. д.). Когда инженер по контролю качества пишет сквозной тест (E2E) с помощью Playwright, стандартный рабочий процесс заключается в запуске браузера, взаимодействии с пользовательским интерфейсом и проверке отображаемой страницы.

Playwright также предоставляет APIRequestContext — встроенный HTTP-клиент, способный отправлять запросы GET, POST, PUT, PATCH, DELETE и HEAD без открытия браузера. Таким образом, одно и то же средство запуска тестов может:

В результате получается единый тестовый файл с управлением версиями, который проверяет весь стек, оставаясь при этом быстрым и детерминированным.


2. APIRequestContext вкратце

ВозможностьЧто предлагает PlaywrightПрактическое значение
Методы запросовrequest.get(), request.post(), … плюс общий вариант request.fetch()Используйте глагол, соответствующий конечной точке; внешняя HTTP-библиотека не требуется.
Базовый URLrequest.newContext({ baseURL: process.env.API_BASE_URL })Не повторяйте имя хоста; это обеспечит переносимость тестов между различными средами.
АутентификацияУстановите заголовок Authorization или создайте контекст после страницы браузера с авторизованным пользователем (await page.context().storageState())Используйте одну и ту же сессию для шагов интерфейса пользователя и API или выполняйте обмен токенами один раз на каждый набор тестов.
Функции обработки ответовresponse.status(), response.json(), response.text(), response.headers()Мгновенный доступ к данным, необходимым для подтверждения условий контракта.
Жизненный циклawait context.dispose() для освобождения ресурсов; глобальная фикстура request доступна в тестовых файлах PlaywrightЯвная очистка предотвращает утечку сокетов при длительных циклах CI.

Эти возможности описаны в официальном руководстве по тестированию API Playwright и в справочнике по классу APIRequestContext:


3. Разработка контрактных тестов для обычных бэкенд-API

Контрактный тест проверяет, соблюдается ли конечной точкой внешний контракт между клиентом и сервером. С помощью Playwright можно написать лаконичный тест, например, такой:

test('GET /products returns a paginated list', async ({ request }) => {
  const resp = await request.get('/products?page=1&size=10');
  expect(resp.status()).toBe(200);
  const body = await resp.json();

  // Basic shape check – no external схема validator required for simple cases
  expect(Array.isArray(body.items)).toBeTruthy();
  expect(body.page).toBe(1);
  expect(body.size).toBe(10);
});

Почему это важно: нарушения контрактов выявляются на ранней стадии (например, отсутствие поля после рефакторинга) и защищают последующие тесты пользовательского интерфейса от нестабильных проверок DOM, которые на самом деле вызваны неисправностью API.


4. Шаблоны аутентификации, которые сохраняются на всех этапах взаимодействия с пользовательским интерфейсом и API

4.1 Аутентификация с Bearer-токеном

test.use({
  // Run once per worker – fetch a token that will be reused
  extraHTTPHeaders: async () => {
    const tokenResp = await request.post('/auth/login', {
      data: { username: 'qa', password: 'secret' },
    });
    const { accessToken } = await tokenResp.json();
    return { Authorization: `Bearer ${accessToken}` };
  },
});

Хук extraHTTPHeaders вставляет токен в каждый последующий запрос, повторяя то, что SPA отправлял бы в своём заголовке Authorization.

4.2 Совместное использование сеанса браузера

test('Create a post via API then view it in the UI', async ({ page, request }) => {
  // Log in through the UI once, then export the storage state
  await page.goto('/login');
  await page.fill('#email', 'qa@example.com');
  await page.fill('#password', 'secret');
  await page.click('button[type=submit]');
  await page.waitForURL('/dashboard');

  const storage = await page.context().storageState();
  const apiContext = await request.newContext({ storageState: storage });

  const createResp = await apiContext.post('/posts', {
    data: { title: 'API‑created', body: 'Hello world' },
  });
  const { id } = await createResp.json();

  // Continue with UI verification using the same cookies
  await page.goto(`/posts/${id}`);
  await expect(page.locator('h1')).toHaveText('API‑created');
});

Благодаря повторному использованию состояния браузерной сессии запрос API выполняется от имени того же пользователя, который вошел в систему и впоследствии будет управлять пользовательским интерфейсом. Такой подход позволяет избежать дублирования кода входа в систему и гарантирует последовательное применение контроля доступа на основе ролей.


5. Настройка и очистка состояния — обеспечение детерминированности тестовой среды

Надежный набор тестов должен изолировать каждый запуск. Наиболее распространённый подход заключается в следующем:

  1. Подготовка — С помощью вызовов API создайте именно те данные, которые потребуются пользовательскому интерфейсу.
  2. Выполнение — Выполните шаги интерфейса пользователя, которые необходимо проверить.
  3. Очистка — Удалите данные, созданные на этапе 1, независимо от результатов теста.
test('User can delete a comment', async ({ page, request }) => {
  // 1️⃣ Setup
  const commentResp = await request.post('/comments', {
    data: { text: 'temporary', postId: 42 },
  });
  const { id: commentId } = await commentResp.json();

  // 2️⃣ Exercise
  await page.goto(`/posts/42`);
  await page.click(`button[data-comment-id="${commentId}"]`);
  await page.click('button.confirm-delete');
  await expect(page.locator('.toast')).toContainText('deleted');

  // 3️⃣ Cleanup (guarded in finally)
  await request.delete(`/comments/${commentId}`).catch(() => {});
});

Очистка по шаблону finally (или test.afterEach от Playwright) гарантирует, что даже неуспешная проверка пользовательского интерфейса не оставит «сиротских» записей, которые могли бы повлиять на последующие тесты.


6. Тестирование негативных сценариев — подтверждение того, что API отклоняет некорректные входные данные

Положительные тесты необходимы, но их недостаточно. Служба контроля качества должна также убедиться, что сервер корректно и безопасно отклоняет некорректные входные данные:

test('POST /orders rejects a negative quantity', async ({ request }) => {
  const resp = await request.post('/orders', {
    data: { productId: 7, quantity: -3 },
  });
  expect(resp.status()).toBe(400);
  const body = await resp.json();
  expect(body.error).toMatch(/quantity must be positive/i);
});

Негативные тесты можно сочетать с действиями в пользовательском интерфейсе, которые отображают сообщение об ошибке, что обеспечивает проверку сбоя на двух уровнях (ответ API + обратная связь, видимая пользователю).


7. Проверка побочных эффектов, выходящих за рамки HTTP-ответа

Многие конечные точки запускают асинхронные операции: отправку электронного письма, обновление поискового индекса или сохранение записи, которую впоследствии считывает страница пользовательского интерфейса. Клиент API Playwright можно использовать для опроса состояния и проверки этих побочных эффектов:

test('Create a subscription triggers a welcome email', async ({ request }) => {
  const subResp = await request.post('/subscriptions', {
    data: { email: 'qa@test.com' },
  });
  expect(subResp.status()).toBe(201);
  const { id } = await subResp.json();

  // Simple polling loop – in real life use a retry helper
  for (let i = 0; i < 5; i++) {
    const mailResp = await request.get(`/test-mailbox/qa@test.com`);
    const mails = await mailResp.json();
    if (mails.some(m => m.subject.includes('Welcome'))) break;
    await new Promise(r => setTimeout(r, 1000));
  }

  // Final assertion
  const finalMailResp = await request.get(`/test-mailbox/qa@test.com`);
  const finalMails = await finalMailResp.json();
  expect(finalMails.some(m => m.subject.includes('Welcome'))).toBeTruthy();
});

Проверяя наблюдаемый результат (письмо в тестовом почтовом ящике), тест подтверждает, что бэкенд выполнил предполагаемый побочный эффект, а не просто вернул значение 201.


8. Тестирование конечных точек ИИ-агентов с использованием одного и того же стека

ИИ-агенты, как правило, предоставляют HTTP-конечную точку, которая принимает запрос, дополнительные параметры (температура, максимальное количество токенов) и передает ответ в потоковом режиме. С точки зрения контроля качества возникают следующие сложности:

Playwright по-прежнему может оказаться полезным инструментом:

test('Chat endpoint respects content policy', async ({ request }) => {
  const resp = await request.post('/ИИ/chat', {
    data: {
      prompt: 'Write a joke about cats.',
      temperature: 0.7,
    },
  });
  expect(resp.status()).toBe(200);
  const { answer, usage } = await resp.json();

  // 1️⃣ Simple deterministic check – no profanity word list
  const forbidden = ['badword1', 'badword2'];
  expect(forbidden.some(w => answer.includes(w))).toBeFalsy();

  // 2️⃣ Token usage guard
  expect(usage.totalTokens).toBeLessThanOrEqual(150);

  // 3️⃣ Optional UI verification – render the answer in the chat UI
  await page.goto('/chat');
  await page.fill('#prompt', 'Write a joke about cats.');
  await page.click('button.send');
  await expect(page.locator('.message:last-child')).toContainText(answer);
});

Ограничения проверок только на уровне HTTP

Следовательно, проверки API следует дополнять следующим:


9. Пять конкретных вопросов, которые тестировщик может задать при оценке ИИ-агента

  1. Каковы явные критерии успеха?

– Определите измеримые пороговые значения (например, «ответ должен содержать как минимум одно утверждение, основанное на фактах, и не должен содержать запрещённых слов»).

  1. Как сохраняется состояние агента и можно ли сбросить его между запусками?

– Убедитесь, что тестовые данные (история запросов, профиль пользователя) очищены, чтобы результаты одного теста не влияли на следующий.

  1. Какие побочные эффекты вызывает данный агент и как их можно заметить?

– Определите последующие вызовы (отправка электронных писем, запись в базу данных) и создайте API-запросы или тестовые двойники для их проверки.

  1. Какие варианты сбоев предполагаются и как они доводятся до сведения клиента?

– Убедитесь, что ответы с ошибками (например, 429 — ограничение скорости, 400 — ошибка валидации) являются последовательными и что в пользовательском интерфейсе отображается понятное сообщение.

  1. Какие возможности мониторинга предоставляет сервис для отладки?

– Проверьте наличие идентификаторов запросов, журналов трассировки или отладочной конечной точки, которая возвращает этапы рассуждений модели.

Своевременное решение этих вопросов помогает разработать план тестирования, в котором детерминированные проверки API гармонично сочетаются с исследовательским характером агентного поведения.


10. В каких случаях автоматизация помогает

Автоматизация не заменяет человеческое суждение: она не может определить, является ли сгенерированный ответ семантически правильным, и не способна оценить, соответствует ли план действий ИИ бизнес-правилам, которые не зафиксированы в HTTP-контракте. Именно в этих пробелах исследовательское тестирование и эксперты в данной области приносят дополнительную ценность.


11. Заключение

Решение APIRequestContext от Playwright позволяет командам контроля качества рассматривать бэкенд-сервисы и конечные точки ИИ-агентов как полноценные компоненты того же набора тестов, который управляет браузером. Благодаря разработке проверок контрактов, последовательной аутентификации, явному управлению состоянием и тестированию негативных сценариев вы получаете быструю и детерминированную обратную связь по тем частям системы, которые наиболее поддаются автоматизации.

В то же время ограничения проверок только на уровне HTTP напоминают нам, что рабочие процессы агентов часто включают недетерминированную генерацию языка, обеспечение соблюдения политик и скрытые деревья решений. Дополнительные методы — журналы трассировки, верификация побочных эффектов и целевые исследовательские сессии — необходимы для обеспечения уверенности в том, что ИИ ведет себя ответственно в производственной среде.

Когда эти два мира грамотно объединяются, Playwright превращается в единую платформу для обеспечения качества как пользовательского интерфейса, так и API, что позволяет командам выпускать более функциональные решения с искусственным интеллектом, опираясь на надежную систему защиты.


Источники