ШІ може швидко створити тест Selenium. QA‑ворота вирішує, чи є цей чернетка актуальною, спостережуваною, достатньо повторюваною для перегляду та безпечною для злиття.


Чому ШІ‑згенеровані Selenium потребують власних воріт перегляду

Поточні рекомендації Selenium виявляють повторювану проблему: агенти коду часто відтворюють патерни Selenium 2 або Selenium 3, оскільки старі підручники все ще домінують у їхньому навчальному матеріалі. Типовий вихід включає сторонній менеджер драйверів, жорстко закодований шлях до драйвера, видалені find_element_by_* допоміжні засоби, DesiredCapabilities, абсолютний XPath або фіксовану паузу.[1][2]

Ці проблеми не є доказом того, що ШІ слід виключати з автоматизації тестування. Це доказ того, що згенерований код потребує тих самих правил адаптації, актуальної документації, доказів виконання та людського перегляду, які отримує новий учасник.

Ворота, описані нижче, є рекомендацією TestAI Lab, а не функцією продукту Selenium. Офіційна документація Selenium надає поточні технічні правила. Команда відповідає за критерії прийняття та рішення про злиття.


Що має негайно провалити перегляд

Згенерований шаблонРішення переглядуПоточний напрямок
webdriver-manager або завантажений шлях до драйвераВідхилити, якщо проєкт не документує конкретний винятокSelenium Manager постачається разом з Selenium і використовується прив’язками для автоматизованого керування драйверами.[1][3]
DesiredCapabilities або довільні мапи можливостей у новому кодіВідхилитиНалаштуйте браузер через його клас Options.[1]
find_element_by_id or another find_element_by_* helperВідхилитиВикористовуйте driver.find_element(By.ID, "...") або іншу стратегію By.[1]
time.sleep(...) використовується для синхронізації тестуВідхилитиОчікуйте конкретну умову, яка має стати істинною.[1][2][4]
Абсолютний XPath, скопійований з DevToolsВідхилитиПеревірте реальний DOM і виберіть найстабільніший доступний локатор, бажано атрибут тесту, що належить додатку, або інший довговічний ідентифікатор.[1][2]
Код CDP представлений як кросбраузерний за замовчуваннямВідхилити або явно звузити областьНадавайте перевагу стандартизованому WebDriver BiDi, де потрібна функція підтримується поточним браузером, прив'язкою та версією Selenium.[1][5]
Локатор, вигаданий без перевірки додаткуВідхилитиДайте агенту можливість перевірити реальну сторінку або запустити одноразовий скрипт виявлення, а потім перегляньте запропонований локатор.[1][2]

Шаблон може компілюватися, але все одно бути неправильним вибором. Тому ворота перевіряють як синтаксис, так і інженерний намір.


Розмістіть правила там, де агент їх може прочитати

Selenium рекомендує зберігати конвенції проєкту у AGENTS.md, CLAUDE.md або у файлі правил, що використовується інструментом кодування.[1] Версія та команди мають відповідати фактичному репозиторію.

Компактна відправна точка може бути такою:

## Browser automation

- Use the Selenium version pinned by this repository.
- Consult https://www.selenium.dev/llms.txt and current Selenium documentation.
- If an API is absent from the current documentation or API reference, do not use it.
- Do not add third-party driver managers or hard-coded driver paths.
- Configure browsers through Options.
- Use By locators verified against the real DOM; do not use absolute XPath.
- Do not use fixed sleeps for synchronization. Wait for the required condition.
- Run the focused test and attach the exact exception and a screenshot when it fails.
- Always quit the driver in teardown.
- Never put облікові дані or personal production data in code, prompts, logs, or screenshots.

Це приклад політики, а не згенерована структура. Пристосуйте його до прив'язки мови, тестового раннера, браузерів та команд, які дійсно використовуються у проєкті.


Ворота: від запиту до доказу злиття

1. Визначте тестовий контракт

Перед тим як просити агента писати код, вкажіть:

Input: тестова мета плюс правила репозиторію. Output: перегляданий сценарій з спостережуваним очікуваним результатом.

Якщо очікуваний результат нечіткий, згенеровані твердження також будуть нечіткими.

2. Перевірте кожен незнайомий API проти поточних джерел

Надайте агенту llms.txt Selenium, поточну документацію, довідник API та робочі приклади. Selenium явно радить розглядати API, який не знайдено в поточній документації або довіднику API, як неіснуючий.[1][2]

Оглядальник повинен перевірити:

Не покладайтеся на правдоподібне пояснення моделі як доказ.

3. Перевірте реальний застосунок перед прийняттям локаторів

Агент, який не може бачити сторінку, змушений вгадувати. Надати йому доступ до безпечного тестового середовища або дозволити запустити одноразовий скрипт Selenium для виявлення. Перегляньте кандидатні елементи перед тим, як написати фінальний тест.[1][2]

Корисний огляд локаторів включає:

Сесія браузера не повинна розкривати виробничі облікові дані, дані клієнтів, токени сесії або приватні ідентифікатори.

4. Віддавайте перевагу умові, а не затримці

Фіксована пауза вгадує, скільки часу потрібен застосунок. Явне очікування описує стан, який потрібен тесту. Selenium також застерігає від змішування неявних і явних очікувань, оскільки отриманий тайм-аут може бути непередбачуваним.[4]

Наступний приклад на Python використовує актуальні API Selenium. Значення URL та data-testid є ілюстративними і їх треба перевірити у реальному застосунку.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Chrome()
try:
    driver.get("https://app.example.test/login")

    wait = WebDriverWait(driver, 10)
    submit = wait.until(
        EC.element_to_be_clickable(
            (By.CSS_SELECTOR, "[data-testid='login-submit']")
        )
    )

    assert submit.is_displayed()
finally:
    driver.quit()

Важливе питання не в тому, чи десять секунд є універсально правильними. Питання в тому, чи обрана умова представляє користувацько‑видимий стан, який вимагає сценарій, і чи має проєкт обґрунтовану політику тайм‑аутів.

5. Запустіть один сфокусований тест і збережіть докази провалу

Робочий процес Selenium рекомендує спочатку запустити новий тест окремо, перед запуском всього набору.[1] Якщо він падає, надайте агенту точне виключення, а не підсумок типу “тест провалився”. Скриншот у момент провалу може виявити накладку, банер cookie, неочікуваний діалог або перехоплений клік.[1][2]

Рекомендовані вихідні дані воріт — це артефакти, визначені командою, такі як:

Ці назви та формати не є обов’язковими для Selenium. Оберіть формати, які ваша CI‑система може зберігати, а рев’юери – читати.

6. Повторюйте, щоб шукати гонки, а не доводити досконалість

Selenium радить запускати сфокусований тест кілька разів, перш ніж довіряти йому; один прохід не доводить, що тест без гонок.[1] Кількість повторень має визначати команда згідно з ризиком і часом виконання.

Запис:

Не вимагайте ідентичних хешів повної DOM‑сторінки. Сучасні сторінки можуть містити часові мітки, випадкові ID, аналітичну розмітку та асинхронний контент. Порівнюйте бізнес‑утвердження та вибрані стабільні докази.

Кілька успішних запусків підвищують довіру, але ніколи не доводять, що тест без флейків.

7. Перегляньте диф і прийміть людське рішення

Фінальний рев’юер перевіряє і код, і докази:

Лише відповідальна людина змінює рішення з потребує доопрацювання на схвалено до злиття.


Архітектура та потік даних

СтадіяВхідПервинна перевіркаВихід
Тестовий контрактВимога, ризик, середовищеОчікувана поведінка спостережнаСценарій та докази прийняття
Контекст агентаКонтракт, файл правил, поточна документаціяВерсії та конвенції явно вказаніКандидатний код
Виявлення браузераБезпечне тестове середовищеЛокатори відповідають реальному DOMПереглянутий набір локаторів
Сфокусоване виконанняКандидатний тестОдин сценарій виконується з реальними асерціямиСтатус виходу та артефакти помилок
Перевірка повторюваностіСфокусована командаПереривчасті збої записуютьсяПідсумок запуску
Рецензія людиниDiff плюс доказиТехнічний, безпековий та продуктний намірРішення про злиття
CIСхвалений тестКонтрольні ворота репозиторіюАудитований результат

Неуспішний етап повертає докази автору. Це не викликає автоматичне збільшення тайм-ауту або вставку сну.


Позитивні, негативні та регресійні перевірки для воріт

Протестуйте самі ворота. Корисні сценарії включають:

Позитивні перевірки

Негативні перевірки

Перевірки повторюваності

Використовуйте синтетичні облікові дані та дані не у продакшн‑середовищі для цих тестів.


Межі безпеки та тестових даних

ШІ‑підказки та артефакти браузера можуть розкрити більше, ніж вихідний код. Застосуйте такі контролі:

Регулярний вираз для сканування секретів корисний, але недостатній. Потрібен людський перегляд, оскільки чутливі бізнес‑дані можуть не виглядати як токен.


WebDriver BiDi: перевірте підтримку, не припускайте

WebDriver BiDi — це двонапрямний протокол W3C, призначений як кросбраузерна заміна протоколу CDP. Документація Selenium охоплює журналювання, мережеві та скриптові функції й зазначає, що підтримка CDP є тимчасовою на період впровадження BiDi.[5]

Це не гарантує, що кожна потрібна функція доступна у всіх браузерах і мовних прив'язках сьогодні. Перш ніж схвалювати код, залежний від BiDi:

  1. перевірте актуальну документацію Selenium щодо конкретної функції;
  2. перевірте версії Selenium та браузера проєкту;
  3. запустіть поведінку у кожному браузері, зазначеному в тесті;
  4. зберігайте документовану альтернативу або звужуйте підтримуваний спектр.

Гейт має відхиляти непідтримувану впевненість, а не експерименти.


Визначення готовності

ШІ‑згенерований тест Selenium готовий до злиття, коли:


Висновок

Безпечний спосіб використання ШІ‑агента кодування з Selenium – не довіряти йому або відкидати за замовчуванням. Надати йому актуальну документацію, чіткі правила репозиторію та доступ до безпечного реального браузера. Потім вимагати сфокусоване виконання, докази провалу, спостереження повторюваності та людське рішення про злиття.

Цей контроль ловить застарілі шаблони, які виглядають правдоподібно, компілюються локально, а потім стають нестабільними технічними боргами. Ще важливіше, він залишає відповідальність там, де вона має бути: ШІ пропонує код; команда перевіряє поведінку і приймає рішення про випуск.


Джерела

  1. Selenium documentation — Using ШІ coding agents with Selenium
  2. Selenium blog — Your Agent Learned Selenium From My Old Blog Posts
  3. Selenium documentation — Selenium Manager
  4. Selenium documentation — Waiting Strategies
  5. Документація Selenium — WebDriver BiDi