ШІ може швидко створити тест Selenium. QA‑ворота вирішує, чи є цей чернетка актуальною, спостережуваною, достатньо повторюваною для перегляду та безпечною для злиття.
Чому ШІ‑згенеровані Selenium потребують власних воріт перегляду
Поточні рекомендації Selenium виявляють повторювану проблему: агенти коду часто відтворюють патерни Selenium 2 або Selenium 3, оскільки старі підручники все ще домінують у їхньому навчальному матеріалі. Типовий вихід включає сторонній менеджер драйверів, жорстко закодований шлях до драйвера, видалені find_element_by_* допоміжні засоби, DesiredCapabilities, абсолютний XPath або фіксовану паузу.[1][2]
Ці проблеми не є доказом того, що ШІ слід виключати з автоматизації тестування. Це доказ того, що згенерований код потребує тих самих правил адаптації, актуальної документації, доказів виконання та людського перегляду, які отримує новий учасник.
Ворота, описані нижче, є рекомендацією TestAI Lab, а не функцією продукту Selenium. Офіційна документація Selenium надає поточні технічні правила. Команда відповідає за критерії прийняття та рішення про злиття.
Що має негайно провалити перегляд
| Згенерований шаблон | Рішення перегляду | Поточний напрямок |
|---|---|---|
webdriver-manager або завантажений шлях до драйвера | Відхилити, якщо проєкт не документує конкретний виняток | Selenium Manager постачається разом з Selenium і використовується прив’язками для автоматизованого керування драйверами.[1][3] |
DesiredCapabilities або довільні мапи можливостей у новому коді | Відхилити | Налаштуйте браузер через його клас Options.[1] |
find_element_by_id or another find_element_by_* helper | Відхилити | Використовуйте driver.find_element(By.ID, "...") або іншу стратегію By.[1] |
time.sleep(...) використовується для синхронізації тесту | Відхилити | Очікуйте конкретну умову, яка має стати істинною.[1][2][4] |
| Абсолютний XPath, скопійований з DevTools | Відхилити | Перевірте реальний DOM і виберіть найстабільніший доступний локатор, бажано атрибут тесту, що належить додатку, або інший довговічний ідентифікатор.[1][2] |
| Код CDP представлений як кросбраузерний за замовчуванням | Відхилити або явно звузити область | Надавайте перевагу стандартизованому WebDriver BiDi, де потрібна функція підтримується поточним браузером, прив'язкою та версією Selenium.[1][5] |
| Локатор, вигаданий без перевірки додатку | Відхилити | Дайте агенту можливість перевірити реальну сторінку або запустити одноразовий скрипт виявлення, а потім перегляньте запропонований локатор.[1][2] |
Шаблон може компілюватися, але все одно бути неправильним вибором. Тому ворота перевіряють як синтаксис, так і інженерний намір.
Розмістіть правила там, де агент їх може прочитати
Selenium рекомендує зберігати конвенції проєкту у AGENTS.md, CLAUDE.md або у файлі правил, що використовується інструментом кодування.[1] Версія та команди мають відповідати фактичному репозиторію.
Компактна відправна точка може бути такою:
## Browser automation
- Use the Selenium version pinned by this repository.
- Consult https://www.selenium.dev/llms.txt and current Selenium documentation.
- If an API is absent from the current documentation or API reference, do not use it.
- Do not add third-party driver managers or hard-coded driver paths.
- Configure browsers through Options.
- Use By locators verified against the real DOM; do not use absolute XPath.
- Do not use fixed sleeps for synchronization. Wait for the required condition.
- Run the focused test and attach the exact exception and a screenshot when it fails.
- Always quit the driver in teardown.
- Never put облікові дані or personal production data in code, prompts, logs, or screenshots.Це приклад політики, а не згенерована структура. Пристосуйте його до прив'язки мови, тестового раннера, браузерів та команд, які дійсно використовуються у проєкті.
Ворота: від запиту до доказу злиття
1. Визначте тестовий контракт
Перед тим як просити агента писати код, вкажіть:
- поведінка, видима користувачеві, для перевірки;
- підтримуваний браузер і середовище;
- передумови та тестові дані;
- очікуваний результат;
- дозволене джерело облікових даних;
- команда для одного сфокусованого тесту;
- докази, необхідні при збоях.
Input: тестова мета плюс правила репозиторію. Output: перегляданий сценарій з спостережуваним очікуваним результатом.
Якщо очікуваний результат нечіткий, згенеровані твердження також будуть нечіткими.
2. Перевірте кожен незнайомий API проти поточних джерел
Надайте агенту llms.txt Selenium, поточну документацію, довідник API та робочі приклади. Selenium явно радить розглядати API, який не знайдено в поточній документації або довіднику API, як неіснуючий.[1][2]
Оглядальник повинен перевірити:
- імпорти та назви методів;
- створення драйвера;
- опції браузера;
- API локаторів;
- умови очікування;
- завершення;
- будь‑яке логування, мережа або функція BiDi проти відповідного прив'язування та версії.
Не покладайтеся на правдоподібне пояснення моделі як доказ.
3. Перевірте реальний застосунок перед прийняттям локаторів
Агент, який не може бачити сторінку, змушений вгадувати. Надати йому доступ до безпечного тестового середовища або дозволити запустити одноразовий скрипт Selenium для виявлення. Перегляньте кандидатні елементи перед тим, як написати фінальний тест.[1][2]
Корисний огляд локаторів включає:
- Чи є елемент унікальним у момент взаємодії?
- Чи контролюється атрибут застосунком або генерується фреймворком?
- Чи може локалізація змінити видимий текст?
- Чи знаходиться елемент всередині iframe, shadow root, діалогового вікна або накладки?
- Чи продовжує локатор ідентифікувати потрібний елемент після оновлення сторінки?
Сесія браузера не повинна розкривати виробничі облікові дані, дані клієнтів, токени сесії або приватні ідентифікатори.
4. Віддавайте перевагу умові, а не затримці
Фіксована пауза вгадує, скільки часу потрібен застосунок. Явне очікування описує стан, який потрібен тесту. Selenium також застерігає від змішування неявних і явних очікувань, оскільки отриманий тайм-аут може бути непередбачуваним.[4]
Наступний приклад на Python використовує актуальні API Selenium. Значення URL та data-testid є ілюстративними і їх треба перевірити у реальному застосунку.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
try:
driver.get("https://app.example.test/login")
wait = WebDriverWait(driver, 10)
submit = wait.until(
EC.element_to_be_clickable(
(By.CSS_SELECTOR, "[data-testid='login-submit']")
)
)
assert submit.is_displayed()
finally:
driver.quit()Важливе питання не в тому, чи десять секунд є універсально правильними. Питання в тому, чи обрана умова представляє користувацько‑видимий стан, який вимагає сценарій, і чи має проєкт обґрунтовану політику тайм‑аутів.
5. Запустіть один сфокусований тест і збережіть докази провалу
Робочий процес Selenium рекомендує спочатку запустити новий тест окремо, перед запуском всього набору.[1] Якщо він падає, надайте агенту точне виключення, а не підсумок типу “тест провалився”. Скриншот у момент провалу може виявити накладку, банер cookie, неочікуваний діалог або перехоплений клік.[1][2]
Рекомендовані вихідні дані воріт — це артефакти, визначені командою, такі як:
- команда сфокусованого тесту та код виходу;
- версії браузера, Selenium та прив’язок;
- точне виключення та стек‑трейс;
- знімок екрана при збоях;
- журнали застосунку та WebDriver з прихованими секретами;
- диф коду.
Ці назви та формати не є обов’язковими для Selenium. Оберіть формати, які ваша CI‑система може зберігати, а рев’юери – читати.
6. Повторюйте, щоб шукати гонки, а не доводити досконалість
Selenium радить запускати сфокусований тест кілька разів, перш ніж довіряти йому; один прохід не доводить, що тест без гонок.[1] Кількість повторень має визначати команда згідно з ризиком і часом виконання.
Запис:
- скільки запусків було спробовано;
- кількість успішних та невдалих запусків;
- розподіл тривалості;
- типи виключень;
- чи збіги помилок сконцентровані навколо однієї умови чи браузера.
Не вимагайте ідентичних хешів повної DOM‑сторінки. Сучасні сторінки можуть містити часові мітки, випадкові ID, аналітичну розмітку та асинхронний контент. Порівнюйте бізнес‑утвердження та вибрані стабільні докази.
Кілька успішних запусків підвищують довіру, але ніколи не доводять, що тест без флейків.
7. Перегляньте диф і прийміть людське рішення
Фінальний рев’юер перевіряє і код, і докази:
- немає застарілих API Selenium;
- немає стороннього менеджера драйверів без задокументованої причини;
- не використовується фіксований sleep для синхронізації;
- не використовується абсолютний XPath;
- локатори перевірені у реальному застосунку;
- очікування зіставлені з осмисленими умовами;
- сеанс драйвера закритий з
quit(); - точні помилки збережені;
- у коді, логах, скріншотах або підказках немає секретів чи персональних даних;
- заявки про крос-браузерну підтримку підтверджені фактично виконаними браузерами;
- використання BiDi або CDP обмежено документованою підтримкою обраної версії та прив'язки;
- утвердження перевіряють заплановану поведінку, а не лише наявність елемента.
Лише відповідальна людина змінює рішення з потребує доопрацювання на схвалено до злиття.
Архітектура та потік даних
| Стадія | Вхід | Первинна перевірка | Вихід |
|---|---|---|---|
| Тестовий контракт | Вимога, ризик, середовище | Очікувана поведінка спостережна | Сценарій та докази прийняття |
| Контекст агента | Контракт, файл правил, поточна документація | Версії та конвенції явно вказані | Кандидатний код |
| Виявлення браузера | Безпечне тестове середовище | Локатори відповідають реальному DOM | Переглянутий набір локаторів |
| Сфокусоване виконання | Кандидатний тест | Один сценарій виконується з реальними асерціями | Статус виходу та артефакти помилок |
| Перевірка повторюваності | Сфокусована команда | Переривчасті збої записуються | Підсумок запуску |
| Рецензія людини | Diff плюс докази | Технічний, безпековий та продуктний намір | Рішення про злиття |
| CI | Схвалений тест | Контрольні ворота репозиторію | Аудитований результат |
Неуспішний етап повертає докази автору. Це не викликає автоматичне збільшення тайм-ауту або вставку сну.
Позитивні, негативні та регресійні перевірки для воріт
Протестуйте самі ворота. Корисні сценарії включають:
Позитивні перевірки
- Поточна ініціалізація
webdriver.Chrome()приймається. - Перевірений локатор
Byта явна умова проходять політику перегляду. - Помилка створює редаговане виключення та читабельний скріншот.
- Фокусована команда та версія браузера записуються.
Негативні перевірки
webdriver_manager,executable_path,DesiredCapabilities,find_element_by_*, фіксовані снути та абсолютний XPath виявляються.- Відсутність
driver.quit()повідомляється. - Локатор-заповнювач, який ніколи не перевірявся проти застосунку, відхиляється.
- Лог або скріншот, що містить заздалегідь підготовлений підроблений секрет, призводить до невдачі перевірки артефакту.
- Виклик CDP лише для Chromium не може бути описаний як крос-браузерний доказ.
Перевірки повторюваності
- Той самий фокусований сценарій можна виконувати багаторазово без накопичення сесій або тестових даних.
- Навмисно затриманий елемент створює корисну помилку, специфічну для умови.
- Звіт зберігає різниці між браузерами замість їх об’єднання в один «пройшов» результат.
Використовуйте синтетичні облікові дані та дані не у продакшн‑середовищі для цих тестів.
Межі безпеки та тестових даних
ШІ‑підказки та артефакти браузера можуть розкрити більше, ніж вихідний код. Застосуйте такі контролі:
- посилайтеся на секрети через сховище секретів CI або змінні середовища;
- тримайте значення секретів поза підказками;
- використовуйте спеціальні тестові облікові записи з мінімальними правами;
- редагуйте заголовки авторизації, куки, токени, електронні адреси та ідентифікатори клієнтів;
- переглядайте скріншоти перед їх збереженням;
- визначте правила зберігання та доступу до журналів і скріншотів;
- запобігайте зміні продакшн‑даних агентом, якщо сценарій явно не дозволяє безпечну тестову дію.
Регулярний вираз для сканування секретів корисний, але недостатній. Потрібен людський перегляд, оскільки чутливі бізнес‑дані можуть не виглядати як токен.
WebDriver BiDi: перевірте підтримку, не припускайте
WebDriver BiDi — це двонапрямний протокол W3C, призначений як кросбраузерна заміна протоколу CDP. Документація Selenium охоплює журналювання, мережеві та скриптові функції й зазначає, що підтримка CDP є тимчасовою на період впровадження BiDi.[5]
Це не гарантує, що кожна потрібна функція доступна у всіх браузерах і мовних прив'язках сьогодні. Перш ніж схвалювати код, залежний від BiDi:
- перевірте актуальну документацію Selenium щодо конкретної функції;
- перевірте версії Selenium та браузера проєкту;
- запустіть поведінку у кожному браузері, зазначеному в тесті;
- зберігайте документовану альтернативу або звужуйте підтримуваний спектр.
Гейт має відхиляти непідтримувану впевненість, а не експерименти.
Визначення готовності
ШІ‑згенерований тест Selenium готовий до злиття, коли:
- [ ] Сценарій і очікуваний результат чітко визначені.
- [ ] Правила репозиторію вказують на актуальні джерела Selenium.
- [ ] Кожен незнайомий API був перевірений згідно з поточною документацією або довідником API.
- [ ] Локатор був перевірений у реальному тестовому застосунку.
- [ ] Синхронізація чекає на значущу умову; жоден фіксований sleep не приховує гонку.
- [ ] Один сфокусований тест був запущений і надав інспектовані докази.
- [ ] Повторні запуски були зафіксовані як докази впевненості, а не як доказ.
- [ ] Точне виключення та скріншот доступні для помилок.
- [ ] Teardown завершує сесію драйвера.
- [ ] Секрети та персональні дані відсутні в коді та збережених артефактах.
- [ ] Твердження про браузер і крос‑браузерність відповідають виконаним доказам.
- [ ] Людський рецензент схвалив diff і підтвердження продукту.
Висновок
Безпечний спосіб використання ШІ‑агента кодування з Selenium – не довіряти йому або відкидати за замовчуванням. Надати йому актуальну документацію, чіткі правила репозиторію та доступ до безпечного реального браузера. Потім вимагати сфокусоване виконання, докази провалу, спостереження повторюваності та людське рішення про злиття.
Цей контроль ловить застарілі шаблони, які виглядають правдоподібно, компілюються локально, а потім стають нестабільними технічними боргами. Ще важливіше, він залишає відповідальність там, де вона має бути: ШІ пропонує код; команда перевіряє поведінку і приймає рішення про випуск.
Джерела
- Selenium documentation — Using ШІ coding agents with Selenium
- Selenium blog — Your Agent Learned Selenium From My Old Blog Posts
- Selenium documentation — Selenium Manager
- Selenium documentation — Waiting Strategies
- Документація Selenium — WebDriver BiDi
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…