ИИ может быстро составить тест на Selenium. QA‑шлюз определяет, является ли этот тест актуальным, наблюдаемым, достаточно повторяемым для просмотра и безопасным для слияния.
Почему Selenium, созданный искусственным интеллектом, нужен отдельный шлюз проверки
Текущие рекомендации Selenium выявляют повторяющуюся проблему: кодирующие агенты часто воспроизводят шаблоны Selenium 2 или Selenium 3, потому что старые учебники всё ещё доминируют в обучающих материалах. Типичный вывод включает сторонний менеджер драйверов, жёстко закодированный путь драйверов, удаленные find_element_by_* помощники, DesiredCapabilities, абсолютный XPath или фиксированный сон. [1] [2]
Эти проблемы не являются доказательством того, что ИИ должен быть исключён из автоматизации тестирования. Они свидетельствуют о том, что сгенерированный код требует тех же правил адаптации, текущей документации, доказательств выполнения и человеческого контроля, что и новый участник.
Описанные ниже ворота — это рекомендация TestAI Lab, а не функция продукта Selenium. Официальная документация Selenium содержит актуальные технические правила. Команда владеет критериями принятия и решением о слиянии.
Что должно сразу же не пройти проверку
| Сгенерированный паттерн | Решение о пересмотре | Текущее направление |
|---|---|---|
webdriver-manager или скачанный драйверный путь | Отклоняйте, если проект не документирует конкретное исключение | Selenium Manager поставляется с Selenium и используется для автоматизированного управления драйверами. [1] [3] |
DesiredCapabilities или свободные карты возможностей для нового кода | Отклонить | Настройте браузер через его класс Options.[1] |
find_element_by_id или другой помощник find_element_by_* | Отклонить | Используйте driver.find_element(By.ID, "...") или другую By стратегию. [1] |
time.sleep(...) использовался для синхронизации теста | Отклонить | Ждите конкретного условия, которое должно сбыться. [1] [2] [4] |
| Absolute XPath скопирован из DevTools | Отклонить | Проверьте реальный DOM и выберите наиболее стабильный доступный локатор, желательно тестовый атрибут, принадлежащий приложению, или другой надёжный идентификатор. [1] [2] |
| CDP-код представлен как кроссбраузерный стандарт по умолчанию | Отвергнуть или явно сузить сферу действия | Предпочитайте WebDriver BiDi на основе стандартов, где необходимая функция поддерживается текущим браузером, связкой и версией Selenium. [1] [5] |
| Локатор, изобретённый без проверки приложения | Отклонить | Пусть агент проверит настоящую страницу или запустит временный скрипт обнаружения, затем просматривает предложенный локатор. [1] [2] |
Шаблон может скомпилироваться, но всё равно быть неправильным выбором. Таким образом, гейт проверяет как синтаксис, так и инженерное намерение.
Разместите правила так, чтобы агент мог их прочитать
Selenium рекомендует хранить конвенции проекта в AGENTS.md, CLAUDE.md или файле правил, используемый инструментом для программирования. [1] Версия и команды должны совпадать с фактическим репозиторием.
Компактная отправная точка может выглядеть так:
## Browser automation
- Use the Selenium version pinned by this repository.
- Consult https://www.selenium.dev/llms.txt and current Selenium documentation.
- If an API is absent from the current documentation or API reference, do not use it.
- Do not add third-party driver managers or hard-coded driver paths.
- Configure browsers through Options.
- Use By locators verified against the real DOM; do not use absolute XPath.
- Do not use fixed sleeps for synchronization. Wait for the required condition.
- Run the focused test and attach the exact exception and a screenshot when it fails.
- Always quit the driver in teardown.
- Never put учётные данные or personal production data in code, prompts, logs, or screenshots.Это пример политики, а не сгенерированный фреймворк. Адаптируйте его под языковую связку, тест-раннер, браузеры и команды, которые действительно использует проект.
Ворота: от запроса к доказательствам слияния
1. Определить тестовый контракт
Перед тем как попросить агента написать код, уточните:
- поведение, видимое пользователем для проверки;
- поддерживаемый браузер и окружение;
- предварительные условия и тестовые данные;
- ожидаемый результат;
- разрешённый источник удостоверений;
- команду для одного сфокусированного теста;
- доказательства, необходимые при неудаче.
Ввод: Правила тестового объектива плюс репозитория. Выход: сценарий, который можно пересмотреть, с наблюдаемым ожидаемым результатом.
Если ожидаемый результат расплывчатый, сгенерированные утверждения тоже будут расплывчатыми.
2. Проверьте каждый незнакомый API по текущим источникам
Предоставьте агенту llms.txt Selenium, текущую документацию, ссылку на API и исполняемые примеры. Selenium прямо рекомендует рассматривать API, который не может быть найден в текущей документации или ссылке на API, как отсутствующий. [1] [2]
Рецензент должен проверить:
- импорт и имена методов;
- создание гонщиков;
- варианты браузера;
- API локаторов;
- условия ожидания;
- разборка;
- любой логинг, сеть или функции BiDi против соответствующей привязки и версии.
Не стоит полагаться на правдоподобное объяснение из модели как на доказательство.
3. Проверьте реальное приложение перед принятием локаторов
Агент, который не видит страницу, должен угадывать. Дайте ему доступ к безопасной тестовой среде или пусть он запускает временный скрипт обнаружения Selenium. Проверьте кандидатные элементы до написания финального теста. [1] [2]
Полезный обзор локатора спрашивает:
- Является ли элемент уникален в момент взаимодействия?
- Атрибут контролируется приложением или генерируется фреймворком?
- Может ли локализация изменить видимый текст?
- Элемент находится внутри iframe, shadow root, диалога или наложения?
- Локатор всё ещё определяет нужный элемент после обновления страницы?
Сессия браузера не должна раскрывать производственные учетные данные, данные клиента, токены сессии или приватные идентификаторы.
4. Предпочитайте условие вместо задержки
Фиксированный сон определяет, сколько времени требуется приложению. Явное ожидание описывает состояние, необходимое тесту. Selenium также предупреждает против смешивания неявных и явных ожиданий, поскольку полученный тайм-аут может быть непредсказуемым. [4]
Следующий пример на Python использует текущие API Selenium. Значения URL и data-testid являются иллюстративными и должны быть проверены с реальным приложением.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
try:
driver.get("https://app.example.test/login")
wait = WebDriverWait(driver, 10)
submit = wait.until(
EC.element_to_be_clickable(
(By.CSS_SELECTOR, "[data-testid='login-submit']")
)
)
assert submit.is_displayed()
finally:
driver.quit()Важный вопрос не в том, является ли десять секунд универсально правильными. Вопрос в том, отражает ли выбранное условие видимое для пользователя состояние, которое требует сценарий, и есть ли у проекта обоснованная политика тайм-аута.
5. Проведите один сфокусированный тест и сохраняйте доказательства отказа
Рабочий процесс Selenium рекомендует запускать новый тест самостоятельно перед запуском пакета. [1] Если он не работает, дайте агенту точное исключение, а не сводку, например «тест провалился». Скриншот в момент отказа может показать наложение, баннер cookie, неожиданный диалог или перехваченный клик. [1] [2]
Рекомендуемые выходы затвора — это артефакты, определённые командой, такие как:
- сфокусированное командование тестированием и статус выхода;
- версии браузера, Selenium и привязки;
- точное исключение и трассировка стека;
- скриншот неудачи;
- соответствующие логи приложений и WebDriver с секретами;
- Кодовая дифференциация.
Эти названия и форматы не обязательны Selenium. Выбирайте форматы, которые ваша система CI сможет сохранить и которые рецензенты смогут прочитать.
6. Повторяйте, чтобы искать гонки, а не доказывать совершенство
Selenium советует провести сфокусированный тест несколько раз, прежде чем доверять ему; один проход не означает, что тест без гонок. [1] Количество повторений должно устанавливаться командой в зависимости от риска и времени выполнения.
Рекорд:
- сколько попыток было набрать очки;
- зачёт прохождения и неудачи;
- распределение длительности;
- типы исключений;
- Будь то сбои связаны с одним состоянием или в браузере.
Не требуйте одинаковых полностраничных DOM-хешей. Современные страницы могут содержать временные метки, рандомизированные идентификаторы, аналитическую разметку и асинхронный контент. Сравните бизнес-утверждение и выбранные стабильные доказательства.
Несколько успешных забегов повышают уверенность, но никогда не доказывают, что тест проходит без ошибок.
7. Проанализируйте различия и примите человеческое решение
Последний рецензент проверяет как код, так и доказательства:
- нет устаревших API Seleniumа;
- отсутствие стороннего менеджера водителей без задокументированной причины;
- нет фиксированного сна для синхронизации;
- никакого абсолютного опыта;
- локаторы проверены в реальном приложении;
- Уэйтс, навязанный на значимые условия;
- сессия гонщиков завершилась
quit(); - точные неудачи сохранены;
- никаких секретов или личных данных в коде, логах, скриншотах или подсказках;
- кросс-браузерные утверждения, поддерживаемые фактически выполненными браузерами;
- Использование BiDi или CDP ограничивалось документированной поддержкой выбранной версии и привязки;
- утверждения подтверждают предполагаемое поведение, а не просто наличие элемента.
Только человек-владелец меняет решение с нуждается в работе на одобрено для слияния.
Архитектура и поток данных
| Сцена | Вход | Первичная проверка | Результаты |
|---|---|---|---|
| Тестовый контракт | Требования, риски, окружающая среда | Ожидаемое поведение наблюдаемо | Доказательства сценария и принятия |
| Контекст агента | Контракт, файл правил, актуальная документация | Версии и конвенции явно прописаны | Код кандидата |
| Обнаружение браузера | Безопасная среда тестирования | Локаторы совпадают с настоящим DOM | Рассмотренный набор локаторов |
| Сфокусированное исполнение | Тест кандидатов | Один из сценариев основан на реальных утверждениях | Статус выхода и артефакты неудачи |
| Проверка повторяемости | Сфокусированное командование | Фиксируются периодические отказы | Краткое содержание бега |
| Человеческий обзор | Различия плюс доказательства | Технические, безопасные и намерения продукта | Решение о слиянии |
| CI | Утверждённый тест | Элементы качества репозитория | Аудируемый результат |
Проваленный этап возвращает доказательства автору. Он не запускает автоматическое увеличение тайм-аута или вставку сна.
Положительные, отрицательные и регрессионные проверки для шлюза
Проверьте сам гейт. Полезные сценарии включают:
Положительные проверки
- Принимается текущая
webdriver.Chrome()инициализация. - Проверенный локатор
Byи явный пересмотр политики прохождения. - Сбой приводит к отредактированному исключению и читаемому скриншоту.
- Фиксированная команда и версия браузера записываются.
Отрицательные проверки
- Обнаружены
webdriver_manager,executable_path,DesiredCapabilities,find_element_by_*, фиксированные сна и абсолютный XPath. - Сообщается о пропаже
driver.quit(). - Временный локатор, который так и не был проверен с заявкой, отклоняется.
- Лог или скриншот с засеянным фальшивым секретом приводит к провалу проверки артефактов.
- Вызов CDP, использующий только Chromium, нельзя назвать кросс-браузерным доказательством.
Проверки повторяемости
- Один и тот же сфокусированный сценарий может выполняться многократно без накопления сессий или тестовых данных.
- Преднамеренно задерживаемый элемент приводит к полезному отказу, специфичному для конкретного состояния.
- Отчёт сохраняет различия между браузерами, вместо того чтобы сравнять их в один «пропущенный» результат.
Используйте синтетические удостоверения и непроизводственные данные для этих тестов.
Границы безопасности и тестовых данных
Подсказки ИИ и артефакты браузера могут утекать не только исходный код. Примените следующие элементы:
- референсные секреты через CI секретное хранилище или переменные среды;
- не допускайте секретных значений в подсказках;
- использовать выделенные тестовые аккаунты с минимальными правами;
- редактировать авторизационные заголовки, файлы cookie, токены, адреса электронной почты и идентификаторы клиентов;
- просмотр скриншотов перед задержкой;
- определить правила хранения и доступа к журналам и скриншотам;
- Запретить агенту изменить производственные данные, если сценарий явно не разрешает безопасное тестовое действие.
Секретное сканирование по регулярным выражениям полезно, но недостаточно. Человеческий контроль всё ещё необходим, поскольку чувствительные бизнес-данные могут не походить на токен.
WebDriver BiDi: проверьте поддержку, не предполагайте её
WebDriver BiDi — это двунаправленный протокол W3C, предназначенный как кроссбраузерная замена протоколу CDP. Документация Selenium охватывает журналирование, сетевые и скриптовые функции и отмечает, что поддержка CDP является временной на период внедрения BiDi.[5]
Это направление не гарантирует, что все желаемые функции доступны в каждом браузере и языковой связке сегодня. Перед утверждением кода, зависящего от BiDi:
- проверьте актуальную документацию по Selenium для получения точной характеристики;
- проверьте версии Selenium и браузера проекта;
- запустить поведение на каждом браузере, заявленном тестом;
- Держите задокументированный запасной вариант или сузите поддерживаемый диапазон.
Врата должны отвергать неподтверждённую уверенность, а не эксперименты.
Определение готовности
Тест на Selenium, сгенерированный ИИ, готов к слиянию, когда:
- [ ] Сценарий и ожидаемый результат явны.
- [ ] Правила хранилища указывают на текущие источники Seleniumа.
- [ ] Каждый незнакомый API был проверен по текущей документации или по ссылке на API.
- [ ] Локатор был проверен по настоящему тестовому приложению.
- [ ] Синхронизация ждёт значимого условия; ни один фиксированный сон не скрывает гонку.
- [ ] Проведён один целенаправленный тест и предоставил проверяемые доказательства.
- [ ] Повторные забеги фиксировались как доказательство доверия, а не как доказательство.
- [ ] Точные исключения и скриншот доступны для неудач.
- [ ] Разборка заканчивает сессию с водителем.
- [ ] Секреты и личные данные отсутствуют в коде и сохранённых артефактах.
- [ ] Браузерные и кросс-браузерные утверждения совпадают с исполненными доказательствами.
- [ ] Человек-рецензент одобрил дифференцию и утверждение продукта.
Заключение
Безопасный способ использовать ИИ‑агент по написанию кода с Selenium — не доверять ему и не отклонять его по умолчанию. Дайте ему актуальную документацию, чёткие правила репозитория и доступ к безопасному реальному браузеру. Затем потребуйте целенаправленное выполнение, доказательства сбоев, наблюдения повторяемости и человеческое решение о слиянии.
Этот гейт фиксирует устаревшие шаблоны, которые выглядят правдоподобными, компилируются локально и позже становятся нестабильным техническим долгом. Что более важно, он сохраняет ответственность там, где ей место: ИИ предлагает код; команда проверяет поведение и принимает решение о выпуске.
Источники
- Selenium documentation — Using ИИ coding agents with Selenium
- Selenium blog — Your Agent Learned Selenium From My Old Blog Posts
- Selenium documentation — Selenium Manager
- Selenium documentation — Waiting Strategies
- Документация Selenium — WebDriver BiDi
Оставить комментарий
Поделитесь своим мнением о статье. Регистрация не требуется.
Комментарии
Загрузка комментариев…