KI kann einen Selenium-Test schnell entwerfen. Ein QA-Gate entscheidet, ob dieser Entwurf aktuell, beobachtbar, wiederholbar genug für die Überprüfung und sicher zum Zusammenführen ist.


Warum KI-generiertes Selenium ein eigenes Review-Gate braucht

Die aktuelle Empfehlung von Selenium identifiziert ein wiederkehrendes Problem: Codieragenten reproduzieren oft Selenium-2- oder Selenium-3-Muster, weil alte Tutorials ihr Trainingsmaterial weiterhin dominieren. Typische Ausgaben umfassen einen Drittanbieter-Treibermanager, einen fest codierten Treiberpfad, entfernte find_element_by_* Helfer, DesiredCapabilities, absolutes XPath oder einen festen Schlafmodus. [1] [2]

Diese Probleme sind kein Beweis dafür, dass KI von der Testautomatisierung ausgeschlossen werden muss. Sie sind ein Beweis dafür, dass generierter Code die gleichen Onboarding-Regeln, aktuellen Dokumentationen, Ausführungsnachweise und menschlichen Überprüfungen benötigt, die ein neuer Mitwirkender erhalten würde.

Das unten beschriebene Gate ist eine TestAI-Lab-Empfehlung und keine Produktfunktion von Selenium. Die offizielle Selenium-Dokumentation liefert die aktuellen technischen Regeln. Das Team besitzt die Akzeptanzkriterien und die Fusionsentscheidung.


Was sollte sofort durchfallen?

Generiertes MusterPrüfungsentscheidungAktuelle Ausrichtung
webdriver-manager oder ein heruntergeladener TreiberpfadLehnen Sie ab, es sei denn, das Projekt dokumentiert eine spezifische AusnahmeSelenium Manager wird mit Selenium ausgeliefert und wird von den Bindungen für die automatisierte Fahrerverwaltung verwendet. [1] [3]
DesiredCapabilities oder freiformige Fähigkeitskarten für neuen CodeAblehnenKonfigurieren Sie den Browser über seine Options-Klasse.[1]
find_element_by_id oder ein anderer find_element_by_* HelferAblehnenNutze driver.find_element(By.ID, "...") oder eine andere By Strategie. [1]
time.sleep(...) zur Synchronisation des Tests verwendetAblehnenWarte auf die konkrete Bedingung, die wahr werden muss. [1] [2] [4]
Absolute XPath kopiert von DevToolsAblehnenInspizieren Sie das echte DOM und wählen Sie den stabilsten verfügbaren Locator aus, vorzugsweise ein application-owned Testattribut oder eine andere dauerhafte Kennung. [1] [2]
CDP-Code wird als browserübergreifender Standard präsentiertLehne den Anwendungsbereich explizit ab oder schränke ihn ein.Bevorzugen Sie standardbasiertes WebDriver BiDi, bei dem die erforderliche Funktion vom aktuellen Browser, der Bindung und der Selenium-Version unterstützt wird. [1] [5]
Ein Locator, der ohne Inspektion der Anwendung erfunden wurdeAblehnenLassen Sie den Agenten die echte Seite inspizieren oder ein Wegwerf-Discovery-Skript ausführen, dann prüfen Sie den vorgeschlagenen Locator. [1] [2]

Ein Muster kann kompilieren und trotzdem die falsche Wahl sein. Das Gate prüft daher sowohl die Syntax als auch die technische Absicht.


Stellen Sie die Regeln so auf, dass der Agent sie lesen kann

Selenium empfiehlt, Projektkonventionen in AGENTS.md, CLAUDE.md oder der vom Coding-Tool verwendeten Regeldatei zu behalten. [1] Die Version und Befehle müssen mit dem tatsächlichen Repository übereinstimmen.

Ein kompakter Ausgangspunkt könnte sein:

## Browser automation

- Use the Selenium version pinned by this repository.
- Consult https://www.selenium.dev/llms.txt and current Selenium documentation.
- If an API is absent from the current documentation or API reference, do not use it.
- Do not add third-party driver managers or hard-coded driver paths.
- Configure browsers through Options.
- Use By locators verified against the real DOM; do not use absolute XPath.
- Do not use fixed sleeps for synchronization. Wait for the required condition.
- Run the focused test and attach the exact exception and a screenshot when it fails.
- Always quit the driver in teardown.
- Never put Zugangsdaten or personal production data in code, prompts, logs, or screenshots.

Dies ist ein Policy-Beispiel, kein generiertes Framework. Passe es an die Sprachbindung, Testrunner, Browser und Befehle an, die das Projekt tatsächlich verwendet.


Das Gate: von der Anforderung bis zum Merge‑Beweis

1. Definieren Sie den Testvertrag

Bevor Sie einen Agenten bitten, Code zu schreiben, geben Sie an:

Eingabe: ein Testziel plus Repository-Regeln. Ausgabe: Ein überprüfbares Szenario mit einem beobachtbaren erwarteten Ergebnis.

Wenn das erwartete Ergebnis vage ist, sind generierte Behauptungen ebenfalls vage.

2. Vergleichen Sie jede unbekannte API mit aktuellen Quellen

Stellen Sie dem Agenten Seleniums llms.txt, aktuelle Dokumentation, API-Referenz und lauffähige Beispiele zur Verfügung. Selenium empfiehlt ausdrücklich, eine API, die in der aktuellen Dokumentation oder der API-Referenz nicht zu finden ist, als nicht vorhanden zu behandeln. [1] [2]

Der Gutachter sollte überprüfen:

Verlassen Sie sich nicht auf eine plausible Erklärung des Modells als Beweis.

3. Inspizieren Sie die echte Anwendung, bevor Sie Locatoren akzeptieren

Ein Agent, der die Seite nicht sehen kann, muss raten. Geben Sie ihm Zugang zu einer sicheren Testumgebung oder lassen Sie sie ein wegwerfartiges Selenium-Discovery-Skript ausführen. Überprüfen Sie die Kandidatenelemente, bevor der finale Test geschrieben wird. [1] [2]

Eine nützliche Locator-Bewertung fragt:

Die Browsersitzung darf keine Produktionsdaten, Kundendaten, Sitzungstoken oder private Identifikatoren offenlegen.

4. Bevorzugen Sie eine Bedingung gegenüber einer Verzögerung

Ein fester Schlaf schätzt, wie lange die Anwendung benötigt. Ein explizites Wartezeit beschreibt den Zustand, den der Test benötigt. Selenium warnt außerdem davor, implizite und explizite Wartezeiten zu mischen, da der daraus resultierende Timeout unvorhersehbar sein kann. [4]

Das folgende Python-Beispiel verwendet aktuelle Selenium-APIs. Die URL- und data-testid-Werte sind anschaulich und müssen mit der realen Anwendung überprüft werden.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Chrome()
try:
    driver.get("https://app.example.test/login")

    wait = WebDriverWait(driver, 10)
    submit = wait.until(
        EC.element_to_be_clickable(
            (By.CSS_SELECTOR, "[data-testid='login-submit']")
        )
    )

    assert submit.is_displayed()
finally:
    driver.quit()

Die wichtige Frage ist nicht, ob zehn Sekunden universell korrekt sind. Sondern ob die ausgewählte Bedingung den benutzersichtbaren Zustand darstellt, den das Szenario erfordert, und ob das Projekt eine gerechtfertigte Timeout-Politik hat.

5. Führen Sie einen gezielten Test durch und bewahren Sie Fehlerbeweise auf

Der Workflow von Selenium empfiehlt, den neuen Test allein auszuführen, bevor die Suite gestartet wird. [1] Wenn er fehlschlägt, geben Sie dem Agenten die exakte Ausnahme statt einer Zusammenfassung wie "der Test ist gescheitert." Ein Screenshot zum Zeitpunkt des Fehlers kann ein Overlay, ein Cookie-Banner, einen unerwarteten Dialog oder einen abgefangenen Klick zeigen. [1] [2]

Empfohlene Gate-Ausgaben sind teamdefinierte Artefakte wie:

Diese Namen und Formate sind von Selenium nicht vorgeschrieben. Wählen Sie Formate, die Ihr CI-System behalten und die Gutachter lesen können.

6. Wiederholen, um nach Race Conditions zu suchen, nicht um Perfektion zu beweisen

Selenium empfiehlt, den fokussierten Test mehrmals durchzuführen, bevor man ihm vertraut; ein Durchgang zeigt nicht, dass der Test rennfrei ist. [1] Die Anzahl der Wiederholungen sollte vom Team entsprechend Risiko und Laufzeit festgelegt werden.

Aufzeichnung:

Benötigt nicht identische ganzseitige DOM-Hashes. Moderne Seiten können Zeitstempel, zufällige IDs, Analyse-Markups und asynchrone Inhalte enthalten. Vergleichen Sie stattdessen die Geschäftsbehauptung und ausgewählte stabile Beweise.

Mehrere erfolgreiche Läufe erhöhen das Selbstvertrauen, beweisen aber nie, dass ein Test fehlerfrei ist.

7. Überprüfen Sie den Diff und treffen Sie die menschliche Entscheidung

Der letzte Prüfer prüft sowohl den Code als auch die Beweise:

Nur ein menschlicher Besitzer ändert die Entscheidung von muss überarbeitet zu für Zusammenführung genehmigt.


Architektur und Datenfluss

BühneEingabePrimärer CheckAusgabe
TestvertragAnforderung, Risiko, UmweltErwartetes Verhalten ist beobachtbarSzenario- und Akzeptanznachweise
AgentenkontextVertrag, Regelakte, aktuelle DokumenteVersion und Konventionen sind explizitKandidatencode
Browser-EntdeckungSichere TestumgebungLocatoren stimmen mit dem echten DOM übereinRezensierte Locator-Set
Fokussierte AusführungKandidatentestEin Szenario enthält reale BehauptungenAusgangsstatus und Ausfallartefakte
WiederholbarkeitsprüfungFokussiertes KommandoIntermittierende Ausfälle werden erfasstLaufzeitübersicht
Menschliche ÜberprüfungDifferenz plus BeweismittelTechnische, Sicherheits- und ProduktabsichtZusammenführungsentscheidung
CIGenehmigter TestRepository-QualitätsgatterPrüfbares Ergebnis

Eine fehlgeschlagene Stufe liefert dem Autor die Beweise zurück. Sie löst keine automatische Timeout-Erhöhung oder Schlafeinsatz aus.


Positive, negative und Regressionstests für das Gate

Teste das Tor selbst. Nützliche Szenarien sind:

Positive Prüfungen

Negative Prüfungen

Wiederholbarkeitsprüfungen

Verwenden Sie für diese Tests synthetische Zugangsdaten und nicht-produktionsbezogene Daten.


Sicherheits- und Testdaten-Grenzen

KI-Eingaben und Browser-Artefakte können mehr als nur Quellcode durchsickern. Wenden Sie diese Kontrollen an:

Ein Regex-Geheimnis-Scan ist nützlich, aber nicht ausreichend. Eine menschliche Überprüfung ist weiterhin erforderlich, da sensible Geschäftsdaten einem Token möglicherweise nicht ähneln.


WebDriver BiDi: Support überprüfen, nicht davon ausgehen

WebDriver BiDi ist das bidirektionale W3C-Protokoll, das als browserübergreifender Ersatz für das Chrome DevTools-Protokoll gedacht ist. Die Selenium-Dokumentation behandelt Logging, Netzwerk- und Skriptfunktionen und weist darauf hin, dass CDP-Unterstützung vorübergehend ist, solange BiDi implementiert ist. [5]

Diese Anweisung garantiert nicht, dass jede gewünschte Funktion heute in jeder Browser- und Sprachbindung verfügbar ist. Vor der Genehmigung von BiDi-abhängigem Code:

  1. die aktuelle Selenium-Dokumentation für die genaue Funktion prüfen;
  2. prüfen Sie die Selenium- und Browser-Versionen des Projekts;
  3. Führe das Verhalten auf jedem vom Test beanspruchten Browser aus;
  4. Behalten Sie einen dokumentierten Rückstand auf oder grenzen Sie den unterstützten Umfang ein.

Das Tor sollte ungestützte Gewissheit ablehnen, nicht Experimente.


Definition of Done

Ein KI-generierter Selenium-Test ist zum Zusammenführen bereit, wenn:


Fazit

Der sichere Weg, einen KI‑Coding‑Agenten mit Selenium zu nutzen, besteht darin, ihm nicht standardmäßig zu vertrauen oder ihn abzulehnen. Geben Sie ihm die aktuelle Dokumentation, explizite Repository‑Regeln und Zugang zu einem sicheren, echten Browser. Dann verlangen Sie fokussierte Ausführung, Nachweise von Fehlern, Beobachtungen zur Wiederholbarkeit und eine menschliche Merge‑Entscheidung.

Dieses Gate fängt die veralteten Muster ab, die plausibel erscheinen, lokal kompiliert werden und später zu flüchtigen Wartungsschulden führen. Wichtiger noch: Die Verantwortung bleibt dort, wo sie hingehört: KI schlägt Code vor; das Team prüft das Verhalten und trifft die Release‑Entscheidung.


Quellen

  1. Selenium documentation — Using AI coding agents with Selenium
  2. Selenium blog — Your Agent Learned Selenium From My Old Blog Posts
  3. Selenium documentation — Selenium Manager
  4. Selenium documentation — Waiting Strategies
  5. Selenium documentation — WebDriver BiDi