KI kann einen Selenium-Test schnell entwerfen. Ein QA-Gate entscheidet, ob dieser Entwurf aktuell, beobachtbar, wiederholbar genug für die Überprüfung und sicher zum Zusammenführen ist.
Warum KI-generiertes Selenium ein eigenes Review-Gate braucht
Die aktuelle Empfehlung von Selenium identifiziert ein wiederkehrendes Problem: Codieragenten reproduzieren oft Selenium-2- oder Selenium-3-Muster, weil alte Tutorials ihr Trainingsmaterial weiterhin dominieren. Typische Ausgaben umfassen einen Drittanbieter-Treibermanager, einen fest codierten Treiberpfad, entfernte find_element_by_* Helfer, DesiredCapabilities, absolutes XPath oder einen festen Schlafmodus. [1] [2]
Diese Probleme sind kein Beweis dafür, dass KI von der Testautomatisierung ausgeschlossen werden muss. Sie sind ein Beweis dafür, dass generierter Code die gleichen Onboarding-Regeln, aktuellen Dokumentationen, Ausführungsnachweise und menschlichen Überprüfungen benötigt, die ein neuer Mitwirkender erhalten würde.
Das unten beschriebene Gate ist eine TestAI-Lab-Empfehlung und keine Produktfunktion von Selenium. Die offizielle Selenium-Dokumentation liefert die aktuellen technischen Regeln. Das Team besitzt die Akzeptanzkriterien und die Fusionsentscheidung.
Was sollte sofort durchfallen?
| Generiertes Muster | Prüfungsentscheidung | Aktuelle Ausrichtung |
|---|---|---|
webdriver-manager oder ein heruntergeladener Treiberpfad | Lehnen Sie ab, es sei denn, das Projekt dokumentiert eine spezifische Ausnahme | Selenium Manager wird mit Selenium ausgeliefert und wird von den Bindungen für die automatisierte Fahrerverwaltung verwendet. [1] [3] |
DesiredCapabilities oder freiformige Fähigkeitskarten für neuen Code | Ablehnen | Konfigurieren Sie den Browser über seine Options-Klasse.[1] |
find_element_by_id oder ein anderer find_element_by_* Helfer | Ablehnen | Nutze driver.find_element(By.ID, "...") oder eine andere By Strategie. [1] |
time.sleep(...) zur Synchronisation des Tests verwendet | Ablehnen | Warte auf die konkrete Bedingung, die wahr werden muss. [1] [2] [4] |
| Absolute XPath kopiert von DevTools | Ablehnen | Inspizieren Sie das echte DOM und wählen Sie den stabilsten verfügbaren Locator aus, vorzugsweise ein application-owned Testattribut oder eine andere dauerhafte Kennung. [1] [2] |
| CDP-Code wird als browserübergreifender Standard präsentiert | Lehne den Anwendungsbereich explizit ab oder schränke ihn ein. | Bevorzugen Sie standardbasiertes WebDriver BiDi, bei dem die erforderliche Funktion vom aktuellen Browser, der Bindung und der Selenium-Version unterstützt wird. [1] [5] |
| Ein Locator, der ohne Inspektion der Anwendung erfunden wurde | Ablehnen | Lassen Sie den Agenten die echte Seite inspizieren oder ein Wegwerf-Discovery-Skript ausführen, dann prüfen Sie den vorgeschlagenen Locator. [1] [2] |
Ein Muster kann kompilieren und trotzdem die falsche Wahl sein. Das Gate prüft daher sowohl die Syntax als auch die technische Absicht.
Stellen Sie die Regeln so auf, dass der Agent sie lesen kann
Selenium empfiehlt, Projektkonventionen in AGENTS.md, CLAUDE.md oder der vom Coding-Tool verwendeten Regeldatei zu behalten. [1] Die Version und Befehle müssen mit dem tatsächlichen Repository übereinstimmen.
Ein kompakter Ausgangspunkt könnte sein:
## Browser automation
- Use the Selenium version pinned by this repository.
- Consult https://www.selenium.dev/llms.txt and current Selenium documentation.
- If an API is absent from the current documentation or API reference, do not use it.
- Do not add third-party driver managers or hard-coded driver paths.
- Configure browsers through Options.
- Use By locators verified against the real DOM; do not use absolute XPath.
- Do not use fixed sleeps for synchronization. Wait for the required condition.
- Run the focused test and attach the exact exception and a screenshot when it fails.
- Always quit the driver in teardown.
- Never put Zugangsdaten or personal production data in code, prompts, logs, or screenshots.Dies ist ein Policy-Beispiel, kein generiertes Framework. Passe es an die Sprachbindung, Testrunner, Browser und Befehle an, die das Projekt tatsächlich verwendet.
Das Gate: von der Anforderung bis zum Merge‑Beweis
1. Definieren Sie den Testvertrag
Bevor Sie einen Agenten bitten, Code zu schreiben, geben Sie an:
- das benutzersichtbare Verhalten zur Verifizierung;
- den unterstützten Browser und die Umgebung;
- die Vorbedingungen und Testdaten;
- das erwartete Ergebnis;
- die zulässige Quelle der Zugangsdaten;
- der Befehl für einen fokussierten Test;
- die erforderlichen Beweise für das Scheitern.
Eingabe: ein Testziel plus Repository-Regeln. Ausgabe: Ein überprüfbares Szenario mit einem beobachtbaren erwarteten Ergebnis.
Wenn das erwartete Ergebnis vage ist, sind generierte Behauptungen ebenfalls vage.
2. Vergleichen Sie jede unbekannte API mit aktuellen Quellen
Stellen Sie dem Agenten Seleniums llms.txt, aktuelle Dokumentation, API-Referenz und lauffähige Beispiele zur Verfügung. Selenium empfiehlt ausdrücklich, eine API, die in der aktuellen Dokumentation oder der API-Referenz nicht zu finden ist, als nicht vorhanden zu behandeln. [1] [2]
Der Gutachter sollte überprüfen:
- Importe und Methodennamen;
- Treibererstellung;
- Browseroptionen;
- Locator-APIs;
- Wartebedingungen;
- Abriss;
- jede Logging-, Netzwerk- oder BiDi-Funktion gegen die entsprechende Bindung und Version.
Verlassen Sie sich nicht auf eine plausible Erklärung des Modells als Beweis.
3. Inspizieren Sie die echte Anwendung, bevor Sie Locatoren akzeptieren
Ein Agent, der die Seite nicht sehen kann, muss raten. Geben Sie ihm Zugang zu einer sicheren Testumgebung oder lassen Sie sie ein wegwerfartiges Selenium-Discovery-Skript ausführen. Überprüfen Sie die Kandidatenelemente, bevor der finale Test geschrieben wird. [1] [2]
Eine nützliche Locator-Bewertung fragt:
- Ist das Element im Moment der Interaktion einzigartig?
- Wird das Attribut von der Anwendung gesteuert oder von einem Framework generiert?
- Kann die Lokalisierung den sichtbaren Text verändern?
- Befindet sich das Element in einem iframe, einer Schattenwurzel, einem Dialog oder einem Overlay?
- Identifiziert der Locator das beabsichtigte Element noch, nachdem die Seite aktualisiert wurde?
Die Browsersitzung darf keine Produktionsdaten, Kundendaten, Sitzungstoken oder private Identifikatoren offenlegen.
4. Bevorzugen Sie eine Bedingung gegenüber einer Verzögerung
Ein fester Schlaf schätzt, wie lange die Anwendung benötigt. Ein explizites Wartezeit beschreibt den Zustand, den der Test benötigt. Selenium warnt außerdem davor, implizite und explizite Wartezeiten zu mischen, da der daraus resultierende Timeout unvorhersehbar sein kann. [4]
Das folgende Python-Beispiel verwendet aktuelle Selenium-APIs. Die URL- und data-testid-Werte sind anschaulich und müssen mit der realen Anwendung überprüft werden.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
try:
driver.get("https://app.example.test/login")
wait = WebDriverWait(driver, 10)
submit = wait.until(
EC.element_to_be_clickable(
(By.CSS_SELECTOR, "[data-testid='login-submit']")
)
)
assert submit.is_displayed()
finally:
driver.quit()Die wichtige Frage ist nicht, ob zehn Sekunden universell korrekt sind. Sondern ob die ausgewählte Bedingung den benutzersichtbaren Zustand darstellt, den das Szenario erfordert, und ob das Projekt eine gerechtfertigte Timeout-Politik hat.
5. Führen Sie einen gezielten Test durch und bewahren Sie Fehlerbeweise auf
Der Workflow von Selenium empfiehlt, den neuen Test allein auszuführen, bevor die Suite gestartet wird. [1] Wenn er fehlschlägt, geben Sie dem Agenten die exakte Ausnahme statt einer Zusammenfassung wie "der Test ist gescheitert." Ein Screenshot zum Zeitpunkt des Fehlers kann ein Overlay, ein Cookie-Banner, einen unerwarteten Dialog oder einen abgefangenen Klick zeigen. [1] [2]
Empfohlene Gate-Ausgaben sind teamdefinierte Artefakte wie:
- fokussierte Testbefehle und Ausgangsstatus;
- Browser-, Selenium- und Bindungsversionen;
- exakte Ausnahme und Stack-Spur;
- Screenshot beim Scheitern;
- relevante Anwendungs- und WebDriver-Logs mit geschwärzten Geheimnissen;
- Der Code Diff.
Diese Namen und Formate sind von Selenium nicht vorgeschrieben. Wählen Sie Formate, die Ihr CI-System behalten und die Gutachter lesen können.
6. Wiederholen, um nach Race Conditions zu suchen, nicht um Perfektion zu beweisen
Selenium empfiehlt, den fokussierten Test mehrmals durchzuführen, bevor man ihm vertraut; ein Durchgang zeigt nicht, dass der Test rennfrei ist. [1] Die Anzahl der Wiederholungen sollte vom Team entsprechend Risiko und Laufzeit festgelegt werden.
Aufzeichnung:
- wie viele Runs versucht wurden;
- Bestehen und Durchfallen zählen;
- Dauerverteilung;
- Ausnahmetypen;
- Egal ob Fehler sich um eine Bedingung oder einen Browser gruppieren.
Benötigt nicht identische ganzseitige DOM-Hashes. Moderne Seiten können Zeitstempel, zufällige IDs, Analyse-Markups und asynchrone Inhalte enthalten. Vergleichen Sie stattdessen die Geschäftsbehauptung und ausgewählte stabile Beweise.
Mehrere erfolgreiche Läufe erhöhen das Selbstvertrauen, beweisen aber nie, dass ein Test fehlerfrei ist.
7. Überprüfen Sie den Diff und treffen Sie die menschliche Entscheidung
Der letzte Prüfer prüft sowohl den Code als auch die Beweise:
- keine veralteten Selenium-APIs;
- kein Drittanbieter-Fahrermanager ohne dokumentierten Grund;
- kein fester Schlaf für die Synchronisation;
- kein absolutes XPath;
- Locatoren, die in der tatsächlichen Anwendung verifiziert wurden;
- Wartezeiten, die auf sinnvolle Bedingungen abgebildet sind;
- Die Fahrersitzung endete mit
quit(); - exakte Ausfälle erhalten geblieben;
- keine Geheimnisse oder persönliche Daten im Code, in Protokollen, Screenshots oder Eingabeaufforderungen;
- browserübergreifende Behauptungen, die von tatsächlich ausgeführten Browsern unterstützt werden;
- Die Nutzung von BiDi oder CDP ist auf dokumentierte Unterstützung für die gewählte Version und Bindung beschränkt;
- Behauptungen überprüfen das beabsichtigte Verhalten, nicht nur das Vorhandensein eines Elements.
Nur ein menschlicher Besitzer ändert die Entscheidung von muss überarbeitet zu für Zusammenführung genehmigt.
Architektur und Datenfluss
| Bühne | Eingabe | Primärer Check | Ausgabe |
|---|---|---|---|
| Testvertrag | Anforderung, Risiko, Umwelt | Erwartetes Verhalten ist beobachtbar | Szenario- und Akzeptanznachweise |
| Agentenkontext | Vertrag, Regelakte, aktuelle Dokumente | Version und Konventionen sind explizit | Kandidatencode |
| Browser-Entdeckung | Sichere Testumgebung | Locatoren stimmen mit dem echten DOM überein | Rezensierte Locator-Set |
| Fokussierte Ausführung | Kandidatentest | Ein Szenario enthält reale Behauptungen | Ausgangsstatus und Ausfallartefakte |
| Wiederholbarkeitsprüfung | Fokussiertes Kommando | Intermittierende Ausfälle werden erfasst | Laufzeitübersicht |
| Menschliche Überprüfung | Differenz plus Beweismittel | Technische, Sicherheits- und Produktabsicht | Zusammenführungsentscheidung |
| CI | Genehmigter Test | Repository-Qualitätsgatter | Prüfbares Ergebnis |
Eine fehlgeschlagene Stufe liefert dem Autor die Beweise zurück. Sie löst keine automatische Timeout-Erhöhung oder Schlafeinsatz aus.
Positive, negative und Regressionstests für das Gate
Teste das Tor selbst. Nützliche Szenarien sind:
Positive Prüfungen
- Die Initialisierung der aktuellen
webdriver.Chrome()wird akzeptiert. - Eine verifizierte
ByLokalisierung und eine explizite Überprüfung der Richtlinienüberprüfung durch den Zustand. - Ein Fehler erzeugt eine geschwärzte Ausnahme und einen lesbaren Screenshot.
- Der fokussierte Befehl und die Browserversion werden aufgezeichnet.
Negative Prüfungen
webdriver_manager,executable_path,DesiredCapabilities,find_element_by_*, feste Schlafphasen und absolutes XPath werden erkannt.- Ein vermisstes
driver.quit()wird gemeldet. - Ein Platzhalter-Locator, der nie mit der Bewerbung abgeglichen wurde, wird abgelehnt.
- Ein Protokoll oder Screenshot mit einem gefälschten Geheimnis lässt den Artefakt-Check scheitern.
- Ein CDP-Aufruf, der nur für Chromium verwendet wird, kann nicht als browserübergreifendes Nachweis bezeichnet werden.
Wiederholbarkeitsprüfungen
- Das gleiche fokussierte Szenario kann wiederholt ausgeführt werden, ohne Sitzungen oder Testdaten anzusammeln.
- Ein absichtlich verzögertes Element erzeugt einen nützlichen, bedingungsspezifischen Ausfall.
- Der Bericht bewahrt Unterschiede zwischen Browsern, anstatt sie auf ein einziges "bestandenes" Ergebnis zu reduzieren.
Verwenden Sie für diese Tests synthetische Zugangsdaten und nicht-produktionsbezogene Daten.
Sicherheits- und Testdaten-Grenzen
KI-Eingaben und Browser-Artefakte können mehr als nur Quellcode durchsickern. Wenden Sie diese Kontrollen an:
- Referenzgeheimnisse über den CI-Geheimspeicher oder die Umgebungsvariablen;
- Geheime Werte aus Prompts heraushalten;
- Verwenden Sie dedizierte Testkonten mit minimalen Berechtigungen;
- Autorisierungsheader, Cookies, Token, E-Mail-Adressen und Kundenkennungen schwärzen;
- Screenshots vor der Retention überprüfen;
- Aufbewahrungs- und Zugriffsregeln für Protokolle und Screenshots definieren;
- Verhindern, dass der Agent Produktionsdaten ändert, es sei denn, das Szenario autorisiert ausdrücklich eine sichere Testaktion.
Ein Regex-Geheimnis-Scan ist nützlich, aber nicht ausreichend. Eine menschliche Überprüfung ist weiterhin erforderlich, da sensible Geschäftsdaten einem Token möglicherweise nicht ähneln.
WebDriver BiDi: Support überprüfen, nicht davon ausgehen
WebDriver BiDi ist das bidirektionale W3C-Protokoll, das als browserübergreifender Ersatz für das Chrome DevTools-Protokoll gedacht ist. Die Selenium-Dokumentation behandelt Logging, Netzwerk- und Skriptfunktionen und weist darauf hin, dass CDP-Unterstützung vorübergehend ist, solange BiDi implementiert ist. [5]
Diese Anweisung garantiert nicht, dass jede gewünschte Funktion heute in jeder Browser- und Sprachbindung verfügbar ist. Vor der Genehmigung von BiDi-abhängigem Code:
- die aktuelle Selenium-Dokumentation für die genaue Funktion prüfen;
- prüfen Sie die Selenium- und Browser-Versionen des Projekts;
- Führe das Verhalten auf jedem vom Test beanspruchten Browser aus;
- Behalten Sie einen dokumentierten Rückstand auf oder grenzen Sie den unterstützten Umfang ein.
Das Tor sollte ungestützte Gewissheit ablehnen, nicht Experimente.
Definition of Done
Ein KI-generierter Selenium-Test ist zum Zusammenführen bereit, wenn:
- [ ] Das Szenario und das erwartete Ergebnis sind explizit.
- [ ] Die Repository-Regeln verweisen auf aktuelle Selenquellen.
- [ ] Jede unbekannte API wurde anhand der aktuellen Dokumentation oder der API-Referenz überprüft.
- [ ] Der Locator wurde mit der echten Testanwendung abgeglichen.
- [ ] Die Synchronisation wartet auf eine sinnvolle Bedingung; kein fester Schlaf verbirgt ein Rennen.
- [ ] Ein fokussierter Test wurde durchgeführt und lieferte einsichtswerte Beweise.
- [ ] Wiederholte Läufe wurden als Vertrauensbeweis aufgezeichnet, nicht als Beweis.
- [ ] Die exakte Ausnahme und der Screenshot sind für Fehler verfügbar.
- [ ] Der Abbau beendet die Fahrersitzung.
- [ ] Geheimnisse und persönliche Daten fehlen im Code und behaltenen Artefakten.
- [ ] Browser- und Cross-Browser-Behauptungen stimmen mit ausgeführten Beweisen überein.
- [ ] Ein menschlicher Gutachter hat den Unterschied und die Produktbehauptung genehmigt.
Fazit
Der sichere Weg, einen KI‑Coding‑Agenten mit Selenium zu nutzen, besteht darin, ihm nicht standardmäßig zu vertrauen oder ihn abzulehnen. Geben Sie ihm die aktuelle Dokumentation, explizite Repository‑Regeln und Zugang zu einem sicheren, echten Browser. Dann verlangen Sie fokussierte Ausführung, Nachweise von Fehlern, Beobachtungen zur Wiederholbarkeit und eine menschliche Merge‑Entscheidung.
Dieses Gate fängt die veralteten Muster ab, die plausibel erscheinen, lokal kompiliert werden und später zu flüchtigen Wartungsschulden führen. Wichtiger noch: Die Verantwortung bleibt dort, wo sie hingehört: KI schlägt Code vor; das Team prüft das Verhalten und trifft die Release‑Entscheidung.
Quellen
- Selenium documentation — Using AI coding agents with Selenium
- Selenium blog — Your Agent Learned Selenium From My Old Blog Posts
- Selenium documentation — Selenium Manager
- Selenium documentation — Waiting Strategies
- Selenium documentation — WebDriver BiDi
Kommentar hinterlassen
Teilen Sie Ihre Gedanken zum Artikel. Kein Konto erforderlich.
Kommentare
Kommentare werden geladen…