Wie KI dabei hilft, die Ursache sporadischer Fehler zu ermitteln, die Nachweise des ersten Fehlschlags zu bewahren und zu verhindern, dass Self-Healing einen echten Produktfehler verdeckt.


1. Einleitung

Flaky Tests – Tests, die ohne Codeänderung manchmal bestehen und manchmal fehlschlagen – sind ein stiller Produktivitätskiller. In einer CI-Pipeline können sie einen echten Defekt in einen „grünen“ Build verwandeln, wodurch das Vertrauen in die Automatisierung untergraben wird und Entwickler gezwungen sind, Testergebnisse zu ignorieren. Der Playwright-Testrunner bietet integrierte Retry-Unterstützung und umfangreiche Tracing-Funktionen, doch diese Funktionen werden oft als undifferenzierter „Make-it-green“-Knopf missbraucht.

Dieser Leitfaden zeigt, wie man die Retry- und Tracing-Mechanismen von Playwright nicht als Abkürzung zur Verschleierung des Status, sondern als Diagnosesignal nutzt und wie man die Daten durch KI-gestützte Analysen ergänzt, während ein menschlicher Prüfer weiterhin in den Prozess eingebunden bleibt. Der Arbeitsablauf ist risikobewusst, evidenzbasiert und mit alltäglichen CI-Konfigurationen kompatibel.


2. Warum Flaky Tests gefährlich sind

Die häufigsten Ursachen für Flakiness in Playwright sind in der Playwright-Community dokumentiert und stimmen mit den Erkenntnissen aus Hari Gokuls Artikel überein:

KategorieTypisches SymptomBeispiel in Playwright
Timing / Race ConditionsElement noch nicht bereit, Spitzen bei der Netzwerklatenzawait page.click('#submit') schlägt sporadisch fehl
Fragile SelektorenDOM-Änderungen führen zu Fehlern bei CSS-/XPath-Locatorspage.locator('text=Login') findet das Element nach einem UI-Redesign nicht mehr
NetzwerkinstabilitätZeitüberschreitungen bei externen APIsDer Test schlägt fehl, wenn ein Drittanbieter-Dienst langsam ist
Gemeinsamer ZustandTests verändern gemeinsam genutzte Datenbankzeilen oder den Storage StateZwei parallel laufende Prozesse schreiben in dieselbe Datei
UmgebungsabweichungUnterschiedliche Betriebssystem-Schriftarten, Headless- gegenüber Headed-RenderingDer visuelle Regressionstest besteht lokal, schlägt jedoch in der CI fehl

Wenn die CI-Pipeline den Test einfach erneut ausführt und ihn als bestanden markiert, gehen die Nachweise zum ersten Fehlschlag (Browserkonsole, Netzwerkprotokolle, Screenshots) verloren, sodass nicht mehr festgestellt werden kann, ob der Fehlschlag eine harmlose Störung oder ein echter Defekt war.


3. Playwright Retries – von „Make it green“ zum Diagnosesignal

Playwright Retries sind standardmäßig deaktiviert. Sind Retries aktiviert, klassifiziert der Runner einen Test als passed, wenn er beim ersten Versuch besteht, als flaky, wenn er zunächst fehlschlägt und bei einem späteren Versuch besteht, und als failed, wenn alle Versuche fehlschlagen. Diese Klassifizierung muss in CI sichtbar bleiben; ein Retry darf ein Flaky-Ergebnis niemals stillschweigend in einen normalen Erfolg umwandeln.

Die Trace-Erfassung ist eine bewusste Abwägung:

Trace-ModusWas aufgezeichnet wirdNutzen für die Triage
retain-on-failureZeichnet jeden Versuch auf und bewahrt die Traces fehlgeschlagener VersucheBeste Wahl, wenn der ursprüngliche Fehlschlag der wichtigste Nachweis ist
on-first-retryZeichnet den ersten Retry auf, nicht den ursprünglichen VersuchHilfreich, um den neuen Kontext des Retry-Laufs zu untersuchen
on-all-retriesZeichnet jeden Retry aufHilfreich für wiederholte Vergleiche, erzeugt jedoch mehr Artefakte

Kein einzelner Modus erfasst gleichzeitig den ursprünglichen Versuch und jeden erfolgreichen Retry. Wählen Sie die benötigten Nachweise bewusst aus und ergänzen Sie sie durch Screenshots, Videos, Konsolenprotokolle, Netzwerkdaten und den HTML-Report.

Empfohlene Basiskonfiguration für CI

// playwright.config.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: process.env.CI ? 2 : 0,
  reporter: [['list'], ['html', { open: 'never' }]],
  use: {
    trace: 'retain-on-failure',
    screenshot: 'only-on-failure',
    video: 'retain-on-failure',
  },
  workers: process.env.CI ? 1 : undefined,
  maxFailures: 20,
});

Diese Konfiguration bewahrt die Nachweise fehlgeschlagener Versuche und hält Retries im Report sichtbar. Die Werte 2, 1 und 20 sind betriebliche Beispiele und keine allgemeinen Empfehlungen von Playwright. Teams sollten sie anhand von Laufzeit-, Infrastruktur- und Risikodaten festlegen.


4. Nachweise des ersten Fehlschlags bewahren

Die Diagnose muss vor dem Testlauf aktiviert werden. Wird ein Trace erst in afterEach gestartet, ist es zu spät, die vorherigen Browseraktionen zu rekonstruieren. Die integrierten Screenshots, Videos und Traces decken die meisten Fälle ab; eine kleine automatische Fixture kann zusätzlich Konsolennachweise erfassen:

// fixtures.ts
import { test as base } from '@playwright/test';

export const test = base.extend<{ consoleEvidence: void }>({
  consoleEvidence: [async ({ page }, use, testInfo) => {
    const messages: string[] = [];
    page.on('console', message => {
      messages.push(`[${message.type()}] ${message.text()}`);
    });

    await use();

    if (testInfo.status !== testInfo.expectedStatus) {
      await testInfo.attach('console.log', {
        body: Buffer.from(messages.join('\n'), 'utf-8'),
        contentType: 'text/plain',
      });
    }
  }, { auto: true }],
});

export { expect } from '@playwright/test';

Mit trace: 'retain-on-failure' behält der erste fehlgeschlagene Versuch seinen Trace. Screenshot, Video, Konsolen-Attachment und Reporter-Ausgabe bilden gemeinsam ein Nachweispaket. Benötigt das Team stattdessen einen Trace des Retry-Laufs, kann on-first-retry verwendet werden; dann muss dokumentiert sein, dass der ursprüngliche Versuch nur durch die anderen Artefakte repräsentiert wird.


5. KI-gestützter Triage-Workflow

Der folgende risikobasierte Human-in-the-Loop-Workflow nutzt KI, um die wahrscheinlichste Ursache zu ermitteln, ohne einen echten Defekt automatisch unter Quarantäne zu stellen.

┌────────────────────────┐
│ Test abgeschlossen (CI)│
└───────────┬────────────┘
            │
            ▼
┌────────────────────────┐
│ Wurde der Test erneut  │──── Nein ──► PASS/FAIL markieren
│ ausgeführt?            │              (keine KI nötig)
└───────────┬────────────┘
            │ Ja
            ▼
┌────────────────────────┐
│ Artefakte sammeln:     │
│ – Trace des Fehlversuchs│
│ – Retry-Ergebnis/Report│
│ – Screenshots, Logs    │
│ – Netzwerk-HAR, falls aktiv│
└───────────┬────────────┘
            │
            ▼
┌────────────────────────┐
│ Artefakte an KI geben  │
│ (LLM oder spezialisiertes│
│ Loganalyse-Modell)     │
└───────────┬────────────┘
            │
            ▼
┌────────────────────────┐
│ KI liefert:            │
│ – wahrscheinliche Ursache│
│ – Konfidenzwert        │
│ – Handlungsvorschlag   │
└───────────┬────────────┘
            │
            ▼
┌────────────────────────┐
│ Mensch prüft:          │
│ – Konfidenzschwelle    │
│ – Nachweis-Checkliste  │
│ – Risikoauswirkung     │
└───────────┬────────────┘
            │
       ┌────┴─────┐
       ▼          ▼
 Quarantäne    Fix/Refactoring
 (nur nach     (nur nach
 Bestätigung)  Freigabe)

5.1 Nachweis-Checkliste für die menschliche Prüfung

ElementWarum es wichtig ist
Bewahrter Trace des FehlversuchsZeigt Browseraktionen und Zustand des fehlgeschlagenen Versuchs, wenn retain-on-failure verwendet wird.
Retry-Ergebnis und Report-EintragBestätigt, ob ein späterer Versuch bestand, und hält das Ergebnis als flaky klassifiziert.
Konsolen- und NetzwerkprotokolleIdentifizieren Timeout-Fehler, 5xx-Antworten oder JavaScript-Ausnahmen.
Screenshot-Diff (sofern der visuelle Vergleich aktiviert ist)Erkennt Darstellungsunterschiede zwischen Headless- und Headed-Modus.
Historische Ausführungsdaten (die letzten zehn Läufe)Helfen der KI, einen Flakiness-Score zu berechnen, beispielsweise den Anteil der Läufe mit Retry.
Test-Metadaten (Retry-Anzahl, Worker-Index)Helfen dabei, Probleme mit gemeinsam genutztem Zustand zu erkennen.

Vor Self-Healing oder einer Locator-Änderung muss der Prüfer beantworten: „Liegen ausreichende Nachweise dafür vor, dass der Fehler durch die Fragilität des Tests und nicht durch einen Produktdefekt verursacht wurde?“

5.2 Messbare Flakiness-Indikatoren

IndikatorBerechnungInterpretation
Flake-Rate# als flaky klassifizierte Tests / # ausgeführte TestsNach Testsuite, Branch und Umgebung verfolgen; anhaltende Anstiege untersuchen.
Retry-Pass-Verhältnis# bei einem Retry bestandene Tests / # Tests mit RetryEin steigender Wert kann auf eine wachsende Abhängigkeit von Retries hinweisen.
Verteilung der Zeit bis zum FehlschlagDauer vom Teststart bis zum Fehlschlag über mehrere LäufeMuster vergleichen; die Dauer allein belegt keine Ursache.
KI-KonfidenzModellspezifischer Wert zusammen mit den referenzierten NachweisenNur zur Priorisierung der menschlichen Prüfung verwenden, niemals als Freigabe für eine automatische Quarantäne.

Diese Kennzahlen lassen sich in CI-Dashboards darstellen, um Trends frühzeitig zu erkennen.


6. Risikobasierte Triage-Entscheidungsmatrix

RisikostufeNachweismusterErforderliche Maßnahme
NiedrigReproduzierbares testseitiges Problem mit eindeutigen Nachweisen und ohne ProduktauswirkungWartungsaufgabe anlegen; ein Prüfer kann eine reine Testkorrektur freigeben.
MittelGemischte Nachweise, wiederkehrende Retries oder UmgebungsabhängigkeitTriage-Ticket erstellen, Artefakte aufbewahren und unter kontrollierten Bedingungen reproduzieren; keine automatische Quarantäne.
HochMöglicher Produktdefekt, Auswirkungen auf Sicherheit oder Daten oder ungeklärtes intermittierendes VerhaltenBis zum Gegenbeweis als Defekt behandeln, automatisches Self-Healing blockieren und eine Prüfung durch den fachlich Verantwortlichen verlangen.

Die Matrix enthält bewusst keine allgemeingültigen Prozent- oder Konfidenzschwellen. Jedes Team sollte Schwellenwerte aus seiner eigenen Baseline ableiten. Unsicherheit und hohe Auswirkungen führen jedoch immer zu einer menschlichen Untersuchung.


7. Sichere Automatisierungsgrenzen

GrenzeBegründung
Retries sind explizit begrenztMehr Retries erhöhen die Kosten und können Instabilität normalisieren; die genaue Grenze legt das Team fest.
Der Trace-Modus wird bewusst gewähltretain-on-failure priorisiert den fehlgeschlagenen Versuch; Retry-only-Modi beantworten eine andere Frage.
Die Worker-Anzahl wird kontrolliertEin einzelner Worker kann bei der Diagnose von Ressourcenengpässen oder Kopplung über gemeinsam genutzten Zustand helfen, behebt jedoch keine Isolationsfehler.
Keine automatische Umschreibung von LocatorsSelf-Healing muss geprüft werden; andernfalls könnte eine fehlerhafte Benutzeroberfläche unbemerkt bleiben.
Die Aufbewahrung von Artefakten folgt einer RichtlinieNachweise müssen lange genug für die Triage verfügbar sein, unter Einhaltung der Speicher-, Datenschutz- und Sicherheitsvorgaben.

8. Konkrete Playwright-Konfigurationsbeispiele

8.1 Nur-CI-Konfiguration (Umgebungsvariable CI=true)

// playwright.config.ci.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: 2,
  workers: 1,
  maxFailures: 20,
  use: {
    trace: 'retain-on-failure',
    screenshot: 'only-on-failure',
    video: 'retain-on-failure',
    launchOptions: { headless: true },
  },
  reporter: [
    ['list'],
    ['html', { open: 'never', outputFolder: 'playwright-report' }],
  ],
});

8.2 Lokale Entwicklerkonfiguration (keine Retries, vollständiges Tracing)

// playwright.config.local.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  retries: 0,
  workers: undefined, // default based on CPU cores
  use: {
    trace: 'on', // full local trace; expensive for CI
    screenshot: 'on',
    video: 'on',
  },
});

Zwischen den beiden Konfigurationen kann über npm-Skripte gewechselt werden:

{
  "scripts": {
    "test:ci": "playwright test --config=playwright.config.ci.ts",
    "test:local": "playwright test --config=playwright.config.local.ts"
  }
}

9. Human-in-the-Loop-Leitplanken

  1. Mergen Sie niemals einen Pull Request, der einen unter Quarantäne gestellten Test enthält, ohne die ausdrückliche Zustimmung eines Prüfers.
  2. Verlangen Sie einen „Triage-Kommentar“, in dem mindestens ein Nachweis (Trace, Protokoll, Screenshot) angeführt wird, der die Entscheidung untermauert.
  3. Protokollieren Sie jeden KI-Vorschlag in der Zusammenfassung des CI-Jobs, damit das Team Fehlalarme und Fehlentscheidungen überprüfen kann.
  4. Planen Sie eine regelmäßige Überprüfung (z. B. in jedem Sprint) des Flake-Rate-Dashboards ein, um die Retry-Grenzwerte anzupassen oder das Testdesign zu verbessern.

Diese Schritte sorgen für Transparenz im Prozess und verhindern die Self-Healing-Falle, bei der jeder Flaky Test stillschweigend von einer KI korrigiert wird, ohne dass eine menschliche Überprüfung stattfindet.


10. Fünf konkrete Fragen bei der Bewertung eines KI-Agenten für die Triage von Flaky Tests

  1. Auf welche Quellen stützt sich die KI bei ihren Schlussfolgerungen? Wird die Playwright-Trace-Datei im Rohformat, die Konsolenprotokolle, die Netzwerk-HAR-Datei und die historischen Ausführungsdaten direkt eingelesen, oder stützt sich das System auf eine vorverarbeitete Zusammenfassung?
  2. Wie wird Unsicherheit im Modell dargestellt? Suchen Sie in der Risikomatrix nach einem Konfidenzwert oder einer Wahrscheinlichkeitsverteilung, für die ein Schwellenwert festgelegt werden kann.
  3. Kann die KI den genauen Schritt ermitteln, der beim ersten Fehlschlag anders war als beim Retry? Die Antwort sollte auf eine Zeile im Trace verweisen (z. B. „Locator-Timeout in Schritt 3“) und nicht nur allgemein auf ein „Timing-Problem“.
  4. Wie sieht der Prüfpfad für eine vorgeschlagene Self-Healing-Maßnahme aus? Das System sollte den ursprünglichen Locator und den vorgeschlagenen Ersatz sowie die entsprechenden Nachweise erfassen.
  5. Wie geht die KI mit „unbekannten“ Fällen um? Das System sollte auf „erfordert manuelle Überprüfung“ zurückgreifen, anstatt standardmäßig zu entscheiden, ob ein Test unter Quarantäne gestellt oder korrigiert werden soll.

Diese Fragen helfen den QA-Verantwortlichen dabei, sicherzustellen, dass die KI als Instrument zur Entscheidungsunterstützung fungiert und nicht als Entscheidungsträger.


11. Wo Automatisierung hilft

Die Automatisierung ist daher ein Wirkungsverstärker: Sie liefert die Nachweise, die KI hilft bei deren Auswertung, und der menschliche Prüfer trifft die endgültige Entscheidung.


12. Schlussfolgerung

Flaky Playwright-Tests müssen keine versteckte Gefahr für die Produktqualität darstellen. Durch die gezielte Konfiguration von Retries, die Erfassung des Zustands beim ersten Fehlschlag und die Weiterleitung aller Artefakte an eine KI-gestützte Triage-Pipeline können Teams echte Fehler von der Instabilität des Testcodes unterscheiden. Der hier beschriebene Workflow sichert die entscheidenden Nachweise, quantifiziert die Flakiness und setzt eine risikobasierte Entscheidungsmatrix durch, die vor jeder Self-Healing- oder Quarantänemaßnahme stets eine menschliche Freigabe erfordert. Bei verantwortungsvollem Einsatz werden Automatisierung und KI zu starken Verbündeten bei der Aufrechterhaltung einer vertrauenswürdigen Testsuite, während manuelle Tests und explorative Erkenntnisse weiterhin im Mittelpunkt der Qualitätssicherung stehen.


Quellen

Für faktische Aussagen werden ausschließlich der Ausgangsartikel und die offizielle Playwright-Dokumentation verwendet.