OpenTelemetry macht die Arbeit eines Coding-Agenten beobachtbar. Für Qualitätssicherung ist das wertvoll, weil ein Trace zeigt, welche Modell- und Werkzeugaufrufe während einer Sitzung stattgefunden haben. Ein Trace beweist jedoch nicht, dass der erzeugte Code fachlich richtig, sicher oder vollständig ist. Er ist ein zusätzlicher Nachweis, der mit Anforderungen, Testergebnissen und beobachtbaren Nebeneffekten verbunden werden muss.

GitHub unterstützt OpenTelemetry für die GitHub-Copilot-App über zentral verwaltete Unternehmenseinstellungen. Laut GitHub-Dokumentation können Traces Modell- und Werkzeugaufrufe abbilden; Metriken können unter anderem Tokenzahlen liefern und Ereignisse können Feedback zu Bearbeitungen beschreiben. Inhalte von Prompts, Antworten und Werkzeugargumenten werden standardmäßig nicht erfasst. Diese Grenze ist für eine datenschutzbewusste QA-Strategie entscheidend.

1. Was OpenTelemetry im Agentenkontext liefert

OpenTelemetry unterscheidet mehrere Signale. Ein Trace beschreibt den Weg einer Anfrage durch eine Sitzung. Ein Span repräsentiert eine zeitlich begrenzte Operation innerhalb dieses Weges. Attribute ergänzen einen Span um strukturierte Angaben, Ereignisse markieren relevante Zeitpunkte und der Status kann einen Fehler anzeigen. Metriken fassen numerische Entwicklungen zusammen.

SignalBedeutung für eine AgentensitzungNutzen für QA
TraceZusammenhängender Ablauf einer BenutzeranfrageVerbindet alle Beobachtungen mit einem Testlauf
SpanEinzelne Operation, etwa Modell- oder WerkzeugaufrufPrüft Reihenfolge, Dauer und Auftreten eines Schritts
AttributStrukturierter Kontext eines SpansErmöglicht Regeln für Modell, Werkzeug oder Sitzung
EreignisZeitmarkierte ZusatzinformationLiefert Kontext zu Fehlern oder Bearbeitungsfeedback
MetrikAggregierter ZahlenwertZeigt Trends bei Nutzung, Fehlern oder Laufzeit

Die konkreten Namen von Spans und Attributen hängen von der eingesetzten Instrumentierung und vom Backend ab. Ein Team darf deshalb Beispielnamen nicht ungeprüft als GitHub-Vertrag behandeln. Vor automatisierten Assertions muss es das tatsächlich exportierte Schema dokumentieren und versionieren.

2. Beobachtbarkeit ist kein Korrektheitsbeweis

Ein grüner Trace kann trotzdem zu falschem Code führen. Ein Agent kann das zugelassene Modell und alle vorgesehenen Werkzeuge verwenden und dennoch eine Anforderung missverstehen. Umgekehrt kann ein fehlender Span auf Sampling, Exportfehler oder eine geänderte Instrumentierung zurückgehen, ohne dass die Produktfunktion fehlerhaft ist.

Für eine belastbare Bewertung werden drei Ebenen kombiniert:

Die Telemetrie ist damit ein unabhängiger Beobachtungskanal, aber kein Ersatz für ein Testorakel.

3. Von Anforderungen zu Telemetrieprüfungen

Jede Prüfung beginnt mit einer klaren Anforderung. Danach wird festgelegt, welches beobachtbare Signal diese Anforderung unterstützt und welcher zusätzliche Nachweis benötigt wird.

AnforderungTelemetrischer NachweisZusätzliches TestorakelEntscheidung
Nur freigegebene Werkzeuge dürfen laufenWerkzeugaufrufe im TraceBerechtigungsmatrix und negativer TestAbweichung blockiert den Lauf
Dateischreibvorgänge müssen nachvollziehbar seinSpan oder Ereignis zum SchreibvorgangDateisystem-Diff und erwarteter PfadUnerwartete Datei ist ein Defekt
Sicherheitsfehler müssen den Ablauf stoppenFehlerstatus und zugehöriges EreignisSecurity-Test und unveränderte DatenFortsetzung nach Fehler ist kritisch
Modellnutzung muss zur Richtlinie passenModellinformation, falls exportiertUnternehmenskonfigurationUnbekanntes Modell wird untersucht
Ergebnis muss die Anforderung erfüllenTrace der SitzungFachliche Assertions und ReviewTrace allein reicht nicht

Feldnamen wie model.id, tool.name oder file.path sind in dieser Matrix nur Beispiele. Das reale Collector-Schema ist die verbindliche Quelle.

4. Praktische Assertions

Eine QA-Suite kann exportierte Daten lesen, ohne den Agenten zu verändern. Sinnvolle Assertions sind beispielsweise:

Assertions sollten tolerant gegenüber nicht wesentlichen Änderungen sein. Eine Prüfung, die auf der exakten Reihenfolge aller internen Spans besteht, wird schnell instabil. Stabiler sind Regeln zu Sicherheitsgrenzen, verpflichtenden Schritten und sichtbaren Nebeneffekten.

5. Negative und sicherheitsorientierte Szenarien

Positive Abläufe reichen für Agentensysteme nicht aus. Besonders nützlich sind kontrollierte Fehlerfälle:

Damit trennt das Team Produktfehler, Instrumentierungsfehler und Richtlinienverstöße.

6. Datenschutzbewusste Voreinstellungen

GitHub erklärt, dass Prompttexte, Modellantworten und Werkzeugargumente standardmäßig ausgeschlossen sind. Optionales Content Capture kann hingegen Code, Dateiinhalte oder Prompts sichtbar machen. Deshalb sollte es in Produktionsumgebungen grundsätzlich deaktiviert bleiben, sofern kein dokumentierter Zweck, keine angemessene Rechtsgrundlage und keine wirksamen Schutzmaßnahmen bestehen.

Für Testumgebungen sind mindestens folgende Kontrollen sinnvoll:

Ein erfolgreicher Export ist kein Grund, möglichst viele Daten zu sammeln. QA benötigt relevante Evidenz, nicht vollständige Gesprächsinhalte.

7. Sampling, Aufbewahrung und Lücken

Sampling senkt Kosten und Datenvolumen, kann aber seltene Fehler verbergen. Für sicherheitskritische oder neu eingeführte Abläufe ist eine höhere Erfassungsrate sinnvoll. Für häufige, risikoarme Sitzungen kann ein geringerer Wert genügen. Die Entscheidung sollte auf Risiko und Datenvolumen beruhen, nicht auf einer universellen Prozentzahl.

Tail-based Sampling kann fehlgeschlagene oder langsame Traces bevorzugt behalten. Dennoch muss QA dokumentieren, welche Daten möglicherweise fehlen. Aufbewahrungsfristen sollten lang genug für Fehleranalyse und Trendvergleich, aber so kurz wie möglich für Datenschutz und Kostenkontrolle sein.

Wichtige Qualitätsindikatoren können sein:

Zielwerte entstehen aus einer Baseline des eigenen Systems. Erfundenen allgemeinen Grenzwerten sollte das Team nicht vertrauen.

8. Risikobasierter Triage-Ablauf

  1. Korrelieren: Testlauf, Commit, Sitzung und Trace erhalten eine gemeinsame Referenz.
  2. Validieren: Das Team prüft Vollständigkeit, Zeitfenster und Schema der Telemetrie.
  3. Bewerten: Automatische Regeln vergleichen Werkzeugnutzung, Fehlerpfade und Nebeneffekte mit der Anforderung.
  4. Anreichern: Diff, CI-Ergebnisse, Sicherheitsberichte und fachliche Assertions werden ergänzt.
  5. Klassifizieren: Das Ergebnis wird als Produktdefekt, Instrumentierungsfehler, Richtlinienverstoß oder unzureichender Nachweis eingeordnet.
  6. Entscheiden: Ein verantwortlicher Mensch entscheidet über Freigabe, Blockierung oder weitere Analyse.
  7. Dokumentieren: Verwendete Nachweise, Versionen und Begründung werden für spätere Audits festgehalten.

Dieser Ablauf verhindert, dass ein einzelnes Dashboard automatisch zur Freigabeinstanz wird.

9. Fragen für das Review

Vor einer Freigabe sollte ein Tester mindestens klären:

10. Fazit

OpenTelemetry erweitert den Werkzeugkasten für das Testen von KI-Coding-Agenten. Traces helfen, Modell- und Werkzeugnutzung, Fehlerpfade und Laufzeiten zu untersuchen. Metriken und Ereignisse unterstützen Trendanalyse und Triage. Der Nutzen entsteht aber erst, wenn diese Signale mit Anforderungen, tatsächlichen Nebeneffekten und unabhängigen Tests verbunden werden.

Eine robuste Strategie hält Content Capture standardmäßig aus, schützt Zugriff und Aufbewahrung, behandelt Sampling-Lücken offen und versioniert das verwendete Schema. Automatisierung kann Abweichungen erkennen und Belege sammeln. Die Freigabe eines risikoreichen Agentenablaufs bleibt eine menschliche Entscheidung.

Quellen