OpenTelemetry робить роботу агента спостережуваною. Для QA це корисно, оскільки трасування показує, які звернення до моделі та інструментів відбулися під час сесії. Але воно не доводить, що створений код функціонально правильний, безпечний і повністю відповідає вимогам. Це додаткове джерело доказів, яке потрібно пов’язувати з вимогами, результатами тестів і реальними побічними ефектами.

GitHub підтримує OpenTelemetry для застосунку GitHub Copilot через централізовано керовані налаштування підприємства. Згідно з офіційною документацією, трасування може відображати звернення до моделей та інструментів, метрики — містити числові дані, зокрема кількість токенів, а події — описувати зворотний зв’язок щодо змін. Вміст промптів, відповідей і аргументів інструментів за замовчуванням не включається. Для безпечної QA-стратегії це принципова межа.

1. Які дані надає OpenTelemetry

OpenTelemetry використовує кілька типів сигналів. Трасування описує шлях одного запиту через систему. Спан представляє обмежену в часі операцію всередині цього шляху. Атрибути додають структурований контекст, події позначають важливі моменти, а статус може повідомляти про помилку. Метрики агрегують числові значення для аналізу динаміки.

СигналЗначення в сесії агентаКористь для QA
ТрасуванняПов’язаний шлях запиту користувачаОб’єднує спостереження з конкретним тестовим запуском
СпанОкрема операція, наприклад виклик моделі або інструментаДає змогу перевіряти наявність, порядок і тривалість кроку
АтрибутСтруктурований контекст спанаПідтримує правила для моделі, інструмента та сесії
ПодіяЧасова позначка з додатковою інформацієюНадає контекст помилки або результату зміни
МетрикаАгреговане числове значенняПоказує тенденції використання, помилок і затримок

Конкретні назви спанів та атрибутів залежать від інструментування і вибраного сховища. Команда не повинна сприймати приклади назв полів як гарантований контракт GitHub. Перед автоматизацією перевірок слід зафіксувати фактично експортовану схему та її версію.

2. Спостережуваність не дорівнює коректності

Навіть повністю успішне трасування може супроводжувати неправильний код. Агент здатний використати дозволену модель та очікувані інструменти, але неправильно зрозуміти бізнес-вимогу. І навпаки, відсутній спан може бути наслідком семплінгу, збою експорту або зміни інструментування, а не дефектом продукту.

Надійна оцінка поєднує три рівні доказів:

Телеметрія стає незалежним каналом спостереження, але не замінює тестовий оракул.

3. Від вимог до телеметричних перевірок

Кожна перевірка починається з чіткої вимоги. Потім визначається, який сигнал підтримує цю вимогу і який незалежний доказ потрібен додатково.

ВимогаДоказ у телеметріїДодатковий оракулРішення
Дозволені лише затверджені інструментиСпостережувані виклики інструментівМатриця дозволів і негативний тестВідхилення блокує запуск
Запис файлів має відстежуватисяСпан або подія операції записуDiff файлової системи та очікуваний шляхНеочікуваний файл є дефектом
Помилка безпеки має зупинити процесСтатус помилки та пов’язана подіяSecurity-тест і незмінність данихПродовження після помилки критичне
Використання моделі відповідає політиціІдентифікатор моделі, якщо його експортованоКонфігурація підприємстваНевідома модель потребує аналізу
Результат виконує початкову вимогуТрасування сесіїФункціональні перевірки та reviewОдного трасування недостатньо

Назви полів model.id, tool.name і file.path тут є лише прикладами. Джерелом істини залишається реальна схема колектора.

4. Практичні твердження

QA-набір може читати експортовані дані, не змінюючи агента, що тестується. Корисні перевірки:

Перевірки мають бути стійкими до несуттєвих внутрішніх змін. Вимога точного порядку всіх службових спанів швидко стане нестабільною. Краще контролювати межі безпеки, обов’язкові кроки та спостережувані побічні ефекти.

5. Негативні та security-сценарії

Для агентної системи недостатньо перевірити лише успішний шлях. Особливо цінні контрольовані відмови:

Так QA розрізняє дефект продукту, помилку інструментування та порушення політики.

6. Безпечні налаштування даних

GitHub зазначає, що тексти промптів, відповіді моделі й аргументи інструментів за замовчуванням не включаються. Додатковий режим захоплення вмісту може розкрити код, вміст файлів і запити. У production його доцільно залишати вимкненим, якщо немає документованої мети та необхідних засобів захисту.

Для контрольованого тестового середовища потрібні щонайменше:

Успішне надсилання телеметрії не означає, що потрібно збирати максимум інформації. QA потрібні релевантні докази, а не повна історія розмов.

7. Семплінг, зберігання та прогалини

Семплінг зменшує обсяг і вартість зберігання, але може приховувати рідкісні помилки. Для нового або критичного процесу виправдана вища частка збережених трасувань. Для частих низькоризикових сесій можна використати меншу частку. Рішення має залежати від ризику й обсягу, а не від універсального відсотка.

Tail-based sampling допомагає зберігати повільні або невдалі трасування після оцінки результату. Проте QA все одно повинен документувати, які дані могли бути відкинуті. Строк зберігання має бути достатнім для розслідування і порівняння тенденцій, але мінімальним з погляду безпеки та витрат.

Корисні показники якості:

Цільові значення формуються на підставі baseline конкретного продукту. Довільні загальні пороги створюють хибне відчуття контролю.

8. Процес triage на основі ризику

  1. Кореляція: тестовий запуск, commit, сесія і трасування отримують спільне посилання.
  2. Валідація: перевіряються повнота, часовий інтервал і версія схеми.
  3. Оцінка: автоматичні правила порівнюють інструменти, помилки та побічні ефекти з вимогами.
  4. Збагачення: додаються diff, результати CI, security-звіти й функціональні перевірки.
  5. Класифікація: проблема визначається як дефект продукту, помилка інструментування, порушення політики або нестача доказів.
  6. Рішення: відповідальна особа обирає випуск, блокування чи додаткове дослідження.
  7. Документування: зберігаються докази, версії та причина рішення.

Такий процес не дозволяє одному dashboard автоматично стати механізмом схвалення.

9. Питання для review

Перед випуском тестувальник має з’ясувати:

10. Висновок

OpenTelemetry розширює інструментарій тестування ШІ-агентів для програмування. Трасування допомагає досліджувати звернення до моделей та інструментів, помилки й тривалість кроків. Метрики та події підтримують аналіз тенденцій і triage. Користь виникає лише тоді, коли сигнали пов’язані з вимогами, реальними побічними ефектами та незалежними тестами.

Надійна стратегія залишає Content Capture вимкненим за замовчуванням, захищає доступ і зберігання, явно враховує прогалини семплінгу та версіонує схему. Автоматизація може знаходити відхилення і збирати докази. Рішення про випуск ризикованого агентного процесу залишається за людиною.

Джерела