Робочий процес кодування ШІ може змінюватися одночасно в кількох місцях: обрана модель, політика локальної пісочниці, конфігурація телеметрії або клієнт, який починає завдання. Одна помилка, наприклад «агент не зміг завершити», не визначає, який рівень регресував.

Корисним прикладом є набір релізу Copilot від GitHub від 21 вересня. Він анонсував додаткові моделі, локальну пісочницю у публічному попередньому перегляді, налаштування телеметрії та оновлення інтеграцій із корпоративними чатами й середовищами розробки. Це факти про продукт. Нижче представлений дизайн тесту — це наша пропозиція щодо контролю якості; це не опис тестів, проведених GitHub.

1. Визначте систему як чотири тестувані шари

Розглядайте робочий процес як чотири пов'язані шари:

  1. Шар моделі: створює ймовірнісний код або пояснення.
  2. Рівень політики: визначає, чи дозволений доступ до файлу, мережі, облікових даних або інструменту.
  3. Клієнтський шар: надсилає контекст, показує прогрес, запитує затвердження та подає помилки.
  4. Рівень доказів: фіксує достатньо телеметрії та артефактів, щоб пояснити, що сталося.

Ключове питання тестування — не лише «Чи пройшло завдання?» Це «Який рівень змінився, які докази підтверджують результат і чи можемо ми його відтворити?»

2. Створіть базову лінію перед тим, як щось змінювати.

Використовуйте невеликий фіксований набір завдань, який відображає реальну роботу, не торкаючись виробничих даних. Наприклад:

Запустіть набір на поточній стабільній конфігурації та збережіть вибрану модель, версію клієнта, політику пісочниці, комміт тестового репозиторію, запити, рішення інструментів, згенерований патч, результат тесту та фінальний статус.

Не використовуйте точну згенеровану відповідь як базову лінію. GitHub документує, що Copilot підтримує кілька моделей з різними сильними сторонами, і що доступність моделі може змінюватися. Згенерований контент є ймовірнісним; стабільним оракулом має бути спостережувана поведінка та критерії прийняття.

3. Відокремити детерміновані контракти від ймовірнісної якості

Детерміновані перевірки відповідають на запитання з чітким «так» або «ні»:

Ймовірнісні перевірки оцінюють якість запропонованої зміни:

Оцінюйте ймовірнісні результати за допомогою рубрики, що належить людині. Прикладами є правильність, контроль обсягу, докази тесту, безпека та обслуговуваність. Будь-який числовий поріг має виходити з власного базового рівня та толерантності до ризику проєкту; це не є вимогою GitHub.

4. Використовуйте матрицю ізоляції змін

Виконуйте той самий набір завдань у контрольованих комбінаціях:

Змінити лише один вимір у проміжних рядах. Це створює докази для сортування.

Якщо показники якості знижуються лише у моделі кандидата, досліджуйте поведінку моделі та підказки. Якщо дозволений інструмент починає давати відмову лише за політикою кандидата, перевірте правила пісочниці. Якщо той самий запит успішно проходить через одного клієнта, але втрачає контекст або затвердження через інший, розглядайте це як дефект інтеграції. Якщо всі комбінації не працюють, перевірте спільні сервіси та дані тестування перед тим, як звинувачувати будь-який кандидат-компонент.

5. Перевірте межі пісочниці через побічні ефекти

Локальне пісочництво призначене для обмеження доступу до файлової системи, мережевого підключення та використання облікових даних. Тестуйте політику через помітні побічні ефекти в одноразовому робочому просторі.

Для дозволеного запису перевіряйте точний шлях файлу, вміст і відмінність. Для відхиленого запису переконайтеся, що цільовий файл не існує і що жоден сусідній файл не змінився. Для мережевих тестів використовуйте локальні мак-кінцеві точки та підтверджуйте дозволені або заблоковані запити у мок-логах. Для облікових даних використовуйте лише синтетичні токени і підтверджуйте, що секрети недоступні там, де політика вимагає їх маскування.

Налаштування налаштовані окремо для різних підтримуваних поверхонь, і поведінка операційної системи може відрізнятися. Записуйте клієнт, операційну систему та ефективну політику з кожним результатом. Ніколи не робіть висновок, що політика, перевірена в одній поверхні, автоматично застосовується до всіх інших клієнтів.

6. Перевірте інтеграцію клієнтів без припущення про ідентичність функцій

У пакеті релізу згадувалося кілька клієнтів, але це не означає, що кожен клієнт демонструє однакову пісочницю або поведінку телеметрії. Спочатку створіть карту можливостей.

Для кожного протестованого клієнта записуйте:

Потім запускайте лише перевірки, які підтримує ця поверхня. Крос-клієнтська регресія означає порівняння спільних контрактів, таких як ідентифікація завдання, вибір репозиторію, мова, вкладення, посилання та фінальний статус. Клієнтські можливості потребують власних очікувань.

7. Перевірте переривання та відновлення

Довготривала робота агента може бути перервана закритим клієнтом, втратою мережі, закінченою сесією або відхиленим викликом інструменту. Використовуйте безпечну ін'єкцію відмови:

  1. почніть завдання в одноразовому сховищі;
  2. переривати роботу клієнта або імітувати з'єднання;
  3. відновити сесію;
  4. перевірити, чи відновлюється, перезапускається завдання або не відбувається явно;
  5. Підтверджуйте, що дублювання комітів, дублювання проблем і повторюваних побічних ефектів не були створені.

Перевірка відновлення проходить лише тоді, коли стан у результаті є однозначним. "Інтерфейс знову активний" не є доказом. Порівняйте стан репозиторію, імітовані запити, статус сесії та артефакти.

8. Розглядайте телеметрію як чутливий доказ тесту

GitHub документує підтримку OpenTelemetry для моніторингу сесій агентів, включаючи трасування, метрики та події. Керовані налаштування можуть контролювати, чи захоплюються ідентифікація, підказки, відповіді, аргументи інструментів, вихід інструментів або деталі політики. Деякі класи можуть містити вихідний код, команди, шляхи та секрети.

Перевірте саму конфігурацію телеметрії:

Для рутинного контролю якості віддавайте перевагу метаданим і результатам, а не захопленим запитам або вихідним контентом. Увімкніть чутливий захоплення лише для затвердженого розслідування.

9. Класифікуйте помилки перед повторною спробою

Повторні спроби можуть приховати реальні регресії. Розділити невдачі на:

Завжди додавайте оригінальну спробу та історію повторних спроб. Повторна спроба не стирає першу невдачу.

10. Визначте елементи випуску та відкату

Практичні ворота можуть вимагати:

Відкат має бути можливим для кожного виміру. Відкотити вибір моделі без послаблення політики пісочниці, відкотити інтеграцію з клієнтами без видалення доказів і відновити відому політику, зберігаючи невдалий кандидат для аналізу.

11. Де допомагає автоматизація

Автоматизація ефективна для захоплення конфігурації, перевірки схем, підтверджень файлових систем і мереж, аналізу диференцій, виконання тестів, виявлення дублікатів і збору артефактів. Вона також може порівнювати базові та кандидатські бали.

Автоматизація не повинна вирішувати, чи є прийнятним правдоподібне, але інше рішення, чи виправдане розширення дозволів, або чи зібрана телеметрія є пропорційною. Ці рішення належать людям, які відповідають за ризики продукту, безпеку та конфіденційність.

12. Контрольний список QA

Перед релізом підтвердьте:

Питання для повторення

  1. Чому точна згенерована відповідь є слабким оракулом для зміни моделі?
  2. Які побічні ефекти доводять, що правило пісочниці спрацювало?
  3. Як одновимірний ізоляційний запуск покращує аналіз корінних причин?
  4. Які докази потрібні після перерваного завдання агента?
  5. Які рішення щодо випуску мають залишатися у власності людини?

Висновок

Багатовимірні релізи ШІ потребують більше, ніж один смоук‑тест. Надійна стратегія заморожує базову лінію, змінює по одному шару, перевіряє детерміновані побічні ефекти, оцінює ймовірнісну якість за допомогою рубрики та зберігає докази для прийняття рішення про випуск людиною. Результатом є регресійний процес, який може відрізнити зміну моделі від заперечення пісочниці, дефекту клієнта або прогалини в спостережуваності, не прикидаючись, що результат ШІ є детермінованим.

Джерела