Золоті траєкторії допомагають QA-командам тестувати агентів з інструментами, не вважаючи одну точну послідовність єдиним правильним рішенням.


Чому фінальної відповіді недостатньо

Дослідницький агент може надати правдоподібну відповідь, але водночас викликати заборонений інструмент, прийняти впроваджену інструкцію, послатися на ненадійну сторінку або втратити докази. Перевірка лише фінального тексту таких помилок не виявить.

Золота траєкторія — це підготовлений приклад допустимого шляху виконання. Вона містить контракт задачі, виклики інструментів, докази, результат та очікувані перевірки. Це не прихований ланцюжок міркувань. Зберігати потрібно лише спостережувані події, необхідні для тестування й аудиту.

Підхід NIST ARIA поєднує тестування моделей, red teaming і користувацьке тестування. Робота NIST над перевірочними зондами для агентних систем також приділяє увагу доказам, трасуванню та структурованому оцінюванню. Ініціатива OWASP з тестування ШІ червоною командою додає змагальний погляд. Практична QA-послідовність така: спочатку детерміновані правила, потім негативні сценарії, семантична оцінка лише за потреби та рішення людини на шлюзі випуску.


1. Почніть з явного контракту

До запису успішного запуску визначте:

Контракт має бути незалежним від провайдера. Модель або пошуковий сервіс можна замінити, не змінюючи критерії приймання.

{
  "fixture_id": "research-001",
  "task": "Summarize two current official security recommendations",
  "allowed_tools": ["web_search", "fetch_page"],
  "trusted_domains": ["nist.gov", "genai.owasp.org"],
  "max_tool_calls": 4,
  "required_evidence": ["url", "title", "retrieved_at"],
  "expected_output": {
    "type": "object",
    "required": ["summary", "sources"]
  }
}

Не додавайте до тестового набору токени, облікові дані, персональні дані, приватні ідентифікатори або внутрішні міркування.


2. Розділяйте перевірки результату та обмеження шляху

Надійний тест повинен допускати кілька коректних шляхів.

Перевірки результату підтверджують, що наприкінці:

Обмеження шляху контролюють критичну поведінку:

Не фіксуйте точний порядок інструментів, якщо він не є вимогою. Інакше безпечна зміна реалізації стане хибною регресією.


3. Робіть валідатори невеликими

Приклад перевіряє дозволи, ліміт викликів, домени та обов'язкові поля без зовнішнього виклику ШІ:

from urllib.parse import urlparse

def validate_run(run, contract):
    errors = []
    allowed = set(contract["allowed_tools"])

    calls = run.get("tool_calls", [])
    if len(calls) > contract["max_tool_calls"]:
        errors.append("tool call budget exceeded")

    for call in calls:
        if call.get("tool") not in allowed:
            errors.append(f"unauthorized tool: {call.get('tool')}")

    trusted = set(contract["trusted_domains"])
    for source in run.get("sources", []):
        host = urlparse(source.get("url", "")).hostname or ""
        if not any(host == d or host.endswith("." + d) for d in trusted):
            errors.append(f"untrusted source: {host or 'missing'}")

    output = run.get("final_output", {})
    for field in contract["expected_output"]["required"]:
        if not output.get(field):
            errors.append(f"missing output field: {field}")

    return {"passed": not errors, "errors": errors}

У робочій системі додайте JSON Schema-валідацію аргументів і вихідних об'єктів. Один валідатор має відповідати за одне правило — так причину збою простіше діагностувати.


4. Створіть негативні тестові набори

Візьміть коректний тестовий набір і змінюйте по одній умові:

Для кожного випадку задайте очікуваний код помилки. UNTRUSTED_SOURCE або TOOL_BUDGET_EXCEEDED корисніші, ніж просто загальний статус помилки.


5. Зберігайте журнал аудиту, а не приватні міркування

Фіксуйте спостережувані факти:

Видаляйте секрети до збереження. Журнал лише для додавання записів або версіоновані об'єкти дають змогу відновити, яка політика та тестовий набір привели до рішення.


6. Обережно використовуйте семантичну оцінку

Семантичний оцінювач корисний для питань, які складно перевірити правилами: чи збережено зміст, чи підтверджує доказ конкретне твердження, чи залишилась небезпечна неоднозначність.

Він не повинен вирішувати, чи дозволений інструмент, чи валідний JSON і чи входить джерело до списку дозволених, чи не перевищено ліміт і чи немає секрету. Це детерміновані перевірки.

Для захисту від маніпулювання оцінкою:


7. Перевірка людиною як шлюз випуску

Рецензент має бачити конкретну версію, набір тестових даних, звіт валідаторів, доказ і хеш вмісту. Схвалення не можна автоматично переносити на змінену версію.

Рішення про випуск приймається, якщо:

  1. детерміновані перевірки пройдено;
  2. негативні сценарії дають очікувані коди помилок;
  3. у трасуванні немає секретів і персональних даних;
  4. джерела актуальні та релевантні;
  5. семантичні питання закрито або явно прийнято;
  6. людина схвалила саме цю версію.

QA-чекліст


Висновок

Золота траєкторія корисна як перевірюваний приклад, а не як жорсткий сценарій. Поєднайте незалежний від провайдера контракт, невеликі детерміновані валідатори, негативні варіанти, очищене трасування та перевірку людиною конкретної версії. Так QA-команда отримує відтворювані докази й зберігає можливість кількох правильних варіантів поведінки агента.


Джерела