QA case study · AI Testing · проверенная демонстрация

Тестирование AI Customer Support Center: когда интерфейс говорит «безопасно», а workflow противоречит

Проект начинался как визуально готовый прототип в AI Studio. В лабораторию Quality Engineering он превратился после того, как тестирование обнаружило смешивание имён клиентов, противоречивый routing, ложные обещания эскалации и архитектуру, ещё не соответствовавшую заявлениям о deployment.

Учебная portfolio-демонстрация. Не вводите настоящие данные клиентов, платежей, здоровья или аккаунтов. Реальный сотрудник поддержки не подключается.

6/6контрактов сценариев прошли
3раунда регрессии
0API-секретов в клиенте
Процесс Quality Engineering от требований до проверенного deployment
Release Gate объединяет доказательства из требований, аудита, исправлений, регрессии и проверки развертывания.

1. Что было создано

Прототип моделирует центр поддержки с ИИ: шесть заранее заданных клиентских сценариев и свободный Testing Playground. Система определяет категорию и приоритет обращения, извлекает сущности, находит проверенную FAQ, предлагает ответ и выбирает между автоматической инструкцией и имитацией очереди специалисту.

Клиент построен на React и Vite. Публичная версия использует Netlify Functions для анализа. Gemini может помогать с классификацией, а детерминированный механизм служит прозрачным fallback. Оба пути обязаны возвращать одну нормализованную схему ответа. Demo-тикеты и изменения FAQ остаются в браузере посетителя и автоматически очищаются через 24 часа.

2. Главная задача тестирования — определить оракул

Красивый и убедительный текст не означает PASS. Поэтому для каждого готового сценария был определён явный контракт: категория, приоритет, route, FAQ ID, обязательные и запрещённые сущности. Так открытый результат ИИ становится проверяемым без ложного предположения, что у любого свободного обращения есть только один идеальный ответ.

Риск-ориентированное покрытие включало изоляцию состояния, конфликтующие источники истины, решения при низкой уверенности, safety wording, семантику сущностей, границы ввода, метрики dashboard и заявления о deployment.

3. Что обнаружил первый аудит

ДефектПочему это важноПервичный статус
Sarah получила обращение «Marcus», Elena — «Robert»Перенос контекста между запросами — дефект доверия и приватности.Major
Карточка показывала Automated FAQ, runtime выбирал Human QueueДва источника истины приводили к разному поведению.Major
Низкий FAQ match одновременно показывал автоматическое и ручное решениеПользователь не понимал, какой путь действительно выбран.Major
Симуляция обещала звонок менеджераСистема утверждала, что произойдёт невозможное реальное действие.Major
Express API назывался готовым к NetlifyСтатический deploy сам по себе не размещает backend endpoint.Major
KPI эскалаций и status filter имели разную семантикуИтоговое число не совпадало с деталями.Minor

Негативные тесты охватывали пустой ввод, пробелы, HTML/XSS-подобную строку, низкую релевантность FAQ и длинный текст. XSS-подобная строка отображалась как текст, но одна такая проверка не выдавалась за полный security audit.

4. Как исправлялась система

  • Идентичность клиента привязана к текущему запросу; прошлые имена запрещены в prompt и нормализованном ответе.
  • Один нормализованный объект решения управляет UI-бейджами, routing, объяснением FAQ и созданием тикета.
  • Для всех шести сценариев добавлены контракты вместо отдельных hardcoded-исправлений.
  • Order и Invoice отделены от SKU, а отсутствующие значения не отображаются как сырой null.
  • UI и Function ограничивают запрос 4 000 символами и возвращают понятный HTTP 400.
  • Текст эскалации остаётся условным и явно обозначен как симуляция.
  • Добавлены Netlify Functions, redirects, валидация запроса, rate limiting, детерминированный fallback и server-only Gemini credentials.
  • Данные браузера автоматически удаляются через 24 часа; доступен и ручной Reset Demo.
Шесть проверенных контрактов сценариев поддержки
Финальная регрессия контрактов: все шесть сценариев прошли проверки категории, приоритета, route, FAQ и сущностей.

5. Регрессия стала отдельной фазой продукта

Первая регрессия подтвердила часть исправлений, но снова открыла проблему Delivery routing и выявила отсутствие order ID, сырые null, ошибку границы 4 001 символ, неточное описание localStorage и несовпадение badge. Второй focused round закрыл большинство проблем, но обнаружил новую регрессию: damaged refund сменил Billing and Payments на Delivery, а SKU попал в поле заказа.

Третий раунд проверил исправленные нормализованные контракты. Все шесть прошли. Хронология сохранена специально: первоначальный аудит нельзя заменять поздним PASS — история дефектов является частью доказательств.

СценарийОжидаемый контрактРезультат
Delayed DeliveryDelivery · Medium · Automated FAQ · US-98214PASS
Damaged Item RefundBilling and Payments · High · Human Queue · SKU-4401 · $89.50PASS
Duplicate BillingBilling and Payments · High · Human Queue · INV-7731 · $49.00PASS
Mobile App 503Technical Support · High · автоматическое troubleshootingPASS
Angry ComplaintComplaints · Critical · Human Queue · Manager EscalationPASS
Support HoursGeneral Questions · Low · Automated FAQ · без выдуманных сущностейPASS

6. Deployment тоже является частью QA

Успешный preview в AI Studio не доказывает работоспособность Netlify build. Поэтому Release Gate проверяет реальные Function routes, Gemini success и deterministic fallback, HTTP 400/429, CSP и security headers, отсутствие секретов в клиенте, срок хранения данных, cold start и desktop/mobile rendering.

Ключ Gemini читается только serverless function. Frontend его не получает. Wildcard CORS не используется, поскольку приложение вызывает API на том же origin.

7. Чего эта демонстрация не обещает

  • Это не настоящая служба поддержки: она не связывается с агентами и не выполняет возвраты денег.
  • In-memory rate limiter подходит только для небольшой учебной демонстрации, а не для распределённой production-системы.
  • Start/stop микрофона проверены, но точность speech-to-text не сертифицирована контролируемым аудиокорпусом.
  • Контракты стабилизируют готовые сценарии; свободные обращения остаются объектом исследования.

8. Переиспользуемые приёмы AI Testing

  1. Запускать один сценарий после каждого другого, чтобы обнаружить устаревший контекст.
  2. Проверять противоречия между полями, а не только правдоподобность каждого значения.
  3. Отделять решение модели от детерминированных business и safety rules.
  4. Считать safety-тексты, заявления о хранении и deployment проверяемым поведением.
  5. Хранить первоначальные дефекты отдельно от последующих результатов регрессии.

Попробуйте контролируемую демонстрацию

Используйте вымышленные данные и наблюдайте нормализованное решение, найденную FAQ, сущности, route и execution engine.

Открыть AI Customer Support Center ↗

Связанные материалы

Комментарии

Оставить комментарий

Поделитесь мнением о case study. Регистрация не требуется.

Комментарии

Загружаем комментарии…

Комментарии публикуются сразу и могут быть позднее модерированы.