1. Что было создано
Прототип моделирует центр поддержки с ИИ: шесть заранее заданных клиентских сценариев и свободный Testing Playground. Система определяет категорию и приоритет обращения, извлекает сущности, находит проверенную FAQ, предлагает ответ и выбирает между автоматической инструкцией и имитацией очереди специалисту.
Клиент построен на React и Vite. Публичная версия использует Netlify Functions для анализа. Gemini может помогать с классификацией, а детерминированный механизм служит прозрачным fallback. Оба пути обязаны возвращать одну нормализованную схему ответа. Demo-тикеты и изменения FAQ остаются в браузере посетителя и автоматически очищаются через 24 часа.
2. Главная задача тестирования — определить оракул
Красивый и убедительный текст не означает PASS. Поэтому для каждого готового сценария был определён явный контракт: категория, приоритет, route, FAQ ID, обязательные и запрещённые сущности. Так открытый результат ИИ становится проверяемым без ложного предположения, что у любого свободного обращения есть только один идеальный ответ.
Риск-ориентированное покрытие включало изоляцию состояния, конфликтующие источники истины, решения при низкой уверенности, safety wording, семантику сущностей, границы ввода, метрики dashboard и заявления о deployment.
3. Что обнаружил первый аудит
| Дефект | Почему это важно | Первичный статус |
|---|---|---|
| Sarah получила обращение «Marcus», Elena — «Robert» | Перенос контекста между запросами — дефект доверия и приватности. | Major |
| Карточка показывала Automated FAQ, runtime выбирал Human Queue | Два источника истины приводили к разному поведению. | Major |
| Низкий FAQ match одновременно показывал автоматическое и ручное решение | Пользователь не понимал, какой путь действительно выбран. | Major |
| Симуляция обещала звонок менеджера | Система утверждала, что произойдёт невозможное реальное действие. | Major |
| Express API назывался готовым к Netlify | Статический deploy сам по себе не размещает backend endpoint. | Major |
| KPI эскалаций и status filter имели разную семантику | Итоговое число не совпадало с деталями. | Minor |
Негативные тесты охватывали пустой ввод, пробелы, HTML/XSS-подобную строку, низкую релевантность FAQ и длинный текст. XSS-подобная строка отображалась как текст, но одна такая проверка не выдавалась за полный security audit.
4. Как исправлялась система
- Идентичность клиента привязана к текущему запросу; прошлые имена запрещены в prompt и нормализованном ответе.
- Один нормализованный объект решения управляет UI-бейджами, routing, объяснением FAQ и созданием тикета.
- Для всех шести сценариев добавлены контракты вместо отдельных hardcoded-исправлений.
- Order и Invoice отделены от SKU, а отсутствующие значения не отображаются как сырой
null. - UI и Function ограничивают запрос 4 000 символами и возвращают понятный HTTP 400.
- Текст эскалации остаётся условным и явно обозначен как симуляция.
- Добавлены Netlify Functions, redirects, валидация запроса, rate limiting, детерминированный fallback и server-only Gemini credentials.
- Данные браузера автоматически удаляются через 24 часа; доступен и ручной Reset Demo.
5. Регрессия стала отдельной фазой продукта
Первая регрессия подтвердила часть исправлений, но снова открыла проблему Delivery routing и выявила отсутствие order ID, сырые null, ошибку границы 4 001 символ, неточное описание localStorage и несовпадение badge. Второй focused round закрыл большинство проблем, но обнаружил новую регрессию: damaged refund сменил Billing and Payments на Delivery, а SKU попал в поле заказа.
Третий раунд проверил исправленные нормализованные контракты. Все шесть прошли. Хронология сохранена специально: первоначальный аудит нельзя заменять поздним PASS — история дефектов является частью доказательств.
| Сценарий | Ожидаемый контракт | Результат |
|---|---|---|
| Delayed Delivery | Delivery · Medium · Automated FAQ · US-98214 | PASS |
| Damaged Item Refund | Billing and Payments · High · Human Queue · SKU-4401 · $89.50 | PASS |
| Duplicate Billing | Billing and Payments · High · Human Queue · INV-7731 · $49.00 | PASS |
| Mobile App 503 | Technical Support · High · автоматическое troubleshooting | PASS |
| Angry Complaint | Complaints · Critical · Human Queue · Manager Escalation | PASS |
| Support Hours | General Questions · Low · Automated FAQ · без выдуманных сущностей | PASS |
6. Deployment тоже является частью QA
Успешный preview в AI Studio не доказывает работоспособность Netlify build. Поэтому Release Gate проверяет реальные Function routes, Gemini success и deterministic fallback, HTTP 400/429, CSP и security headers, отсутствие секретов в клиенте, срок хранения данных, cold start и desktop/mobile rendering.
Ключ Gemini читается только serverless function. Frontend его не получает. Wildcard CORS не используется, поскольку приложение вызывает API на том же origin.
7. Чего эта демонстрация не обещает
- Это не настоящая служба поддержки: она не связывается с агентами и не выполняет возвраты денег.
- In-memory rate limiter подходит только для небольшой учебной демонстрации, а не для распределённой production-системы.
- Start/stop микрофона проверены, но точность speech-to-text не сертифицирована контролируемым аудиокорпусом.
- Контракты стабилизируют готовые сценарии; свободные обращения остаются объектом исследования.
8. Переиспользуемые приёмы AI Testing
- Запускать один сценарий после каждого другого, чтобы обнаружить устаревший контекст.
- Проверять противоречия между полями, а не только правдоподобность каждого значения.
- Отделять решение модели от детерминированных business и safety rules.
- Считать safety-тексты, заявления о хранении и deployment проверяемым поведением.
- Хранить первоначальные дефекты отдельно от последующих результатов регрессии.
Попробуйте контролируемую демонстрацию
Используйте вымышленные данные и наблюдайте нормализованное решение, найденную FAQ, сущности, route и execution engine.
Открыть AI Customer Support Center ↗
Оставить комментарий
Поделитесь мнением о case study. Регистрация не требуется.
Комментарии
Загружаем комментарии…