1. Що було створено
Прототип моделює центр підтримки з ШІ: шість заздалегідь заданих клієнтських сценаріїв і вільний Testing Playground. Система визначає категорію та пріоритет звернення, витягує сутності, знаходить перевірений FAQ, пропонує відповідь і обирає між автоматичною інструкцією та імітацією черги до фахівця.
Клієнт побудований на React і Vite. Публічна версія використовує Netlify Functions. Gemini може допомагати з класифікацією, а детермінований механізм слугує прозорим fallback. Обидва шляхи повертають одну нормалізовану схему відповіді. Demo-тікети та зміни FAQ зберігаються лише в браузері й автоматично очищуються через 24 години.
2. Головне завдання тестування — визначити оракул
Переконливий текст не означає PASS. Для кожного готового сценарію визначено явний контракт: категорія, пріоритет, route, FAQ ID, обов’язкові та заборонені сутності. Так відкритий результат ШІ стає перевірюваним без хибного припущення, що для будь-якого вільного звернення існує лише одна ідеальна відповідь.
Ризик-орієнтоване покриття включало ізоляцію стану, конфліктні джерела істини, рішення за низької впевненості, safety wording, семантику сутностей, межі вводу, метрики dashboard та заяви про deployment.
3. Що виявив перший аудит
| Дефект | Чому це важливо | Первинний статус |
|---|---|---|
| Sarah отримала звернення «Marcus», Elena — «Robert» | Перенесення контексту між запитами — дефект довіри та приватності. | Major |
| Картка показувала Automated FAQ, runtime обирав Human Queue | Два джерела істини призводили до різної поведінки. | Major |
| Низький FAQ match одночасно показував автоматичне й ручне рішення | Користувач не розумів, який шлях справді обрано. | Major |
| Симуляція обіцяла дзвінок менеджера | Система стверджувала, що станеться неможлива реальна дія. | Major |
| Express API називався готовим до Netlify | Статичний deploy сам по собі не розміщує backend endpoint. | Major |
| KPI ескалацій і status filter мали різну семантику | Підсумок не збігався з деталями. | Minor |
Негативні тести охоплювали порожній ввід, пробіли, HTML/XSS-подібний рядок, низьку релевантність FAQ та довгий текст. XSS-подібний рядок відображався як текст, але одна така перевірка не видавалася за повний security audit.
4. Як виправлялася система
- Ідентичність клієнта прив’язана до поточного запиту; минулі імена заборонені у prompt і нормалізованій відповіді.
- Один нормалізований об’єкт рішення керує UI-бейджами, routing, поясненням FAQ і створенням тікета.
- Для всіх шести сценаріїв додано контракти замість окремих hardcoded-виправлень.
- Order та Invoice відокремлено від SKU, а відсутні значення не показуються як сирий
null. - UI і Function обмежують запит 4 000 символами та повертають зрозумілий HTTP 400.
- Текст ескалації залишається умовним і явно позначений як симуляція.
- Додано Netlify Functions, redirects, валідацію запиту, rate limiting, детермінований fallback і server-only Gemini credentials.
- Дані браузера автоматично видаляються через 24 години; доступний ручний Reset Demo.
5. Регресія стала окремою фазою продукту
Перша регресія підтвердила частину виправлень, але знову відкрила проблему Delivery routing і виявила відсутність order ID, сирі null, помилку межі 4 001 символ, неточний опис localStorage та невідповідність badge. Другий focused round закрив більшість проблем, але виявив нову регресію: damaged refund змінив Billing and Payments на Delivery, а SKU потрапив у поле замовлення.
Третій раунд перевірив виправлені нормалізовані контракти. Усі шість пройшли. Хронологія збережена навмисно: початковий аудит не можна замінювати пізнім PASS — історія дефектів є частиною доказів.
| Сценарій | Очікуваний контракт | Результат |
|---|---|---|
| Delayed Delivery | Delivery · Medium · Automated FAQ · US-98214 | PASS |
| Damaged Item Refund | Billing and Payments · High · Human Queue · SKU-4401 · $89.50 | PASS |
| Duplicate Billing | Billing and Payments · High · Human Queue · INV-7731 · $49.00 | PASS |
| Mobile App 503 | Technical Support · High · автоматичний troubleshooting | PASS |
| Angry Complaint | Complaints · Critical · Human Queue · Manager Escalation | PASS |
| Support Hours | General Questions · Low · Automated FAQ · без вигаданих сутностей | PASS |
6. Deployment також є частиною QA
Успішний preview в AI Studio не доводить працездатність Netlify build. Тому Release Gate перевіряє реальні Function routes, Gemini success і deterministic fallback, HTTP 400/429, CSP та security headers, відсутність секретів у клієнті, строк зберігання даних, cold start і desktop/mobile rendering.
Ключ Gemini читає лише serverless function. Frontend його не отримує. Wildcard CORS не використовується, бо застосунок викликає API на тому самому origin.
7. Чого ця демонстрація не обіцяє
- Це не справжня служба підтримки: вона не зв’язується з агентами й не виконує повернення коштів.
- In-memory rate limiter підходить лише для невеликої навчальної демонстрації, а не для розподіленої production-системи.
- Start/stop мікрофона перевірені, але точність speech-to-text не сертифікована контрольованим аудіокорпусом.
- Контракти стабілізують готові сценарії; вільні звернення залишаються об’єктом дослідження.
8. Повторно використовувані прийоми AI Testing
- Запускати один сценарій після кожного іншого, щоб виявити застарілий контекст.
- Перевіряти суперечності між полями, а не лише правдоподібність кожного значення.
- Відокремлювати рішення моделі від детермінованих business і safety rules.
- Вважати safety-тексти, заяви про зберігання та deployment перевірюваною поведінкою.
- Зберігати початкові дефекти окремо від пізніших результатів регресії.
Спробуйте контрольовану демонстрацію
Використовуйте вигадані дані та спостерігайте нормалізоване рішення, знайдений FAQ, сутності, route і execution engine.
Відкрити AI Customer Support Center ↗
Залишити коментар
Поділіться думкою про case study. Реєстрація не потрібна.
Коментарі
Завантажуємо коментарі…