Кейс

AI-бот сообщает клиентам неверные условия

Бот поддержки обещает несуществующие скидки и отвечает по устаревшим документам. Как проверить качество решения и отделить ошибки поиска от генерации неподтверждённых ответов.

Суть спора

Заказчик не принимает AI-бота: в переписке он указывает неверные условия обслуживания. Разработчик объясняет ошибки вероятностной природой модели. Стороны спорят, является ли это допустимым ограничением или нарушением согласованных требований.

Один удачный или неудачный ответ не характеризует всю систему. Нужны зафиксированные версии базы знаний, настроек и модели, а также набор проверочных вопросов с критериями оценки.

Объект исследования

ТЗ, правила ответов и согласованные ограничения

Снимок базы знаний и даты документов

Версия конфигурации, шаблоны инструкций и настройки модели

Журналы диалогов и доступные следы поиска источников

Вопросы эксперту

Используются ли актуальные документы?

Подтверждаются ли существенные утверждения найденными источниками?

Как система действует при отсутствии сведений?

Выполняются ли согласованные критерии на проверочном наборе?

Методики и инструменты

Тестовый набор с обычными, неоднозначными и неполными вопросами
Повторные прогоны с фиксацией доступных параметров
Раздельная проверка поиска документа и формирования ответа
Оценка по заранее заданной шкале с разбором спорных примеров

Ход исследования

Этап 1 · Фиксация состояния · Сохраняют доступные настройки и документы, отмечают компоненты внешнего API, версию которых нельзя закрепить.

Этап 2 · Подготовка вопросов · Для каждого сценария задают допустимый ответ, источник и условие передачи вопроса оператору.

Этап 3 · Повторные прогоны · Проверяют стабильность результатов и фиксируют найденные системой документы.

Этап 4 · Классификация ошибок · Разделяют устаревшие источники, пропуски поиска и утверждения, не подтверждённые документами.

Результаты исследования

Устаревшая база

В ходе исследования в индексе остаётся прежняя редакция условий обслуживания.

Неподтверждённый ответ

В части диалогов бот добавляет скидку, отсутствующую в найденном документе.

Нет передачи оператору

При недостатке сведений система продолжает ответ вместо предусмотренного ТЗ уточнения.

Ограничение оценки

Доля ошибок относится к описанному тестовому набору и конфигурации; универсальная точность из неё не следует.

Выводы и практическая польза

Вероятностный характер модели не отменяет проверки согласованных критериев. В данном сценарии требуется отдельно исправить актуальность базы, подтверждение ответов источниками и обработку неопределённости.

Что даёт такое исследование

Классификация ошибок и повторяемый набор вопросов позволяют согласовать доработки и условия повторной приёмки без обещания безошибочности на любых запросах.

Материалы для первичной оценки

Для оценки задачи подготовьте описание спорного периода, перечень доступных версий и источников, согласованные требования и вопросы к исследованию. Состав материалов, сроки и стоимость определяются после изучения конкретной ситуации.